<html><head></head><body>Yes it worked on the PRIMARY node but standby node didn't get any information about it.<br><br><div class="gmail_quote">On 31 August 2020 19:01:20 EEST, Bo Peng &lt;pengbo@sraoss.co.jp&gt; wrote:<blockquote class="gmail_quote" style="margin: 0pt 0pt 0pt 0.8ex; border-left: 1px solid rgb(204, 204, 204); padding-left: 1ex;">
<pre class="k9mail">Hi,<br><br>On Mon, 31 Aug 2020 15:38:29 +0300 (FLE Daylight Time)<br>Anssi Kanninen &lt;anssi@iki.fi&gt; wrote:<br><br><blockquote class="gmail_quote" style="margin: 0pt 0pt 1ex 0.8ex; border-left: 1px solid #729fcf; padding-left: 1ex;"><blockquote class="gmail_quote" style="margin: 0pt 0pt 1ex 0.8ex; border-left: 1px solid #ad7fa8; padding-left: 1ex;">How did you shutdown pgpool node?<br></blockquote><br>As I said, powering it straight off. In my case, closed the virtual <br>machine without shutting it down properly.<br></blockquote><br>Could you check the pgpool.log to see if the "lifecheck" process worked?<br>"lifecheck" process performs watchdog lifecheck every "wd_interval" seconds.<br><br>If the interval since the last message was received exceeds "wd_heartbeat_deadtime", <br>pgpool will consider the node to be lost.<br><br><br>You can see the log such as:<hr>DEBUG:  watchdog life checking by heartbeat<br>DETAIL:  checking pgpool 2 (192.168.154.102:9999)<br>DEBUG:  watchdog checking if pgpool is alive using heartbeat<br>DETAIL:  the last heartbeat from "192.168.154.102:9999" received 38 seconds ago<br>...<br>LOG:  remote node "192.168.154.102:9999 Linux server2" is lost<hr><blockquote class="gmail_quote" style="margin: 0pt 0pt 1ex 0.8ex; border-left: 1px solid #729fcf; padding-left: 1ex;">On Mon, 31 Aug 2020, Bo Peng wrote:<br><br><blockquote class="gmail_quote" style="margin: 0pt 0pt 1ex 0.8ex; border-left: 1px solid #ad7fa8; padding-left: 1ex;"> Hello,<br><br> On Fri, 28 Aug 2020 12:27:48 +0300 (FLE Daylight Time)<br> Anssi Kanninen &lt;anssi@iki.fi&gt; wrote:<br><br><blockquote class="gmail_quote" style="margin: 0pt 0pt 1ex 0.8ex; border-left: 1px solid #8ae234; padding-left: 1ex;"> Hi everyone!<br><br> I'm having a problem with information exchange between PgPool instances. I<br> have 3 nodes, each containing one DB backend instance and one PgPool<br> instance.<br><br> If I shut down one standby node cleanly, everything seems to go ok. The<br> master PgPool notices that and informs the remaining standby PgPool about<br> it.<br><br> But the situation changes if a standby node just vahishes from the network<br> by powering it off without clean shutdown. The master PgPool marks the<br> node as "lost" but the remaining standby PgPool still thinks we are having<br> another standby PgPool. It doesn't get any information about a lost node.<br></blockquote><br> How did you shutdown pgpool node?<br> Could you share the pgpool.log of each node?<br><br><blockquote class="gmail_quote" style="margin: 0pt 0pt 1ex 0.8ex; border-left: 1px solid #8ae234; padding-left: 1ex;"> Here it goes. In the example I'm checking the statuses by connecting each<br> node with pcp_watchdog_info . I have sorted the results by node hostname.<br><br> Nodes are:<br> * ID 0 (centos8i1-int)<br> * ID 1 (centos8i2-int)<br> * ID 2 (centos8i3-int).<br><br> ***** INITIAL SETUP *****<br><br> $ pcp_watchdog_info -w -h centos8i1-int<br> 3 YES centos8i1-int:5432 Linux centos8i1.localdomain centos8i1-int<br><br> centos8i1-int:5432 Linux centos8i1.localdomain centos8i1-int 5432 9000 4 MASTER<br> centos8i2-int:5432 Linux centos8i2.localdomain centos8i2-int 5432 9000 7 STANDBY<br> centos8i3-int:5432 Linux centos8i3.localdomain centos8i3-int 5432 9000 7 STANDBY<br><br> $ pcp_watchdog_info -w -h centos8i2-int<br> 3 NO centos8i1-int:5432 Linux centos8i1.localdomain centos8i1-int<br><br> centos8i1-int:5432 Linux centos8i1.localdomain centos8i1-int 5432 9000 4 MASTER<br> centos8i2-int:5432 Linux centos8i2.localdomain centos8i2-int 5432 9000 7 STANDBY<br> centos8i3-int:5432 Linux centos8i3.localdomain centos8i3-int 5432 9000 7 STANDBY<br><br> $ pcp_watchdog_info -w -h centos8i3-int<br> 3 NO centos8i1-int:5432 Linux centos8i1.localdomain centos8i1-int<br><br> centos8i1-int:5432 Linux centos8i1.localdomain centos8i1-int 5432 9000 4 MASTER<br> centos8i2-int:5432 Linux centos8i2.localdomain centos8i2-int 5432 9000 7 STANDBY<br> centos8i3-int:5432 Linux centos8i3.localdomain centos8i3-int 5432 9000 7 STANDBY<br><br> ***** SHUTDOWN node ID 1 *****<br><br> $ pcp_watchdog_info -w -h centos8i1-int<br> 3 YES centos8i1-int:5432 Linux centos8i1.localdomain centos8i1-int<br><br> centos8i1-int:5432 Linux centos8i1.localdomain centos8i1-int 5432 9000 4 MASTER<br> centos8i2-int:5432 Linux centos8i2.localdomain centos8i2-int 5432 9000 10 SHUTDOWN<br> centos8i3-int:5432 Linux centos8i3.localdomain centos8i3-int 5432 9000 7 STANDBY<br><br> $ pcp_watchdog_info -w -h centos8i3-int<br> 3 NO centos8i1-int:5432 Linux centos8i1.localdomain centos8i1-int<br><br> centos8i1-int:5432 Linux centos8i1.localdomain centos8i1-int 5432 9000 4 MASTER<br> centos8i2-int:5432 Linux centos8i2.localdomain centos8i2-int 5432 9000 10 SHUTDOWN<br> centos8i3-int:5432 Linux centos8i3.localdomain centos8i3-int 5432 9000 7 STANDBY<br><br> ***** RESTART node ID 1 *****<br><br> $ pcp_watchdog_info -w -h centos8i1-int<br> 3 YES centos8i1-int:5432 Linux centos8i1.localdomain centos8i1-int<br><br> centos8i1-int:5432 Linux centos8i1.localdomain centos8i1-int 5432 9000 4 MASTER<br> centos8i2-int:5432 Linux centos8i2.localdomain centos8i2-int 5432 9000 7 STANDBY<br> centos8i3-int:5432 Linux centos8i3.localdomain centos8i3-int 5432 9000 7 STANDBY<br><br> $ pcp_watchdog_info -w -h centos8i2-int<br> 3 NO centos8i1-int:5432 Linux centos8i1.localdomain centos8i1-int<br><br> centos8i1-int:5432 Linux centos8i1.localdomain centos8i1-int 5432 9000 4 MASTER<br> centos8i2-int:5432 Linux centos8i2.localdomain centos8i2-int 5432 9000 7 STANDBY<br> centos8i3-int:5432 Linux centos8i3.localdomain centos8i3-int 5432 9000 7 STANDBY<br><br> $ pcp_watchdog_info -w -h centos8i3-int<br> 3 NO centos8i1-int:5432 Linux centos8i1.localdomain centos8i1-int<br><br> centos8i1-int:5432 Linux centos8i1.localdomain centos8i1-int 5432 9000 4 MASTER<br> centos8i2-int:5432 Linux centos8i2.localdomain centos8i2-int 5432 9000 7 STANDBY<br> centos8i3-int:5432 Linux centos8i3.localdomain centos8i3-int 5432 9000 7 STANDBY<br><br> ***** POWER OFF node ID 1 *****<br><br> $ pcp_watchdog_info -w -h centos8i1-int<br> 3 YES centos8i1-int:5432 Linux centos8i1.localdomain centos8i1-int<br><br> centos8i1-int:5432 Linux centos8i1.localdomain centos8i1-int 5432 9000 4 MASTER<br> centos8i2-int:5432 Linux centos8i2.localdomain centos8i2-int 5432 9000 8 LOST<br> centos8i3-int:5432 Linux centos8i3.localdomain centos8i3-int 5432 9000 7 STANDBY<br><br> $ pcp_watchdog_info -w -h centos8i3-int<br> 3 NO centos8i1-int:5432 Linux centos8i1.localdomain centos8i1-int<br><br> centos8i1-int:5432 Linux centos8i1.localdomain centos8i1-int 5432 9000 4 MASTER<br> centos8i2-int:5432 Linux centos8i2.localdomain centos8i2-int 5432 9000 7 STANDBY<br> centos8i3-int:5432 Linux centos8i3.localdomain centos8i3-int 5432 9000 7 STANDBY<br><br><br> Best regards,<br> Anssi Kanninen<br><br><br><br><br> --<br> anssi@iki.fi<hr> pgpool-general mailing list<br> pgpool-general@pgpool.net<br> <a href="http://www.pgpool.net/mailman/listinfo/pgpool-general">http://www.pgpool.net/mailman/listinfo/pgpool-general</a><br></blockquote><br><br> -- <br> Bo Peng &lt;pengbo@sraoss.co.jp&gt;<br> SRA OSS, Inc. Japan<hr> pgpool-general mailing list<br> pgpool-general@pgpool.net<br> <a href="http://www.pgpool.net/mailman/listinfo/pgpool-general">http://www.pgpool.net/mailman/listinfo/pgpool-general</a><br><br></blockquote><br>-- <br>anssi@iki.fi<hr>pgpool-general mailing list<br>pgpool-general@pgpool.net<br><a href="http://www.pgpool.net/mailman/listinfo/pgpool-general">http://www.pgpool.net/mailman/listinfo/pgpool-general</a><br></blockquote><br></pre></blockquote></div></body></html>