<div dir="ltr">Hi All,<div><br></div><div>     <b>Am currently using pgpool for a production release and facing the below issue :</b></div><div><b>As soon as the pgpool starts on one of the node after reboot, it stops and fails to join cluster of 3 nodes. Am using pgpool 4.0.4 for postgres 9.6.18. Any pointers to resolve this at the earliest is highly appreciated.</b></div><div><b>Attaching the pgpool.conf .</b></div><div><b>Thanks in advance !</b></div><div><b><br></b></div><div>2020-07-17T08:17:30.160121+00:00 lcm-34-199 pgpool[1192]: [9-1] 2020-07-17 08:17:30: pid 1192: LOG:  pgpool-II successfully<b> started. version 4.0.4 (torokiboshi)</b><br></div><div>2020-07-17T13:53:25.859897+00:00 lcm-34-199 pgpool[1495]: [7-1] 2020-07-17 13:53:25: pid 1495: LOG:  watchdog node state changed from [DEAD] to [LOADING]<br>2020-07-17T13:53:25.866426+00:00 lcm-34-199 pgpool[1495]: [8-1] 2020-07-17 13:53:25: pid 1495: LOG:  new outbound connection to <a href="http://10.198.34.195:9000">10.198.34.195:9000</a><br>2020-07-17T13:53:25.866662+00:00 lcm-34-199 pgpool[1495]: [9-1] 2020-07-17 13:53:25: pid 1495: LOG:  new outbound connection to <a href="http://10.198.34.200:9000">10.198.34.200:9000</a><br>2020-07-17T13:53:25.868803+00:00 lcm-34-199 pgpool[1495]: [10-1] 2020-07-17 13:53:25: pid 1495: LOG:  setting the remote node &quot;lcm-34-195.dev.lcm.local:9999 Linux lcm-34-195.dev.lcm.local&quot; as watchdog cluster master<br>2020-07-17T13:53:25.868951+00:00 lcm-34-199 pgpool[1495]: [11-1] 2020-07-17 13:53:25: pid 1495: LOG:  watchdog node state changed from [LOADING] to [INITIALIZING]<br>2020-07-17T13:53:26.870517+00:00 lcm-34-199 pgpool[1495]: [12-1] 2020-07-17 13:53:26: pid 1495: LOG:  watchdog node state changed from [INITIALIZING] to [STANDBY]<br>2020-07-17T13:53:26.870803+00:00 lcm-34-199 pgpool[1495]: [13-1] 2020-07-17 13:53:26: pid 1495: LOG:  successfully joined the watchdog cluster as standby node<br>2020-07-17T13:53:26.870878+00:00 lcm-34-199 pgpool[1495]: [13-2] 2020-07-17 13:53:26: pid 1495: DETAIL:  our join coordinator request is accepted by cluster leader node &quot;lcm-34-195.dev.lcm.local:9999 Linux lcm-34-195.dev.lcm.local&quot;<br>2020-07-17T13:53:26.871160+00:00 lcm-34-199 pgpool[1486]: [3-1] 2020-07-17 13:53:26: pid 1486: LOG:  watchdog process is initialized<br>2020-07-17T13:53:26.871422+00:00 lcm-34-199 pgpool[1495]: [14-1] 2020-07-17 13:53:26: pid 1495: LOG:  new IPC connection received<br>2020-07-17T13:53:26.871561+00:00 lcm-34-199 pgpool[1486]: [4-1] 2020-07-17 13:53:26: pid 1486: LOG:  we have joined the watchdog cluster as STANDBY node<br>2020-07-17T13:53:26.871618+00:00 lcm-34-199 pgpool[1486]: [4-2] 2020-07-17 13:53:26: pid 1486: DETAIL:  syncing the backend states from the MASTER watchdog node<br>2020-07-17T13:53:26.871746+00:00 lcm-34-199 pgpool[1495]: [15-1] 2020-07-17 13:53:26: pid 1495: LOG:  new IPC connection received<br>2020-07-17T13:53:26.871802+00:00 lcm-34-199 pgpool[1495]: [16-1] 2020-07-17 13:53:26: pid 1495: LOG:  received the get data request from local pgpool-II on IPC interface<br>2020-07-17T13:53:26.871873+00:00 lcm-34-199 pgpool[1495]: [17-1] 2020-07-17 13:53:26: pid 1495: LOG:  get data request from local pgpool-II node received on IPC interface is forwarded to master watchdog node &quot;lcm-34-195.dev.lcm.local:9999 Linux lcm-34-195.dev.lcm.local&quot;<br>2020-07-17T13:53:26.871933+00:00 lcm-34-199 pgpool[1495]: [17-2] 2020-07-17 13:53:26: pid 1495: DETAIL:  waiting for the reply...<br>2020-07-17T13:53:26.872216+00:00 lcm-34-199 pgpool[1486]: [5-1] 2020-07-17 13:53:26: pid 1486: LOG:  master watchdog node &quot;lcm-34-195.dev.lcm.local:9999 Linux lcm-34-195.dev.lcm.local&quot; returned status for 3 backend nodes<br>2020-07-17T13:53:26.872286+00:00 lcm-34-199 pgpool[1486]: [6-1] 2020-07-17 13:53:26: pid 1486: LOG:  backend:1 is set to down status<br>2020-07-17T13:53:26.872335+00:00 lcm-34-199 pgpool[1486]: [6-2] 2020-07-17 13:53:26: pid 1486: DETAIL:  backend:1 is DOWN on cluster master &quot;lcm-34-195.dev.lcm.local:9999 Linux lcm-34-195.dev.lcm.local&quot;<br>2020-07-17T13:53:26.872394+00:00 lcm-34-199 pgpool[1486]: [7-1] 2020-07-17 13:53:26: pid 1486: LOG:  Setting up socket for <a href="http://0.0.0.0:9999">0.0.0.0:9999</a><br>2020-07-17T13:53:26.872443+00:00 lcm-34-199 pgpool[1486]: [8-1] 2020-07-17 13:53:26: pid 1486: LOG:  Setting up socket for :::9999<br>2020-07-17T13:53:26.877045+00:00 lcm-34-199 pgpool[1486]: [9-1] 2020-07-17 13:53:26: pid 1486: LOG:  pgpool-II successfully started. version 4.0.4 (torokiboshi)<br>2020-07-17T13:53:26.877119+00:00 lcm-34-199 pgpool[1486]: [10-1] 2020-07-17 13:53:26: pid 1486: LOG:  node status[0]: 0<br>2020-07-17T13:53:26.877174+00:00 lcm-34-199 pgpool[1486]: [11-1] 2020-07-17 13:53:26: pid 1486: LOG:  node status[1]: 0<br>2020-07-17T13:53:26.877235+00:00 lcm-34-199 pgpool[1486]: [12-1] 2020-07-17 13:53:26: pid 1486: LOG:  node status[2]: 0<br>2020-07-17T13:53:26.892342+00:00 lcm-34-199 pgpool[1495]: [18-1] 2020-07-17 13:53:26: pid 1495: LOG:  new IPC connection received<br>2020-07-17T13:53:26.893061+00:00 lcm-34-199 pgpool[1822]: [4-1] 2020-07-17 13:53:26: pid 1822: LOG:  3 watchdog nodes are configured for lifecheck<br>2020-07-17T13:53:26.893135+00:00 lcm-34-199 pgpool[1822]: [5-1] 2020-07-17 13:53:26: pid 1822: LOG:  watchdog nodes ID:0 Name:&quot;lcm-34-199.dev.lcm.local:9999 Linux lcm-34-199.dev.lcm.local&quot;<br>2020-07-17T13:53:26.893194+00:00 lcm-34-199 pgpool[1822]: [5-2] 2020-07-17 13:53:26: pid 1822: DETAIL:  Host:&quot;lcm-34-199.dev.lcm.local&quot; WD Port:9000 pgpool-II port:9999<br>2020-07-17T13:53:26.893241+00:00 lcm-34-199 pgpool[1822]: [6-1] 2020-07-17 13:53:26: pid 1822: LOG:  watchdog nodes ID:1 Name:&quot;lcm-34-195.dev.lcm.local:9999 Linux lcm-34-195.dev.lcm.local&quot;<br>2020-07-17T13:53:26.893301+00:00 lcm-34-199 pgpool[1822]: [6-2] 2020-07-17 13:53:26: pid 1822: DETAIL:  Host:&quot;10.198.34.195&quot; WD Port:9000 pgpool-II port:9999<br>2020-07-17T13:53:26.893351+00:00 lcm-34-199 pgpool[1822]: [7-1] 2020-07-17 13:53:26: pid 1822: LOG:  watchdog nodes ID:2 Name:&quot;lcm-34-200.dev.lcm.local:9999 Linux lcm-34-200.dev.lcm.local&quot;<br>2020-07-17T13:53:26.893406+00:00 lcm-34-199 pgpool[1822]: [7-2] 2020-07-17 13:53:26: pid 1822: DETAIL:  Host:&quot;10.198.34.200&quot; WD Port:9000 pgpool-II port:9999<br>2020-07-17T13:53:27.894801+00:00 lcm-34-199 pgpool[1862]: [8-1] 2020-07-17 13:53:27: pid 1862: LOG:  creating socket for sending heartbeat<br>2020-07-17T13:53:27.894937+00:00 lcm-34-199 pgpool[1862]: [8-2] 2020-07-17 13:53:27: pid 1862: DETAIL:  set SO_REUSEPORT<br>2020-07-17T13:53:27.896688+00:00 lcm-34-199 pgpool[1860]: [8-1] 2020-07-17 13:53:27: pid 1860: LOG:  creating socket for sending heartbeat<br>2020-07-17T13:53:27.896739+00:00 lcm-34-199 pgpool[1860]: [8-2] 2020-07-17 13:53:27: pid 1860: DETAIL:  set SO_REUSEPORT<br>2020-07-17T13:53:27.901020+00:00 lcm-34-199 pgpool[1861]: [8-1] 2020-07-17 13:53:27: pid 1861: LOG:  creating watchdog heartbeat receive socket.<br>2020-07-17T13:53:27.901079+00:00 lcm-34-199 pgpool[1861]: [8-2] 2020-07-17 13:53:27: pid 1861: DETAIL:  set SO_REUSEPORT<br>2020-07-17T13:53:27.901216+00:00 lcm-34-199 pgpool[1859]: [8-1] 2020-07-17 13:53:27: pid 1859: LOG:  creating watchdog heartbeat receive socket.<br>2020-07-17T13:53:27.901268+00:00 lcm-34-199 pgpool[1859]: [8-2] 2020-07-17 13:53:27: pid 1859: DETAIL:  set SO_REUSEPORT<br>2020-07-17T13:53:58.207428+00:00 lcm-34-199 pgpool[1495]: [19-1] 2020-07-17 13:53:58: pid 1495: WARNING:  network IP is removed and system has no IP is assigned<br>2020-07-17T13:53:58.207489+00:00 lcm-34-199 pgpool[1495]: [19-2] 2020-07-17 13:53:58: pid 1495: DETAIL:  changing the state to in network trouble<br>2020-07-17T13:53:58.207522+00:00 lcm-34-199 pgpool[1495]: [20-1] 2020-07-17 13:53:58: pid 1495: LOG:  watchdog node state changed from [STANDBY] to [IN NETWORK TROUBLE]<br>2020-07-17T13:53:58.207550+00:00 lcm-34-199 pgpool[1495]: [21-1] 2020-07-17 13:53:58: pid 1495: FATAL:  system has lost the network<br>2020-07-17T13:53:58.207580+00:00 lcm-34-199 pgpool[1495]: [22-1] 2020-07-17 13:53:58: pid 1495: LOG:  Watchdog is shutting down<br>2020-07-17T13:53:58.208161+00:00 lcm-34-199 pgpool[1486]: [13-1] 2020-07-17 13:53:58: pid 1486: LOG:  watchdog child process with pid: 1495 exits with status 768<br>2020-07-17T13:53:58.208216+00:00 lcm-34-199 pgpool[1486]: [14-1] 2020-07-17 13:53:58: pid 1486: FATAL:  watchdog child process exit with fatal error. exiting pgpool-II<br>2020-07-17T13:57:14.337528+00:00 lcm-34-199 pgpool[4917]: [1-1] 2020-07-17 13:57:14: pid 4917: LOG:  stop request sent to pgpool. waiting for termination...<br></div></div>