<div dir="ltr"><div dir="ltr"><br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Wed, Mar 4, 2020 at 7:53 PM Wolf Schwurack &lt;<a href="mailto:wolf@uen.org">wolf@uen.org</a>&gt; wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">





<div lang="EN-US">
<div class="gmail-m_-5213648294867932647WordSection1">
<p class="MsoNormal">Hi Muhammad<u></u><u></u></p>
<p class="MsoNormal">I’m sending you the pgpool.log from both node0 and node1. The pgpool.log files are when I used pgpool.conf from 4.1.0. Also sending the pgpool.conf from 4.0.5 and 4.1.0 When I start pgpool using 4.0.5 pgpool.conf I’m not getting any errors
 but when I use pgpool.conf from 4.1.0 I’m getting “We are in split brain”<u></u><u></u></p>
<p class="MsoNormal"><u></u> <u></u></p>
<p class="MsoNormal">I tar all files into pgpool.tar.gz <u></u><u></u></p>
<p class="MsoNormal"><u></u> </p></div></div></blockquote><div><br></div><div>Many thanks, I am looking into this right now and will get back to you soon</div><div><br></div><div>Best regards</div><div>Muhammad Usama</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div lang="EN-US"><div class="gmail-m_-5213648294867932647WordSection1"><p class="MsoNormal"><u></u></p>
<p class="MsoNormal"><span style="font-size:10pt">Wolfgang Schwurack<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:10pt">Database/System Administrator<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:10pt">Utah Education Network<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:10pt">801-587-9444<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:10pt"><a href="mailto:wolf@uen.org" target="_blank"><span style="color:rgb(11,76,180)">wolf@uen.org</span></a><u></u><u></u></span></p>
<p class="MsoNormal"><u></u> <u></u></p>
<p class="MsoNormal"><u></u> <u></u></p>
<p class="MsoNormal"><u></u> <u></u></p>
<div style="border-right:none;border-bottom:none;border-left:none;border-top:1pt solid rgb(181,196,223);padding:3pt 0in 0in">
<p class="MsoNormal"><b><span style="font-size:12pt;color:black">From: </span></b><span style="font-size:12pt;color:black">Muhammad Usama &lt;<a href="mailto:m.usama@gmail.com" target="_blank">m.usama@gmail.com</a>&gt;<br>
<b>Date: </b>Wednesday, March 4, 2020 at 2:20 AM<br>
<b>To: </b>Tatsuo Ishii &lt;<a href="mailto:ishii@sraoss.co.jp" target="_blank">ishii@sraoss.co.jp</a>&gt;<br>
<b>Cc: </b>Wolfgang Schwurack &lt;<a href="mailto:wolf@uen.org" target="_blank">wolf@uen.org</a>&gt;, PgPool General &lt;<a href="mailto:pgpool-general@pgpool.net" target="_blank">pgpool-general@pgpool.net</a>&gt;<br>
<b>Subject: </b>Re: [pgpool-general: 6865] Re: watchdog fails to start pgpool-4.1.0<u></u><u></u></span></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">Hi <span style="font-size:10pt">Wolfgang,</span> <u></u><u></u></p>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:10pt">Sorry for the late reply. I just realized the email was sitting in my drafts folder and was never sent.</span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">Is it possible if you can share the Pppool log files for both nodes preferably with the debug enabled?<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">Meanwhile, I am also trying to reproduce the scenario locally.<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">Thanks<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">Best regards<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">Muhammad Usama<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
</div>
<p class="MsoNormal"><u></u> <u></u></p>
<div>
<div>
<p class="MsoNormal">On Tue, Feb 18, 2020 at 12:13 PM Tatsuo Ishii &lt;<a href="mailto:ishii@sraoss.co.jp" target="_blank">ishii@sraoss.co.jp</a>&gt; wrote:<u></u><u></u></p>
</div>
<blockquote style="border-top:none;border-right:none;border-bottom:none;border-left:1pt solid rgb(204,204,204);padding:0in 0in 0in 6pt;margin-left:4.8pt;margin-right:0in">
<p class="MsoNormal">Hi Usama,<br>
<br>
Any opinion on this?<br>
<br>
Best regards,<br>
--<br>
Tatsuo Ishii<br>
SRA OSS, Inc. Japan<br>
English: <a href="http://www.sraoss.co.jp/index_en.php" target="_blank">http://www.sraoss.co.jp/index_en.php</a><br>
Japanese:<a href="http://www.sraoss.co.jp" target="_blank">http://www.sraoss.co.jp</a><br>
<br>
&gt; I turned on enable_consensus_with_half_votes which I’m getting the<br>
&gt; acquired delegate IP on node 0. But now when I start pgpool on node 1<br>
&gt; getting this in the log file which is repeating - see below.  When I check<br>
&gt; which node has the virtual IP is show that node 0 does which is the master<br>
&gt; node. <br>
&gt; <br>
&gt; 2020-02-12 08:11:52: pid 29493: LOG:  watchdog node state changed from<br>
&gt; [INITIALIZING] to [MASTER]<br>
&gt; 2020-02-12 08:11:52: pid 29493: LOG:  I am announcing my self as<br>
&gt; master/coordinator watchdog node<br>
&gt; 2020-02-12 08:11:52: pid 29493: LOG:  remote node &quot;&quot; decided it is the<br>
&gt; true master<br>
&gt; 2020-02-12 08:11:52: pid 29493: DETAIL:  re-initializing the local<br>
&gt; watchdog cluster state because of split-brain<br>
&gt; 2020-02-12 08:11:52: pid 29493: LOG:  watchdog node state changed from<br>
&gt; [MASTER] to [JOINING]<br>
&gt; 2020-02-12 08:11:53: pid 29493: LOG:  new watchdog node connection is<br>
&gt; received from &quot;<a href="http://10.11.0.202:12399" target="_blank">10.11.0.202:12399</a>&quot;<br>
&gt; 2020-02-12 08:11:56: pid 29493: LOG:  watchdog node state changed from<br>
&gt; [JOINING] to [INITIALIZING]<br>
&gt; 2020-02-12 08:11:57: pid 29493: LOG:  I am the only alive node in the<br>
&gt; watchdog cluster<br>
&gt; 2020-02-12 08:11:57: pid 29493: HINT:  skipping stand for coordinator state<br>
&gt; <br>
&gt; My environment<br>
&gt; 2 pgpool hosts on Ubuntu 18<br>
&gt; 2 postgresql hosts on Ubuntu 18 postgreSQL 11<br>
&gt; <br>
&gt; <br>
&gt; Wolfgang Schwurack<br>
&gt; Database/System Administrator<br>
&gt; Utah Education Network<br>
&gt; 801-587-9444<br>
&gt; <a href="mailto:Wolf@uen.org" target="_blank">Wolf@uen.org</a><br>
&gt; <br>
&gt; <br>
&gt; <br>
&gt; <br>
&gt; <br>
&gt; On 2/11/20, 3:50 PM, &quot;Tatsuo Ishii&quot; &lt;<a href="mailto:ishii@sraoss.co.jp" target="_blank">ishii@sraoss.co.jp</a>&gt; wrote:<br>
&gt; <br>
&gt;&gt;Have you turned on enable_consensus_with_half_votes?<br>
&gt;&gt;From 4.1 you need to turn on this if you use even number of Pgpool-II<br>
&gt;&gt;nodes.<br>
&gt;&gt;It&#39;s documented in the migration section in the doc:<br>
&gt;&gt;<a href="https://www.pgpool.net/docs/latest/en/html/release-4-1-0.html" target="_blank">https://www.pgpool.net/docs/latest/en/html/release-4-1-0.html</a><br>
&gt;&gt;<br>
&gt;&gt;Best regards,<br>
&gt;&gt;--<br>
&gt;&gt;Tatsuo Ishii<br>
&gt;&gt;SRA OSS, Inc. Japan<br>
&gt;&gt;English: <a href="http://www.sraoss.co.jp/index_en.php" target="_blank">http://www.sraoss.co.jp/index_en.php</a><br>
&gt;&gt;Japanese:<a href="http://www.sraoss.co.jp" target="_blank">http://www.sraoss.co.jp</a><br>
&gt;&gt;<br>
&gt;&gt;From: Wolf Schwurack &lt;<a href="mailto:wolf@uen.org" target="_blank">wolf@uen.org</a>&gt;<br>
&gt;&gt;Subject: [pgpool-general: 6865] Re: watchdog fails to start pgpool-4.1.0<br>
&gt;&gt;Date: Tue, 11 Feb 2020 18:10:25 +0000<br>
&gt;&gt;Message-ID: &lt;<a href="mailto:56216C05-00F8-4C10-A32A-C793411C7891@umail.utah.edu" target="_blank">56216C05-00F8-4C10-A32A-C793411C7891@umail.utah.edu</a>&gt;<br>
&gt;&gt;<br>
&gt;&gt;&gt; After doing some more testing on version 4.1.0 I have notice that if<br>
&gt;&gt;&gt;node 0 fails, node 1 never acquires the delegate IP. I compared this to<br>
&gt;&gt;&gt;version 4.0.5 which when node 0 fails, node 1 acquires the delegate IP<br>
&gt;&gt;&gt; <br>
&gt;&gt;&gt; Wolfgang Schwurack<br>
&gt;&gt;&gt; Database/System Administrator<br>
&gt;&gt;&gt; Utah Education Network<br>
&gt;&gt;&gt; 801-587-9444<br>
&gt;&gt;&gt; <a href="mailto:wolf@uen.org" target="_blank">wolf@uen.org</a>&lt;mailto:<a href="mailto:wolf@uen.org" target="_blank">wolf@uen.org</a>&gt;<br>
&gt;&gt;&gt; <br>
&gt;&gt;&gt; From: &quot;<a href="mailto:pgpool-general-bounces@pgpool.net" target="_blank">pgpool-general-bounces@pgpool.net</a>&quot;<br>
&gt;&gt;&gt;&lt;<a href="mailto:pgpool-general-bounces@pgpool.net" target="_blank">pgpool-general-bounces@pgpool.net</a>&gt; on behalf of Wolfgang Schwurack<br>
&gt;&gt;&gt;&lt;<a href="mailto:wolf@uen.org" target="_blank">wolf@uen.org</a>&gt;<br>
&gt;&gt;&gt; Date: Tuesday, February 11, 2020 at 10:54 AM<br>
&gt;&gt;&gt; To: &quot;<a href="mailto:pgpool-general@pgpool.net" target="_blank">pgpool-general@pgpool.net</a>&quot; &lt;<a href="mailto:pgpool-general@pgpool.net" target="_blank">pgpool-general@pgpool.net</a>&gt;<br>
&gt;&gt;&gt; Subject: [pgpool-general: 6864] Re: watchdog fails to start pgpool-4.1.0<br>
&gt;&gt;&gt; <br>
&gt;&gt;&gt; It seem that version 4.1.0 requires the second node to be started<br>
&gt;&gt;&gt;before acquired the delegate IP<br>
&gt;&gt;&gt; After starting pgpool on the node 1 I?m seeing that watchdog<br>
&gt;&gt;&gt;successfully acquired the delegate IP on node 0<br>
&gt;&gt;&gt; <br>
&gt;&gt;&gt; 2020-02-11 10:45:26: pid 9928: LOG:  watchdog: escalation started<br>
&gt;&gt;&gt; 2020-02-11 10:45:33: pid 9928: LOG:  successfully acquired the delegate<br>
&gt;&gt;&gt;IP:&quot;10.11.0.204&quot;<br>
&gt;&gt;&gt; 2020-02-11 10:45:33: pid 9928: DETAIL:  &#39;if_up_cmd&#39; returned with<br>
&gt;&gt;&gt;success<br>
&gt;&gt;&gt; 2020-02-11 10:45:33: pid 9577: LOG:  watchdog escalation process with<br>
&gt;&gt;&gt;pid: 9928 exit with SUCCESS.<br>
&gt;&gt;&gt; <br>
&gt;&gt;&gt; On previous versions watchdog would always acquire the delegate IP<br>
&gt;&gt;&gt;without the second node being started.<br>
&gt;&gt;&gt; <br>
&gt;&gt;&gt; <br>
&gt;&gt;&gt; From: &quot;<a href="mailto:pgpool-general-bounces@pgpool.net" target="_blank">pgpool-general-bounces@pgpool.net</a>&quot;<br>
&gt;&gt;&gt;&lt;<a href="mailto:pgpool-general-bounces@pgpool.net" target="_blank">pgpool-general-bounces@pgpool.net</a>&gt; on behalf of Wolfgang Schwurack<br>
&gt;&gt;&gt;&lt;<a href="mailto:wolf@uen.org" target="_blank">wolf@uen.org</a>&gt;<br>
&gt;&gt;&gt; Date: Tuesday, February 11, 2020 at 10:22 AM<br>
&gt;&gt;&gt; To: &quot;<a href="mailto:pgpool-general@pgpool.net" target="_blank">pgpool-general@pgpool.net</a>&quot; &lt;<a href="mailto:pgpool-general@pgpool.net" target="_blank">pgpool-general@pgpool.net</a>&gt;<br>
&gt;&gt;&gt; Subject: [pgpool-general: 6863] watchdog fails to start pgpool-4.1.0<br>
&gt;&gt;&gt; <br>
&gt;&gt;&gt; I?m trying to get watchdog to start using pgpool-4.1.0 but fails to<br>
&gt;&gt;&gt;start. I have been using pgpool-4.0.5 with watchdog no issues.<br>
&gt;&gt;&gt; Has something changed in version 4.1.0 for watchdog?<br>
&gt;&gt;&gt; Hosts  - Ubuntu 18.0.4<br>
&gt;&gt;&gt; PostgreSQL 11<br>
&gt;&gt;&gt; <br>
&gt;&gt;&gt; I?ve been using pgpool for a long time on each new release I have<br>
&gt;&gt;&gt;always just done ./configure, make, make install<br>
&gt;&gt;&gt; <br>
&gt;&gt;&gt; This is my start command<br>
&gt;&gt;&gt; <br>
&gt;&gt;&gt; /usr/local/bin/pgpool -n -D -f /usr/local/etc/pgpool.conf &gt;<br>
&gt;&gt;&gt;/var/log/pgpool/pgpool.log 2&gt;&amp;1 &amp;<br>
&gt;&gt;&gt; In pgpool.log it would always show if acquired the delegate ip<br>
&gt;&gt;&gt; Version 4.0.5 start up watchdog<br>
&gt;&gt;&gt; <br>
&gt;&gt;&gt; 2020-02-11 10:13:05: pid 2195: LOG:  pgpool-II successfully started.<br>
&gt;&gt;&gt;version 4.0.5 (torokiboshi)<br>
&gt;&gt;&gt; <br>
&gt;&gt;&gt; 2020-02-11 10:13:05: pid 2195: LOG:  node status[0]: 1<br>
&gt;&gt;&gt; <br>
&gt;&gt;&gt; 2020-02-11 10:13:05: pid 2195: LOG:  node status[1]: 2<br>
&gt;&gt;&gt; <br>
&gt;&gt;&gt; 2020-02-11 10:13:06: pid 2228: LOG:  creating socket for sending<br>
&gt;&gt;&gt;heartbeat<br>
&gt;&gt;&gt; <br>
&gt;&gt;&gt; 2020-02-11 10:13:06: pid 2228: DETAIL:  bind send socket to device: eth0<br>
&gt;&gt;&gt; <br>
&gt;&gt;&gt; 2020-02-11 10:13:06: pid 2228: LOG:  set SO_REUSEPORT option to the<br>
&gt;&gt;&gt;socket<br>
&gt;&gt;&gt; <br>
&gt;&gt;&gt; 2020-02-11 10:13:06: pid 2228: LOG:  creating socket for sending<br>
&gt;&gt;&gt;heartbeat<br>
&gt;&gt;&gt; <br>
&gt;&gt;&gt; 2020-02-11 10:13:06: pid 2228: DETAIL:  set SO_REUSEPORT<br>
&gt;&gt;&gt; <br>
&gt;&gt;&gt; 2020-02-11 10:13:06: pid 2227: LOG:  createing watchdog heartbeat<br>
&gt;&gt;&gt;receive socket.<br>
&gt;&gt;&gt; <br>
&gt;&gt;&gt; 2020-02-11 10:13:06: pid 2227: DETAIL:  bind receive socket to device:<br>
&gt;&gt;&gt;&quot;eth0&quot;<br>
&gt;&gt;&gt; <br>
&gt;&gt;&gt; 2020-02-11 10:13:06: pid 2227: LOG:  set SO_REUSEPORT option to the<br>
&gt;&gt;&gt;socket<br>
&gt;&gt;&gt; <br>
&gt;&gt;&gt; 2020-02-11 10:13:06: pid 2227: LOG:  creating watchdog heartbeat<br>
&gt;&gt;&gt;receive socket.<br>
&gt;&gt;&gt; <br>
&gt;&gt;&gt; 2020-02-11 10:13:06: pid 2227: DETAIL:  set SO_REUSEPORT<br>
&gt;&gt;&gt; <br>
&gt;&gt;&gt; 2020-02-11 10:13:12: pid 2200: LOG:  successfully acquired the delegate<br>
&gt;&gt;&gt;IP:&quot;10.11.0.204&quot;<br>
&gt;&gt;&gt; <br>
&gt;&gt;&gt; 2020-02-11 10:13:12: pid 2200: DETAIL:  &#39;if_up_cmd&#39; returned with<br>
&gt;&gt;&gt;success<br>
&gt;&gt;&gt; <br>
&gt;&gt;&gt; 2020-02-11 10:13:12: pid 2197: LOG:  watchdog escalation process with<br>
&gt;&gt;&gt;pid: 2200 exit with SUCCESS.<br>
&gt;&gt;&gt; <br>
&gt;&gt;&gt; Version 4.1.0 fails to start watchdog<br>
&gt;&gt;&gt; <br>
&gt;&gt;&gt; 2020-02-11 10:15:54: pid 8392: LOG:  pgpool-II successfully started.<br>
&gt;&gt;&gt;version 4.1.0 (karasukiboshi)<br>
&gt;&gt;&gt; <br>
&gt;&gt;&gt; 2020-02-11 10:15:54: pid 8392: LOG:  node status[0]: 1<br>
&gt;&gt;&gt; <br>
&gt;&gt;&gt; 2020-02-11 10:15:54: pid 8392: LOG:  node status[1]: 2<br>
&gt;&gt;&gt; <br>
&gt;&gt;&gt; 2020-02-11 10:15:55: pid 8425: LOG:  creating socket for sending<br>
&gt;&gt;&gt;heartbeat<br>
&gt;&gt;&gt; <br>
&gt;&gt;&gt; 2020-02-11 10:15:55: pid 8425: DETAIL:  bind send socket to device: eth0<br>
&gt;&gt;&gt; <br>
&gt;&gt;&gt; 2020-02-11 10:15:55: pid 8425: LOG:  set SO_REUSEPORT option to the<br>
&gt;&gt;&gt;socket<br>
&gt;&gt;&gt; <br>
&gt;&gt;&gt; 2020-02-11 10:15:55: pid 8425: LOG:  creating socket for sending<br>
&gt;&gt;&gt;heartbeat<br>
&gt;&gt;&gt; <br>
&gt;&gt;&gt; 2020-02-11 10:15:55: pid 8425: DETAIL:  set SO_REUSEPORT<br>
&gt;&gt;&gt; <br>
&gt;&gt;&gt; 2020-02-11 10:15:55: pid 8424: LOG:  createing watchdog heartbeat<br>
&gt;&gt;&gt;receive socket.<br>
&gt;&gt;&gt; <br>
&gt;&gt;&gt; 2020-02-11 10:15:55: pid 8424: DETAIL:  bind receive socket to device:<br>
&gt;&gt;&gt;&quot;eth0&quot;<br>
&gt;&gt;&gt; <br>
&gt;&gt;&gt; 2020-02-11 10:15:55: pid 8424: LOG:  set SO_REUSEPORT option to the<br>
&gt;&gt;&gt;socket<br>
&gt;&gt;&gt; <br>
&gt;&gt;&gt; 2020-02-11 10:15:55: pid 8424: LOG:  creating watchdog heartbeat<br>
&gt;&gt;&gt;receive socket.<br>
&gt;&gt;&gt; <br>
&gt;&gt;&gt; 2020-02-11 10:15:55: pid 8424: DETAIL:  set SO_REUSEPORT<br>
&gt;&gt;&gt; <br>
&gt;&gt;&gt; <br>
&gt;&gt;&gt; Wolfgang Schwurack<br>
&gt;&gt;&gt; Database/System Administrator<br>
&gt;&gt;&gt; Utah Education Network<br>
&gt;&gt;&gt; 801-587-9444<br>
&gt;&gt;&gt; <a href="mailto:wolf@uen.org" target="_blank">wolf@uen.org</a>&lt;mailto:<a href="mailto:wolf@uen.org" target="_blank">wolf@uen.org</a>&gt;<br>
&gt;&gt;&gt; <br>
&gt; <u></u><u></u></p>
</blockquote>
</div>
</div>
</div>

</blockquote></div></div>