网络暂时停止出块情况说明(23日17:55更新:问题已修复,网络恢复运转!)

————以下为最新公告内容————

尊敬的各位用户,大家好,

感谢大家在网络修复升级工作期间给予我们的支持和鼓励。

现在修复安装包已经发布,请节点合作伙伴按照我们发布的升级操作指南进行操作,完成节点升级,做好重新加入网络的准备。

当节点完成升级,网络重新开始出块后,普通用户就能恢复访问。

再次感谢大家支持,如有问题请随时与我们联系。

PlatON运营团队

————————————————————————————————————————

尊敬的各位用户,大家好,

经过反复排查,目前网络不能出块的问题已经定位:

1.在同一个周期内发起两次重复领取收益,会导致处于犹豫期的委托能获得收益。

2.共识的Viewchange的状态持久化逻辑问题导致,网络节点大量异常,Viewchange频繁切换时view切换失败。

是第一个问题触发了第二个异常的发生。

基于此情况,需要通过一次链上治理升级来修正这两个问题。具体操作如下:

1.后续我们将进一步发布链上治理升级流程和操作内容,并请节点参与整个过程。

2.在节点与我们达成一致后,我们将发出新的0.9.0版本进行治理升级。

3.节点在完成升级,重新接入网络并出块后,此次治理升级过程结束。

4.此次升级对于链上数据不会造成任何影响,未能领取的委托收益都可以正常领取。

以上情形,请大家周知。

同时,我们将对提报此次异常积极配合我们调查工作的@KID用户予以500主网LAT的奖励,并对所有此次链上治理升级的节点予以1000主网LAT的奖励。以上奖励均将在主网上线后发放。

感谢大家对于PlatON的理解和支持,我们将以更加全力以赴的态度和更为周密严谨的工作来回报大家的这份热情。

如有任何问题,请大家随时在此帖下回复与我们交流,再次感谢!

PlatON运营团队

—————————————————————————————————————————

尊敬的各位用户,大家好,

北京时间2020年2月21日上午10时左右,因提取委托奖励操作导致的一个bug,目前网络暂时停止出块,我们正在紧急排查原因,寻求修复。

乐观情况下,我们会通过一个紧急补丁解决掉此问题,并恢复网络运转及出块。

在此我们也恳请各节点在必要的情况下,通过包括但不限于分享日志等多种手段,配合我们查明故障原因。

在问题修复后,我们会根据问题原因和后续处理情况提供相应奖励。

如因此给大家带来不便,敬请大家谅解。

感谢大家的支持和配合!

PlatON运营团队

4 个赞

进展情况记录(以下时间为北京时间):

————2月23日————

06:17 平行网测试通过,还剩几条自动化方面用例需要排查问题。为今天能够正常工作,先让大家休息会,9点半再起来。

10:10 测试完成,开始编译节点版本准备发布。

10:41 正在核对节点升级操作指南。

12:18 向节点合作伙伴发布节点升级操作指南,开始升级。

14:00 各个节点正在更新升级中,只有网络中所有验证人和备选节点候选人的总数超过2/3的节点发了新版本的版本声明交易后网络才能恢复出块。

16:48 已经恢复出块,继续观察网络稳定性情况。

17:55 对社区公告,网络恢复运作。

————2月22日————

09:30 在zoom召开会议确定链上治理升级流程,并对各部门工作分别做出安排,各条线分头开始准备。

14:00 zoom通气会议确认进展情况,底层代码已经开发完成,开始进行测试。再次确认后续的各项工作安排,下次通气会议预定17:00。

17:00 通气会上确认目前的测试顺利,如果没有意外的话,今天晚上会发布升级操作说明,预定明天白天节点可以正常工作的时候择机进行治理升级。晚上20:00继续确认。

20:00 通气会上反馈后续的测试中遇到一个问题,需要制定补充测试内容继续测试。

————2月21日————

10:12 出现第一个panic告警,随后多个节点出现panic,节点陆续停止出块

10:38 所有节点停止出块,8个节点进程退出

10:40 研发及运营团队紧急zoom会议,初步定位了问题并安排各条线后续处理举措。

10:53 在各通路向社区发出公告,公示当前状况。

11:14 经分析日志和现象初步判断,问题就是领取委托收益后委托池合约余额不足,出现负数导致进程挂掉。开始寻找导致问题的代码中。

11:30 研发及运营团队再次zoom会议,继续同步进展,并确认社区奖励方案

13:40 确定先修正bug,恢复出块,在委托池余额不足的情况下,领取委托收益返回失败的方案,并着手修改代码。

15:00 研发完成代码更新,开始内部测试。

15:30 运营和研发的第三次zoom会议,通报当前情况:测试进行中,初步确定需要部分节点配合升级完成bug修复。

16:06 修复方案内网环境验证通过,准备开始着手升级。确定了奖励方案,将随升级方案一起公布。

17:24 外网环境下验证修复方案未能生效,重新定位问题。

20:21 再次定位到问题,而且是两个问题连携在一起造成了无法出块。

21:27 继续zoom开会,商讨后续解决方案。

22:11 确定解决方案,协调各部门后续工作并安排社区通知。

23:14 向社区推送第二份情况说明,介绍后续安排,公示奖励方案。

6 个赞

如果有需要,xpool节点会全力配合。

非常感谢! :handshake: :handshake:

1 个赞

全是zoom开会啊,看来受疫情影响真的挺大

是啊,特殊时期,全靠远程开会解决问题了

好的,我这就反应给相关同事,谢谢。

@wptree 您好,今天早上应该已经完成了转账,浏览器对应记录地址为:

https://platscan.test.platon.network/trade-detail?txHash=0x6d5d40e6b832c7a8e86a4895986437b431b35e90cec74271f5a69ff836fcb020

您可以查询是否收到了。谢谢。

哇哦 果然收到了,是我的问题,没有去查地址。我还以为会有邮件回复通知 :grinning: :rofl:

是我们的工作没细致到位,感谢您的提醒,后面我们保持改进。

欢迎随时就任何问题与我们沟通,谢谢。

还有多久能恢复呢

就快了,正在准备节点升级说明。

1 个赞

更新了故障处理的最新进展情况,请大家周知。

提醒节点服务器开通16789通信端口

感谢您的提醒 :handshake:

停止出块的原因,等节点重新上线就好了

1 个赞

进度怎么样了 微信群里的群友都在焦急的等待

需要进行链上治理升级,要准备的工作比较多,我们正在抓紧安排,请大家耐心等待。多谢多谢。

测试就是要测bug的,大家耐心等待哈:blush:

1 个赞

ATON钱包里有笔交易,怎么LAT数量还是显示0