解决一个远程主机强迫关闭连接的bug

摘要

本文描述了如何解决一个rpc调用发生的问题,旨在提供一种解决思路,而不是一个具体的问题解决方案

问题描述

通过dubbo调用一个API时,间歇性的出现远程主机强迫关闭连接的问题

java.io.IOException: 远程主机强迫关闭了一个现有的连接。
at sun.nio.ch.SocketDispatcher.read0(Native Method)
at sun.nio.ch.SocketDispatcher.read(SocketDispatcher.java:43)
at sun.nio.ch.IOUtil.readIntoNativeBuffer(IOUtil.java:223)
at sun.nio.ch.IOUtil.read(IOUtil.java:192)
at sun.nio.ch.SocketChannelImpl.read(SocketChannelImpl.java:380)
at io.netty.buffer.PooledUnsafeDirectByteBuf.setBytes(PooledUnsafeDirectByteBuf.java:288)
at io.netty.buffer.AbstractByteBuf.writeBytes(AbstractByteBuf.java:1100)
at io.netty.channel.socket.nio.NioSocketChannel.doReadBytes(NioSocketChannel.java:367)
at io.netty.channel.nio.AbstractNioByteChannelNioByteUnsafe.read(AbstractNioByteChannel.java:118)atio.netty.channel.nio.NioEventLoop.processSelectedKey(NioEventLoop.java:610)atio.netty.channel.nio.NioEventLoop.processSelectedKeysOptimized(NioEventLoop.java:551)atio.netty.channel.nio.NioEventLoop.processSelectedKeys(NioEventLoop.java:465)atio.netty.channel.nio.NioEventLoop.run(NioEventLoop.java:437)atio.netty.util.concurrent.SingleThreadEventExecutor5.run(SingleThreadEventExecutor.java:873)
at io.netty.util.concurrent.DefaultThreadFactory$DefaultRunnableDecorator.run(DefaultThreadFactory.java:144)
at java.lang.Thread.run(Thread.java:745)

问题分析

  • 怀疑1
    一开始怀疑是远程主机连接太多,导致被杀掉,查看了下远程主机是否有过多的连接,发现并没有,看了下线上的问题,发现只有这一个API有问题,排除了这个问题
netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'
  • 怀疑2
    异常栈中有netty相关的处理,可能是netty的问题,之前在dubbo升级过程中,出现过netty版本不匹配的问题
    用wireshark,抓了一下请求的包,发现调用的API数据已经返回,wireshark已经抓到了返回的数据,但是服务端发送了一个[RST,ACK]关闭了连接,而不是正常的4次挥手关闭连接。客户端是netty,服务端是jetty。所以排查了是netty的问题

  • 怀疑3
    既然不是netty,客户端的问题,那么就是服务端的问题,查看同一时间服务端的日志,发现并没有异常抛出,结合数据已经请求到,但是并没有返回给客户端,这不是web 容器jetty 的问题,而是rpc框架的问题。打开rpc框架的log,再等重现的时候,看日志。
    最后看到在Controller层request method handler抛出了异常。没有找到对应的方法。
    解决了这个问题

总结

  1. 对于一个间歇性出现的问题,一般不是那么好排查,需要小心试探,争取能够复现,如果不能复现,需要结合零碎的知识,确定问题在哪一步出现,然后结合对应的debug日志来排查出问题的根源

  2. 在刚开始的时候,根据抛出的异常[远程主机强迫关闭连接]这个关键词,去网上搜索的时候,发现都是在说客户端的问题导致的,导致一开始都认为是这个API的代码有问题,连包都不去抓,陷入了固有思维中去了,这个是需要去避免的

参考

http://blog.csdn.net/yanxi252515237/article/details/51955675

©️2020 CSDN 皮肤主题: Age of Ai 设计师: meimeiellie 返回首页
实付0元
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值