远程连内网 MySQL 为什么“莫名”断开

做异地开发或跨网运维的人几乎都遇到过:客户端连上内网 MySQL 后,跑几条查询没问题,离开一会儿再回来执行语句,连接已经断了。报错常见为 Lost connection to MySQL server during query、MySQL server has gone away,或者客户端直接提示连接被重置。

很多人第一反应是网络质量太差。但真正排查下去,相当比例的问题不在链路掉线,而在 TCP 保活参数与中间设备的会话超时策略不匹配。链路本身并没有断开,只是某一端的“静默超时”把连接提前回收了。

这个现象在经 NAT、防火墙或异地组网通道访问 MySQL 时会被显著放大。因为这类链路上,中间设备对无数据交换的 TCP 会话有自己的维持时长判断,而 MySQL 默认的 TCP 保活探测时机往往比中间设备的超时窗口更晚,结果就是连接被中间设备静默丢弃。

TCP 保活在这个链路里到底起什么作用

TCP 本身没有“心跳”义务。两端建立连接后,只要不发送数据,连接可以始终保持逻辑打开。但网络路径上的 NAT 设备、防火墙、负载均衡器通常不会为一个没有数据通过的会话无限保留映射表项,一般会在几十秒到几分钟不等的超时后清理。

TCP keepalive 就是在数据不动的时候,由内核定期向对端发送探测包,对端回应后,两端和中间设备都认为会话仍然活跃。它要解决三层问题:

  • 清除死连接:对端主机崩溃、网线被拔时,本地可以及时发现连接不可用;
  • 维持 NAT 映射:让有时间限制的 NAT/防火墙映射持续刷新;
  • 缩短故障发现时间:在应用协议本身没有心跳的情况下,提前感知链路中断。

注意区分两个关键参数:探测开始时间与探测间隔。很多系统默认“开始探测”要等 2 小时,这对跨公网和内网穿透场景基本没有意义。

MySQL 自身有几套参数,不只有 wait_timeout

MySQL 控制连接存活的参数分布在几个不同层面。只调 wait_timeout 经常不生效,因为断开可能不是 MySQL 主动发起的。

参数作用对象默认/典型值对断连的实际影响
wait_timeout非交互连接28800 秒MySQL 主动回收空闲连接,但链路若不经过中间 NAT 设备,正常直连通常不是此参数导致的意外断连
interactive_timeout交互连接(如 mysql 命令行)28800 秒同为应用侧回收窗口
net_read_timeout / net_write_timeout单包读写等待30/60 秒大查询或慢网络下可能触发异常,但不会因静默自然断开
tcp_keepalive_time(OS)TCP 保活探测开始时间多数 Linux 默认 7200 秒超过中间设备静默阈值,NAT 映射被清理
tcp_keepalive_intvl(OS)保活探测间隔75 秒影响断连后的敏感性,不决定首次断开
tcp_keepalive_probes(OS)探测失败重试次数9 次影响容忍度,不决定首次断开

问题往往出在“中间设备的规定”小于“两端默认保活探测点”。例如某台防火墙会清理 5 分钟无包会话,而两端 TCP keepalive 首次探测都在 2 小时之后,MySQL 根本不知道之间发生了什么——防火墙直接把会话删掉,任何一个后续 packet 都会触发 RST 或静默丢弃。

还有一个典型误区:把客户端的 JDBC 参数 autoReconnect 当成解决方案。它能消除部分异常提示,但会掩盖真实链路问题,甚至在事务期间触发重建连接导致数据脏写或重复提交。生产环境不建议仅靠这类参数应对连接断开。

如何判断是保活问题而不是网络抖动

直接抓包与对比即可,两侧同时执行:

  1. 在 Access 端用 tcpdump -i any host <mysql_host> -w /tmp/keepalive.pcap 筛选双向流;
  2. 将数据导出为长时间会话的时间线,查找是否有长时间零数据收发段;
  3. 随后出现的首个数据包若为 RST 或 ICMP 不可达,几乎可以认定为中间设备清理了会话;
  4. 同时在内网侧查看 MySQL 状态:SHOW GLOBAL STATUS LIKE 'Aborted%',Client 侧断连对应的时间点和 aborted 记录数量明显上升。

还有个有效做法是在同一条链路上用 OpenSSL 建秒级空闲保活的隧道,或临时用 mysqladmin ping 放在循环里观察断开点——不治本但可复现。

[插图建议:简化链路图,左侧外网 Client、右侧内网 MySQL Server,中间标注 NAT/防火墙会话计时器,与两端 TCP keepalive 参数对照。]

一套参数调整与验证的通用步骤

调整原则很简单:两端和内网的 TCP keepalive 必须小于“最严苛中间设备”的静默超时窗口。很多线上建议写 60 秒起点加 30 秒间隔,在大多数 NAT 与防火墙组合下足够覆盖。稳妥的做法是按设备和应用两层分别设置:

  • 操作系统层面:Linux 可将 net.ipv4.tcp_keepalive_time 调整为 60~75 秒,探测间隔 10~20 秒左右,并通过网络命名空间分别验证。VPN 虚拟网卡与物理网卡可能走不同参数,所有实际出向接口都要调。
  • MySQL 应用层:针对具体用户或全局设置 wait_timeout、net_read_timeout 后要分场景验证,生产库注意对连接池做适配而非一刀切累加空闲活跃度。
  • 客户端连接池:维护 keepaliveSocketOptions 时,必须在连接使用的 Socket 上实际透传操作系统的保活参数,而不是只加一行配置不检查内核生效情况。

验证时应固定复现结构:留空 4~8 分钟再看连接是否可用,记录“发生断开前是否有 DNS 查询拆包、TLS session 复用中断、以及代理切换路径变更”等复合因素。必要时在镜像流量中用 SocketMetrics 观测保活探测数和间隔是否符合预期。

经 NexTunnel 访问内网 MySQL 时的落地调整与注意点

当采用 NexTunnel 这类客户端-服务端架构跨网访问内网 MySQL 时,Server 部署内网侧、外网 Client 通过授权通道连接。这类长连接链路跨越公网、NAT 与中继决策,保活调整比纯内网要更审慎:

  • 在 NexTunnel 管理后台为 MySQL 资源绑定目标端口并授权 Client 设备后,Client 与本机 MySQL 客户端互访是本地环境环节,TCP 保活窗口仍需按本地网络设备阈值调整;
  • 部分安全基线较高的企业会对“外网到内网的数据面”进行阈值丢包控制,此时应配合运维确认是否可以在连接入口长连接白名单中允许指定端口会话;
  • 如果链路频繁进入中继模式(P2P 直连建立失败),保活策略应偏向较长空闲容忍,但不宜过大,否则中继在服务切换时会误报挂起;
  • 端口白名单与设备授权的实际价值是防止异常长连接乘虚而入,保活只是降低卡顿时无法被感知的概率,两者需要同时存在。

实践路径建议按下面的顺序进行:

  1. 先在 NexTunnel 客户端建立到目标 MySQL 端口的连接并保持常用客户端使用,确认路径基准可用;
  2. 在本地工作机和 mysql_client 所走的网卡匹配内核级 keepalive 起始时间;
  3. 通过 NexTunnel 管理后台观察访问审计记录,确认在一段时间无查询后连接仍处于可立即复用状态;
  4. 如果仍存在规律性断开,降低保活窗口到 30 秒发一次探测,并针对所有出向接口生效。

务必注意:隧道层的健康检查不等同于承载应用的端口健康,彻底起见在授权资源前先验证本地端口到内网资源的全过程无异常断开,否则会增加客户端重试堆积的风险。

排障清单与下一步落地建议

最后整理一张适合复盘排障的清单:

  • 拿到完整的断开日志与发生频率,确定与空闲时长的线性关系;
  • 确认途经设备中是否存在会清理 TCP 会话的安全防火墙/网关;
  • 检查 MySQL 自身的 wait/interactive_timeout 与 net 读写参数;
  • 排查连接池底层的 keepAlive 是否真正注入 Socket;
  • 验证经过 NexTunnel 的长连接会话审计记录中是否存在预期的空闲与保活特征。

对仍处于跨公网开发初期的团队,可先用 NexTunnel 建立最小化的内网 MySQL 访问链路,把问题收敛到“连接断在哪个环节”这一点上,再结合操作系统与中间设备参数行调整。对于已有公网暴露需求的 MySQL,应当优先评估是否可收缩入口并以授权设备与访问审计取代长期暴露端口,从根源减少被中途清理与恶意探测的困扰。