小正的码栈

    Linux实例常用内核网络参数优化

    阿里云ECS使用过程中突然发现TCP连接数异常变化，遂深入了解并进行优化

    查看和修改 Linux 实例内核参数

    查看内核参数：执行命令 sysctl -a 查看当前系统中生效的所有参数，如下所示：

      net.ipv4.tcp_app_win = 31
  net.ipv4.tcp_adv_win_scale = 2
  net.ipv4.tcp_tw_reuse = 0
  net.ipv4.tcp_frto = 2
  net.ipv4.tcp_frto_response = 0
  net.ipv4.tcp_low_latency = 0
  net.ipv4.tcp_no_metrics_save = 0
  net.ipv4.tcp_moderate_rcvbuf = 1
  net.ipv4.tcp_tso_win_divisor = 3
  net.ipv4.tcp_congestion_control = cubic
  net.ipv4.tcp_abc = 0
  net.ipv4.tcp_mtu_probing = 0
  net.ipv4.tcp_base_mss = 512
  net.ipv4.tcp_workaround_signed_windows = 0
  net.ipv4.tcp_challenge_ack_limit = 1000
  net.ipv4.tcp_limit_output_bytes = 262144
  net.ipv4.tcp_dma_copybreak = 4096
  net.ipv4.tcp_slow_start_after_idle = 1
  net.ipv4.cipso_cache_enable = 1
  net.ipv4.cipso_cache_bucket_size = 10
  net.ipv4.cipso_rbm_optfmt = 0
  net.ipv4.cipso_rbm_strictvalid = 1

    修改内核参数：
    执行命令 vi /etc/sysctl.conf 修改文件中的参数
    执行命令 sysctl -p 使配置生效
    注意：调整内核参数后内核处于不稳定状态，请务必重启实例

    Linux 网络相关内核参数引发的常见问题及处理

    Linux 实例 NAT 哈希表满导致 ECS 实例丢包

    此处涉及的内核参数：

    net.netfilter.nf_conntrack_buckets
    net.nf_conntrack_max

    问题现象
    ECS Linux 实例出现间歇性丢包，无法连接实例，通过 tracert、mtr 等工具排查，外部网络未见异常。同时，如下图所示，在系统日志中重复出现大量（table full, dropping packet.）错误信息。

    Feb  6 16:05:07 i-*** kernel: nf_conntrack: table full, dropping packet.
Feb  6 16:05:07 i-*** kernel: nf_conntrack: table full, dropping packet.
Feb  6 16:05:07 i-*** kernel: nf_conntrack: table full, dropping packet.
Feb  6 16:05:07 i-*** kernel: nf_conntrack: table full, dropping packet.

    原因分析
    ip_conntrack 是 Linux 系统内 NAT 的一个跟踪连接条目的模块。ip_conntrack 模块会使用一个哈希表记录 TCP 协议 established connection 记录，当这个哈希表满了的时候，便会导致 nf_conntrack: table full, dropping packet 错误。Linux 系统会开辟一个空间用来维护每一个 TCP 链接，这个空间的大小与 nf_conntrack_buckets、nf_conntrack_max 相关，后者的默认值是前者的 4 倍，而前者在系统启动后无法修改，所以一般都是建议调大 nf_conntrack_max。

    注意：系统维护连接比较消耗内存，请在系统空闲和内存充足的情况下调大 nf_conntrack_max，且根据系统的情况而定。

    解决思路
    执行命令 # vi /etc/sysctl.conf 编辑系统内核配置。
    修改哈希表项最大值参数：net.netfilter.nf_conntrack_max = 655350。
    修改超时参数：net.netfilter.nf_conntrack_tcp_timeout_established = 1200，默认情况下 timeout 是 432000（秒）。
    执行命令 # sysctl -p 使配置生效。

    文档涉及的 Linux 内核参数说明

    参数说明
    net.ipv4.tcp_max_syn_backlog该参数决定了系统中处于 SYN_RECV 状态的 TCP 连接数量。SYN_RECV 状态指的是当系统收到 SYN 后，作了 SYN+ACK 响应后等待对方回复三次握手阶段中的最后一个 ACK 的阶段。
    net.ipv4.tcp_syncookies该参数表示是否打开 TCP 同步标签（SYN_COOKIES），内核必须开启并编译 CONFIG_SYN_COOKIES，SYN_COOKIES 可以防止一个套接字在有过多试图连接到达时引起过载。默认值 0 表示关闭。当该参数被设置为 1 且 SYN_RECV 队列满了之后，内核会对 SYN 包的回复做一定的修改，即，在响应的 SYN+ACK 包中，初始的序列号是由源 IP + Port、目的 IP + Port 及时间这五个参数共同计算出一个值组成精心组装的 TCP 包。由于 ACK 包中确认的序列号并不是之前计算出的值，恶意攻击者无法响应或误判，而请求者会根据收到的 SYN+ACK 包做正确的响应。启用 net.ipv4.tcp_syncookies 后，会忽略 net.ipv4.tcp_max_syn_backlog。
    net.ipv4.tcp_synack_retries该参数指明了处于 SYN_RECV 状态时重传 SYN+ACK 包的次数。
    net.ipv4.tcp_abort_on_overflow设置该参数为 1 时，当系统在短时间内收到了大量的请求，而相关的应用程序未能处理时，就会发送 Reset 包直接终止这些链接。建议通过优化应用程序的效率来提高处理能力，而不是简单地 Reset。默认值： 0。
    net.core.somaxconn该参数定义了系统中每一个端口最大的监听队列的长度，是个全局参数。该参数和 net.ipv4.tcp_max_syn_backlog 有关联，后者指的是还在三次握手的半连接的上限，该参数指的是处于 ESTABLISHED 的数量上限。若您的 ECS 实例业务负载很高，则有必要调高该参数。listen(2) 函数中的参数 backlog 同样是指明监听的端口处于 ESTABLISHED 的数量上限，当 backlog 大于 net.core.somaxconn时，以 net.core.somaxconn 参数为准。
    net.core.netdev_max_backlog当内核处理速度比网卡接收速度慢时，这部分多出来的包就会被保存在网卡的接收队列上，而该参数说明了这个队列的数量上限。

    参考链接 阿里云

    发布于: 2019-06-14