文章

网络编程高频总结五

发表于 更新于
作者 匆匆那年 20 分钟阅读

TCP 粘包问题及其解决方法

什么是粘包问题？

粘包问题是 TCP 协议中特有的现象，发生在数据接收方。当发送方连续发送多个数据包时，由于 TCP 是面向流的协议，接收方在读取数据时可能会将多个数据包的内容拼接在一起，导致数据边界无法识别。

粘包的原因

  1. TCP 是面向流的协议:
    • 数据以字节流形式传输，没有消息边界。
  2. 发送方数据合并:
    • 发送方底层协议栈可能会将多次小的数据发送合并为一个 TCP 数据段。
  3. 接收方缓存未及时读取:
    • 接收方读取数据不及时，导致多个数据包被合并读取。

解决粘包问题的方法

1. 固定长度协议

  • 原理:
    • 在应用层设计协议，约定每条消息的长度是固定的。
  • 优点:
    • 简单高效，解析逻辑容易实现。
  • 缺点:
    • 不适用于变长消息，可能会浪费带宽。
  • 示例:
    • 每条消息固定为 256 字节，不足的部分用填充字符补齐。

2. 特殊分隔符协议

  • 原理:

    • 在每条消息之间添加特殊的分隔符（如 \n 或 \r\n），接收方根据分隔符切分消息。

  • 优点:

    • 适合变长消息。

  • 缺点:

    • 如果消息内容本身可能包含分隔符，需要对数据进行转义或处理。

  • 示例:

    1

    Hello\nWorld\n

    接收方可以通过检测 \n分隔出两条消息：Hello和 World。

3. 消息头部带长度协议

  • 原理:
    • 在每条消息前添加固定长度的头部字段，头部字段中包含消息体的长度。
    • 接收方先读取头部获取长度信息，再读取指定长度的消息体。
  • 优点:
    • 适合变长消息，兼容性强。
  • 缺点:
    • 实现稍复杂，需要额外处理头部和消息体。
  • 示例:
    • 消息格式: [4字节长度字段][消息体]
    • 数据: \x00\x00\x00\x05Hello\x00\x00\x00\x05World
    • 解析:
      1. 读取长度字段 \x00\x00\x00\x05（即 5 字节）。
      2. 读取接下来的 5 字节，得到消息 Hello。

4. 应用层数据流协议

  • 原理:
    • 使用成熟的协议标准（如 Protobuf、MessagePack、Thrift 等）对数据进行序列化和反序列化。
  • 优点:
    • 标准化、高效、适合复杂数据结构。
  • 缺点:
    • 增加了协议的学习成本。
  • 示例:
    • 使用 Protobuf 定义消息结构，发送序列化后的二进制数据。
    • 接收方通过 Protobuf 自动解析数据，确保边界清晰。

5. 分批读取和缓冲处理

  • 原理:

    • 接收方将接收到的数据存入缓冲区，并根据协议规则解析出完整的消息，未完成的数据保留到下一次接收中继续处理。

  • 优点:

    • 通用性强，适合各种协议格式。

  • 缺点:

    • 实现较复杂，需要额外管理缓冲区。

  • 示例代码

    :

    1
2
3
4
5
6
7
8
9
10

    buffer = b""  # 用于存储未处理的数据
while True:
    data = socket.recv(1024)  # 从网络接收数据
    buffer += data  # 将数据加入缓冲区
      
    # 按固定长度解析消息
    while len(buffer) >= MESSAGE_LENGTH:
        message = buffer[:MESSAGE_LENGTH]
        buffer = buffer[MESSAGE_LENGTH:]  # 移除已处理的数据
        process_message(message)  # 处理消息

总结

方法优点缺点适用场景
固定长度协议简单高效，易实现不适用变长消息，可能浪费带宽固定格式、简单协议
特殊分隔符协议实现简单，适用变长消息消息体中可能包含分隔符，需要转义处理文本协议（如日志传输）
消息头部带长度协议灵活、适合变长消息实现稍复杂通用二进制协议
应用层数据流协议标准化、高效增加协议学习成本复杂数据结构传输
分批读取和缓冲处理通用性强，适合各种协议格式实现较复杂，需要额外管理缓冲区高并发或通用协议场景

根据场景选择合适的解决方案可以有效应对 TCP 粘包问题。

查看网络状态

要查看网络状况，可以使用以下多种方法，具体取决于你的操作系统和需要查看的内容（如网络连接状态、流量、延迟等）。以下是常用的工具和命令：

1. 网络连接状态

Windows

  • 查看当前网络连接状态:

    ipconfig /all

  • 显示活动的网络连接及端口:

    netstat -an

  • 实时查看网络连接和状态:

    netstat -b 5
    • -b: 显示使用网络连接的程序。
    • 5: 每 5 秒刷新一次。

Linux/Mac

  • 查看网络接口和 IP 信息:

    1
2

    ifconfig        # 已被 `ip` 命令取代
ip addr show    # 推荐方式

  • 查看活动连接和端口:

    1

    netstat -an

    或

    1

    ss -tuln
    • -t: TCP 连接。
    • -u: UDP 连接。
    • -l: 监听状态。
    • -n: 数字显示端口号和 IP 地址。

2. 网络流量

Windows

  • 任务管理器:
    • 打开任务管理器 (Ctrl + Shift + Esc)。
    • 查看 性能 > 网络 标签页。
  • 网络流量实时监控工具:
    • 使用第三方工具，如 Wireshark 或 NetWorx。

Linux/Mac

  • 实时监控网络流量:

    1

    iftop
    • 需要先安装: sudo apt install iftop。

  • 网络统计信息:

    1

    nload

    或

    1

    sar -n DEV 1
    • 1: 每秒刷新一次。

3. 网络延迟和丢包

Windows/Linux/Mac

  • Ping 测试:

    1

    ping example.com
    • 查看网络延迟是否正常。

  • Traceroute 路径跟踪:

    1
2

    tracert example.com  # Windows
traceroute example.com  # Linux/Mac
    • 查看数据包经过的路由路径，诊断中间节点的延迟问题。

  • 检查丢包:

    1
2

    ping -n 100 example.com  # Windows
ping -c 100 example.com  # Linux/Mac
    • 测试 100 次，查看丢包率。

4. 网络速度测试

在线工具

  • 访问 Speedtest 网站，测试下载、上传和延迟速度。

CLI 工具

  • Speedtest CLI:

    • 安装:

      1
2

      sudo apt install speedtest-cli  # Linux
brew install speedtest-cli     # Mac

    • 使用:

      1

      speedtest

5. 深入网络分析

Wireshark

tcpdump

  • Linux 网络抓包工具:

    1

    tcpdump -i eth0
    • 捕获 eth0 接口的流量。

nmap

  • 网络扫描工具:

    • 检测网络状态、端口开放情况。

    • 示例:

      1

      nmap -sP 192.168.1.0/24
      • 扫描子网内的所有设备。

6. 综合网络状况查看工具

Windows

  • 资源监视器:
    • 打开资源监视器 (Ctrl + Shift + Esc > 性能 > 打开资源监视器 > 网络)。
    • 查看每个应用的网络使用情况。

Linux

  • nethogs:

    • 按进程查看网络带宽使用。

    • 安装:

      1

      sudo apt install nethogs

    • 使用:

      1

      sudo nethogs

  • iftop:

    • 按 IP 查看实时流量。

总结

根据需求选择合适的方法：

  • 简单诊断: 使用 ping 和 traceroute。
  • 查看连接: 使用 netstat 或 ss。
  • 实时流量监控: 使用 iftop 或任务管理器。
  • 深度分析: 使用 Wireshark 或 tcpdump。

抓包工具

抓包工具用于捕获和分析网络数据包，可以帮助诊断网络问题、优化网络性能、或者调试网络应用。以下是一些常用的抓包工具及其特点和使用方法。

1. Wireshark

特点

  • 跨平台: 支持 Windows、Linux、Mac。
  • 功能强大: 提供协议解码、实时抓包和数据包分析。
  • 图形界面: 易于使用，支持过滤、统计和追踪会话。
  • 支持多种协议: 如 TCP、UDP、HTTP、DNS 等。

使用方法

  1. 下载并安装: Wireshark 官方网站。

  2. 启动 Wireshark，选择需要监听的网络接口。

  3. 设置捕获过滤器（可选）:

    • 仅捕获特定 IP 的流量:

      1

      host 192.168.1.1

    • 仅捕获 TCP 流量:

      1

      tcp

  4. 开始捕获并分析数据包。

  5. 应用显示过滤器（可选）:

    • 仅显示 HTTP 流量:

      1

      http

    • 显示源地址为某 IP 的流量:

      1

      ip.src == 192.168.1.1

2. tcpdump

特点

  • 命令行工具: Linux 和 macOS 上原生支持。
  • 轻量级: 高效且适合脚本化操作。
  • 广泛支持: 支持多种协议和复杂的过滤规则。

使用方法

  1. 安装:

    • Linux:

      1

      sudo apt install tcpdump

    • macOS（通过 Homebrew）:

      1

      brew install tcpdump

  2. 基本命令:

    • 捕获所有流量:

      1

      sudo tcpdump -i eth0

    • 捕获特定端口流量:

      1

      sudo tcpdump -i eth0 port 80

    • 保存到文件:

      1

      sudo tcpdump -i eth0 -w capture.pcap

    • 从文件读取:

      1

      tcpdump -r capture.pcap

  3. 常用过滤器:

    • 捕获来自特定 IP 的流量:

      1

      tcpdump src 192.168.1.1

    • 捕获特定协议:

      1

      tcpdump tcp

3. Fiddler

特点

  • 跨平台: 支持 Windows、Linux、Mac。
  • 专注 HTTP/HTTPS 流量: 常用于调试 Web 应用。
  • 支持解密 HTTPS: 需要安装证书。
  • 图形界面: 易于使用，提供流量捕获和修改功能。

使用方法

  1. 下载并安装: Fiddler 官方网站。
  2. 启动 Fiddler，开始自动捕获 HTTP/HTTPS 流量。
  3. 解析和修改流量:
    • 查看请求/响应的详细信息。
    • 模拟请求，测试服务器响应。

4. Charles Proxy

特点

  • HTTP/HTTPS 抓包: 适合调试 Web 和移动应用流量。
  • 支持 HTTPS 解密: 需要安装证书。
  • 会话记录: 可以保存抓取的会话。

使用方法

  1. 下载并安装: Charles 官方网站。
  2. 配置代理设置，将流量引导至 Charles。
  3. 设置 HTTPS 证书（用于 HTTPS 流量抓取）。
  4. 分析抓取到的流量。

5. nmap (配合抓包功能)

特点

  • 主要是网络扫描工具，但可以结合 NSE 脚本实现部分抓包功能。
  • 常用于探测开放端口、主机服务和安全性分析。

使用方法

  • 基本扫描:

    1

    nmap 192.168.1.1

  • 扫描指定端口:

    1

    nmap -p 80 192.168.1.1

6. Tshark

特点

  • Wireshark 的命令行版本: 功能类似 tcpdump，但支持更广泛的协议解析。
  • 适合脚本化操作: 可用于自动化抓包和分析。

使用方法

  1. 安装:

    • Linux:

      1

      sudo apt install tshark

  2. 基本命令:

    • 捕获所有流量:

      1

      sudo tshark -i eth0

    • 捕获并保存到文件:

      1

      sudo tshark -i eth0 -w capture.pcap

    • 从文件读取:

      1

      tshark -r capture.pcap

    • 过滤特定协议:

      1

      tshark -i eth0 -f "tcp port 80"

7. Npcap/Windump

特点

  • Windows 专用工具: tcpdump 的 Windows 版本。
  • 依赖 Npcap: 提供底层抓包支持。

使用方法

  1. 安装:
  2. 使用:
    • 类似 tcpdump 的命令。

选择工具的建议

需求推荐工具
全面抓包和协议分析Wireshark
命令行环境、轻量分析tcpdump 或 Tshark
HTTP/HTTPS 流量调试Fiddler 或 Charles
自动化抓包和脚本分析Tshark 或 tcpdump
移动应用抓包Charles 或 Fiddler
深度网络扫描nmap

根据你的操作系统、抓包需求和熟悉程度，选择适合的工具来完成抓包和分析任务！

TCP 2MSL说一下，为什么

TCP 中的 2MSL

什么是 MSL 和 2MSL？

  • MSL (Maximum Segment Lifetime):
    • 指 TCP 报文段在网络中存活的最大时间，即数据包在网络中可以存在的最长时间，通常由协议实现设定一个固定值。
    • 例如，MSL 通常为 30 秒或 60 秒。
  • 2MSL:
    • 是 2 倍的 MSL 时间。
    • 在 TCP 的 TIME_WAIT 状态中，主动关闭方需要等待 2MSL 时间，确保连接完全关闭并且旧连接的数据不会影响新连接。

2MSL 的作用

  1. 确保最后的 ACK 被可靠接收
    • TCP 的四次挥手中，最后一次由主动关闭方发送的 ACK 可能丢失。
    • 如果被动关闭方没有收到这个 ACK，会重发 FIN。
    • 主动关闭方在 TIME_WAIT 状态下，仍然可以重新发送 ACK，确保对方可以确认连接已安全关闭。
  2. 防止旧连接数据干扰新连接
    • TCP 连接是由四元组（源 IP、源端口、目标 IP、目标端口）标识的。
    • 如果旧连接的数据包在网络中延迟到达，而新的连接复用了相同的四元组，可能导致混淆。
    • 2MSL 时间的等待可以确保旧连接的所有数据包在网络中被丢弃，避免影响新连接。

为什么是 2MSL？

  1. 保证可靠性
    • 一个 FIN 或 ACK 数据包的最大寿命为 MSL，往返时间为 2MSL。
    • 在 2MSL 时间内，所有未被确认的数据包要么成功传递，要么被丢弃。
  2. 网络延迟的考虑
    • 考虑到网络传输中的延迟和抖动，通过设置 2MSL，可以涵盖绝大多数正常的网络场景，确保通信可靠性。

2MSL 带来的问题

  1. TIME_WAIT 状态过多
    • 高并发短连接场景（如 HTTP/1.0 短连接），可能导致大量的连接进入 TIME_WAIT 状态，占用大量系统资源（如端口、内存）。
    • 这种情况在服务器作为 主动关闭方 时尤为显著。
  2. 端口耗尽
    • 每个 TCP 连接在 TIME_WAIT 状态中，端口无法立即复用，可能导致端口耗尽，影响新的连接创建。

优化 2MSL 的方法

  1. 减少 TIME_WAIT 的持续时间

    • 在 Linux 中，可以通过修改

      1

      tcp_fin_timeout

      参数调整:

      1

      sysctl -w net.ipv4.tcp_fin_timeout=30  # 将 TIME_WAIT 时间设置为 30 秒

  2. 启用端口复用

    • 在 Linux 中，可以启用

      1

      tcp_tw_reuse

      参数，允许端口在

      1

      TIME_WAIT

      状态下被复用（对 NAT 环境慎用）:

      1

      sysctl -w net.ipv4.tcp_tw_reuse=1

  3. 长连接优化

    • 使用 HTTP/1.1 或 HTTP/2 的 长连接（keep-alive），减少连接的频繁创建和销毁。

  4. 负载均衡

    • 通过负载均衡器（如 Nginx）分摊连接压力，减少单台服务器的 TIME_WAIT 状态。

总结

  • 2MSL 的核心作用: 确保连接关闭的可靠性，并防止旧连接数据干扰新连接。
  • 为什么是 2 倍: 考虑到数据包的往返时间（2 次 MSL）来确保所有数据包的安全传输和消失。
  • 问题和优化: 在高并发场景中，可能导致大量 TIME_WAIT 状态，通过调整系统参数和优化应用逻辑可以缓解问题。
网络编程, 网络编程面经
网络编程 面经
本文由作者按照 CC BY 4.0 进行授权