2023年9月 – 我们的小屋 | happylife

Nginx 主线在1.25.x 版本中已经加入了对 HTTP/3 的支持，F-Stack 在等待了两个小版本之后，也移植了 Nginx-1.25.2 版本到 F-Stack 上，目前可以支持HTTP/3的测试使用，本文介绍移植过程中的一些兼容性改造及使用注意事项。

主要兼容项

主要是 F-Stack 的一些接口兼容和 FreeBSD 不支持一些 Linux 的部分选项，而 Nginx 的自动配置检测的是 Linux 是否支持，需要进行一些修改。

对 F-Stack 的 ff_recvmsg 和 ff_sendmsg 接口进行修改，兼容 Linux 接口，主要是部分结构体字段类型不一致的兼容，虽然结构体编译对齐后总长度是一致的。
关闭了 BPF sockhash 功能（bpf，SO_COOKIE）的功能检测和开始，该功能主要用于通过从 bpf 的 socket_cookie 直接获取数据，提升性能。
关闭了 UDP_SEGMENT 功能，主要功能设置 UDP 分段大小。
IP_PKTINFO 选项不探测是否支持，强制使用 FreeBSD 的 IP_RECVDSTADDR 和 IP_SENDSRCADDR 选项。
IP_MTU_DISCOVER 选项不探测是否支持，强制使用 FreeBSD 的 IP_DONTFRAG 选项。
IPV6_MTU_DISCOVER 选项不探测是否支持，强制使用 IPV6_DONTFRAG 选项，该选项目前 FreeBSD 和 Linux 都支持。

编译过程

SSL 库

此处以 OpenSSL quic 为例，可以参考以下方式编译

cd /data/
wget https://github.com/quictls/openssl/archive/refs/tags/OpenSSL_1_1_1v-quic1.tar.gz
tar xzvf OpenSSL_1_1_1v-quic1.tar.gz
cd /data/openssl-OpenSSL_1_1_1v-quic1/
./config enable-tls1_3 no-shared --prefix=/usr/local/OpenSSL_1_1_1v-quic1
make
make install_sw

DPDK 和 F-Stack lib

总体编译方式不变，额外需要注意的是如果系统的 OpenSSL 库版本与上面使用的 OpenSSL quic 版本不兼容时，编译 DPDK lib 库时需要也使用上面的OpenSSL quic 库（通过配置 PKG_CONFIG_PATH 使用），参考以下方式编译

export FF_PATH=/data/f-stack
export PKG_CONFIG_PATH=/usr/local/OpenSSL_1_1_1v-quic1/lib/pkgconfig:/usr/lib64/pkgconfig:/usr/local/lib64/pkgconfig:/usr/lib/pkgconfig

mkdir -p /data/f-stack
git clone https://github.com/F-Stack/f-stack.git /data/f-stack

# DPDK lib
cd /data/f-stack/dpdk/
meson -Denable_kmods=true build
ninja -C build
ninja -C build install

# F-Stack lib
cd /data/f-stack/lib/
make
make install

# ff tools
cd /data/f-stack/tools
make
make install

F-Stack Nginx-1.25.2

Nginx 可以参考以下参数进行编译，如果有更多额外需求，自行调整相关配置

export FF_PATH=/data/f-stack
export PKG_CONFIG_PATH=/usr/local/OpenSSL_1_1_1v-quic1/lib/pkgconfig:/usr/lib64/pkgconfig:/usr/local/lib64/pkgconfig:/usr/lib/pkgconfig

cd /data/f-stack/app/nginx-1.25.2/
./configure --prefix=/usr/local/nginx_fstack --with-ff_module --with-http_ssl_module --with-http_v2_module --with-http_v3_module --with-cc-opt=-I/usr/local/OpenSSL_1_1_1v-quic1/include --with-ld-opt='-L/usr/local/OpenSSL_1_1_1v-quic1/lib/'
make
make install

测试使用注意事项

keepalive_timeout = 65 # 因为 Nginx 的 quic 中将 keepalive_timeout参数值作为了读超时时间，所以不能设置为 0
listen 443 quic; # 监听HTTP/3的时候不能设置REUSEPORT，否则多进程会有异常
ulimit -n 100000 # 调大该参数值
其他使用注意事项可以参考 F-Stack 和 HTTP/3 相关配置文档

性能测试对比

这里不考虑现网实际客户端访问网站的延迟对比，仅考虑 F-Stack Nginx 和源生 Nginx 的性能对比测试。

但是在尝试了多种客户端后，仅 curl8 测试成功，但是只能测试单连接的延迟，这里不太关注。其他压测客户端工具 wrk-quic、h2load、Nighthawk 等在编译测试时都遇到了各种各样的问题，暂时未能成功测试，性能对比数据暂时缺失，如果有人有压测客户端，欢迎进行对比测试并提供测试数据。

月份：2023年9月

F-Stack 对 HTTP/3 的支持使用说明