为个税大盘增长做一点点微乎其微的贡献,为自己的个税较大做一个大大的贡献::>_<::

为个税大盘增长做一点点微乎其微的贡献,为自己的个税较大做一个大大的贡献::>_<::
2025.5.24 更新
本来是5.21周三去进行哥哥的海葬,结果周三全天大雾取消了,改成了今天。早上六点集合,6点25左右发船,经过一个多小时后到达海葬海域,船不大,海浪有点大,大部分人吐的稀里哗啦。不过总算结束了一件事情,哥哥一路走好,活着的时候半生自由活动受限,现在至少可以算是自由的,可以顺着大海游遍全世界。
======================================================
频繁的头疼欲裂,需要靠大量的布洛芬和替扎尼定续命,如果有选择,早就不再继续卷了。
原有家庭本身最后一个人离去,多次住院,加部分截肢多坚持了一年半吧,临走前可能也是有点感应吧,做梦失眠头疼加剧。
小孩小学还是卷的厉害呀,目前看文理科都没有很好的天赋,也是顺其自然吧。
最后是工作的事情,24年最大的体验其实是一些老生常谈的东西,当业务增长不动的时候,各种流程就来了。
不能说流程没用,在合理的流程下,可以提高项目质量的下限,虽然对部分项目的质量上限没什么太大作用,但是在一个比较大的部门中确实不能否认它的作用。
但是流程本身是问题了提升质量服务的,而当前完全本末倒置了,已经达到了丧心病狂的程度,各种不合理和冗余的流程,完全是为了流程而流程,对质量提升的终极目标的效果非常有限。
而且严重拖后腿,花费特别大的精力,流程搞了一大堆,再一看实际产出,大部分直接呵呵了,虽然即使有产出也不一定对最后的产品收益就一定有多大帮助,但合理的产出总比不合理的流程合理多了。
看到的最大好处算是至少有了审计的基础。
其他吐槽的欲望都没有了,这就样吧,结束。
本文就不写运营商递归DNS和相对比较知名一些的公共DNS了,通过几个case聊聊2024年当前可以应答DNS请求、在国内用户量不小,但是又搜索不到什么公开信息的一些”小众“递归DNS的那些事儿,部分已经无法访问的递归DNS就不再包含进来了。这些递归DNS的用户体量并不比不少知名公共DNS小,只是基本不为人知,关注该领域的可以大概了解下。
使用这些DNS比较容易出现解析线路不准确(如国内用户解析到国外IP)、域名被劫持等场景,因为让所有用户修改DNS并不现实,一般还是更建议有端的客户端(如APP等)尽量使用HttpDNS或其他技术手段规避类似场景。
【注1】本文部分线索来自其他伙伴。
【注2】本文所有数据为简单测试,仅供参考。
该DNS疑似某供应商为园区、公司等场景提供的递归DNS,在本省的使用率不低。在24年5月的时候测试,使用该DNS会大概率将域名解析到国外的IP,会导致终端用户访问延迟升高,也造成该省份域名解析到国外IP的概率略微高于其他省份。但是在24年下半年测试没什么大的问题了,可以正常解析为本省份结果,只是解析结果没有区分运营商,基本不影响正常使用。
下图分别为24年5月和12月的测试递归DNS出口IP的结果对比
该组递归DNS分布于多个C段,多个海外其他国家,目前看国内各省份运营商皆有固网/wifi用户访问,设置比例大约在小万分之x,使用移动网络则不会访问该组递归DNS,疑似从2024.12.04 16:00+开始对外提供DNS解析服务。
该组递归DNS后端在进行递归请求时固定携带127.0.0.1作为ECS IP,大部分域名可以解析到默认线路,无省份运营商区分,解析到国外IP的概率倒是不高。
该组DNS貌似会随机劫持某些域名到其他IP,并302跳转到其他违规网站。历史测试截图如下。
【注3】截止本文时间(2024.12.18),之前历史被劫持域名已经没有被劫持,且之前被劫持到的相关IP也已经无法访问,疑似已经被处理。
该组递归DNS分布于多个C段,部署于中国香港,目前看国内各省份运营商皆有固网/wifi用户访问,设置比例大约在小千分之x,使用移动网络则不会访问该组递归DNS,具体对外提供服务时间则不确定。
该组递归DNS后端在进行递归请求时会随机转发给国内外多个其他公共DNS,且并未携带ecs,大部分域名的解析结果IP为国外IP,会导致终端用户访问延迟升高,递归DNS后端出口IP测试结果如下所示,其中包括Google、UltraDNS等其他的公共DNS的递归出口IP
该组DNS因为是纯转发,所以部分特征会测试到转发目标公共DNS的特征,如NeuStar家的UltraDNS,但实际并非该集群本身的版本特征,也并非转发目标公共DNS部署的DNS缓存转发服务,部分特征测试结果如下所示:
dig version.bind chaos txt @154.86.x.x +short
“1733297354.ultradns”
dig hostname.bind chaos txt @154.86.x.x +short
“rcrsv2.jptyo1.ultradns”
dig version.bind chaos txt @154.86.x.x
version.bind. 86400 CH TXT “PowerDNS Recursor 5.1.1 (built Jul 22 2024 13:49:14 by root@localhost)”
dig version.bind chaos txt @154.86.x.x +short
version.bind. 75428 CH TXT “Q9-P-7.6”
该组DNS貌似会随机劫持某些过期域名到其他IP,并302跳转到其他网站(有点类似纠错页),当前(2024.12.18)跳转的目标网站实测无法访问,也未找到历史网页内容,且很多安全情报都会报告风险并进行访问拦截,没有什么实质性的影响。
Nginx 主线在1.25.x 版本中已经加入了对 HTTP/3 的支持,F-Stack 在等待了两个小版本之后,也移植了 Nginx-1.25.2 版本到 F-Stack 上,目前可以支持HTTP/3的测试使用,本文介绍移植过程中的一些兼容性改造及使用注意事项。
主要是 F-Stack 的一些接口兼容和 FreeBSD 不支持一些 Linux 的部分选项,而 Nginx 的自动配置检测的是 Linux 是否支持,需要进行一些修改。
此处以 OpenSSL quic 为例,可以参考以下方式编译
cd /data/
wget https://github.com/quictls/openssl/archive/refs/tags/OpenSSL_1_1_1v-quic1.tar.gz
tar xzvf OpenSSL_1_1_1v-quic1.tar.gz
cd /data/openssl-OpenSSL_1_1_1v-quic1/
./config enable-tls1_3 no-shared --prefix=/usr/local/OpenSSL_1_1_1v-quic1
make
make install_sw
总体编译方式不变,额外需要注意的是如果系统的 OpenSSL 库版本与上面使用的 OpenSSL quic 版本不兼容时,编译 DPDK lib 库时需要也使用上面的OpenSSL quic 库(通过配置 PKG_CONFIG_PATH 使用),参考以下方式编译
export FF_PATH=/data/f-stack
export PKG_CONFIG_PATH=/usr/local/OpenSSL_1_1_1v-quic1/lib/pkgconfig:/usr/lib64/pkgconfig:/usr/local/lib64/pkgconfig:/usr/lib/pkgconfig
mkdir -p /data/f-stack
git clone https://github.com/F-Stack/f-stack.git /data/f-stack
# DPDK lib
cd /data/f-stack/dpdk/
meson -Denable_kmods=true build
ninja -C build
ninja -C build install
# F-Stack lib
cd /data/f-stack/lib/
make
make install
# ff tools
cd /data/f-stack/tools
make
make install
Nginx 可以参考以下参数进行编译,如果有更多额外需求,自行调整相关配置
export FF_PATH=/data/f-stack
export PKG_CONFIG_PATH=/usr/local/OpenSSL_1_1_1v-quic1/lib/pkgconfig:/usr/lib64/pkgconfig:/usr/local/lib64/pkgconfig:/usr/lib/pkgconfig
cd /data/f-stack/app/nginx-1.25.2/
./configure --prefix=/usr/local/nginx_fstack --with-ff_module --with-http_ssl_module --with-http_v2_module --with-http_v3_module --with-cc-opt=-I/usr/local/OpenSSL_1_1_1v-quic1/include --with-ld-opt='-L/usr/local/OpenSSL_1_1_1v-quic1/lib/'
make
make install
keepalive_timeout = 65
# 因为 Nginx 的 quic 中将 keepalive_timeout
参数值作为了读超时时间,所以不能设置为 0listen 443 quic;
# 监听HTTP/3的时候不能设置REUSEPORT,否则多进程会有异常ulimit -n 100000
# 调大该参数值这里不考虑现网实际客户端访问网站的延迟对比,仅考虑 F-Stack Nginx 和源生 Nginx 的性能对比测试。
但是在尝试了多种客户端后,仅 curl8 测试成功,但是只能测试单连接的延迟,这里不太关注。其他压测客户端工具 wrk-quic、h2load、Nighthawk 等在编译测试时都遇到了各种各样的问题,暂时未能成功测试,性能对比数据暂时缺失,如果有人有压测客户端,欢迎进行对比测试并提供测试数据。
本文主要内容包括乐观 DNS 缓存的介绍,现网使用中的优缺点,国内部分递归 DNS(不包含境外 DNS) 的使用情况数据,及如何规避乐观 DNS 等内容。
乐观 DNS 缓存(Optimistic DNS、RFC8767:Serving Stale Data to Improve DNS Resiliency等,本文后续以乐观 DNS 代替),简单的说就是在客户端向递归 DNS 发起一个域名的 DNS 查询请求时,如果递归 DNS 缓存中的记录已经过期(缓存时间超过了 TTL 时间)时,还是会应答该过期记录的行为。
【注意:】准确的说目前运营商的递归 DNS、南京信风公共 DNS(114.114.114.114)和阿里云公共 DNS(223.5.5.5)等使用过期缓存应答行为与 RFC8764 中乐观 DNS 的行为是冲突的,并不是真正的乐观 DNS 缓存,但此处也先以乐观 DNS 称呼。
乐观 DNS 对终端用户的使用体验以及递归 DNS 服务提供商有一些好处,主要包括以下方面:
如果按照标准的 RFC8767 去实现乐观 DNS,这里其实并没有什么显著的缺点,因为只有在权威 DNS 不可用或不稳定时才会触发该功能,虽然可能会有一些解析错误的情况出现,但至少不会使情况变得更糟。
乐观 DNS 更多的缺点来自目前部分递归 DNS 的非标实现,主要包括以下方面:
opt.test.example.com
的 A 记录为1.1.1.1
,并设置 TTL 为 600 秒。opt.test.example.com
的 A 记录为1.1.1.1
opt.test.example.com
的 A 记录为2.2.2.2
,并设置 TTL 为 600 秒。1.1.1.1
,则认为该递归 DNS 开启了乐观 DNS,如果所有记录都为新的 IP2.2.2.2
,则认为该递归 DNS 未开启乐观 DNS。从目前目前国内的主流的递归 DNS 测试数据看,过半数(约60%左右)已经开启了乐观 DNS,本文仅列出测试数据,不详细点评。
本次测试了三家公共 DNS,119.29.29.29,114.114.114.114和223.5.5.5,其中119.29.29.29未开启乐观 DNS,114.114.114.114和223.5.5.5则开启了乐观 DNS。
运营商递归 DNS 开启了乐观 DNS 的总体比列大约在 60% 左右,以下为详细数据
虽然在 LastMile 的测试中,已经尽量规避了客户端本地 DNS 缓存的影响,但是我们仍不能保证一定未使用客户端本地缓存,所以单独列出 IDC 的测试数据。
在所有的 93 个测试目标我们通过各种渠道搜集到 81 个对应的 IDC 客户端,可以完全排除本地 DNS 缓存的影响,数据如下:
如果业务域名的请求量较大,可以较快的触发递归 DNS 快速刷新到新的记录,那么乐观 DNS 可以微弱的降低解析时延,目前没有看到太明显的缺点,正常使用各递归 DNS 即可。
然而在很多实际的业务中,对切换实时性要求比较高,但是访问量又没有那么大的中小域名,目前如此高比例非标准实现的乐观 DNS肯定会对业务存在一定的影响,此时就需要一些其他技术手段来对乐观 DNS 进行规避,下面介绍一些方法,其中部分方法比较常见,外网已经有很多的公开信息可以查询参考,此处就不展开详细介绍。
可以使用未开启乐观 DNS 的公共 DNS 来规避乐观 DNS,目前国内腾讯云 DNSPod 的公共 DNS 等是未开启乐观 DNS 可供选用。不同的使用方式有不同的接入方法,更多信息可以参考这里。
近年来的常规方式,在各大 APP 中广泛使用,更多 HttpDNS 的介绍。
部分运营商(如天翼云域名无忧)提供了递归 DNS 缓存刷新接口,但是也存在比较多的问题价格很贵,使用不便等问题。
通过各种不同的客户端或拨测工具,大量请求目标域名,触发对应的递归 DNS 被动的刷新缓存。
跳票许久许久的LD_PRELOAD
功能模块(后续以 libff_syscall.so
代替)在 F-Stack dev 分支的 adapter/sysctall
目录下已经提交,支持 hook 系统内核 socket 相关接口的代码,降低已有应用迁移到 F-Stack 的门槛。下面将分别进行具体介绍, 主要包括libff_syscall.so
相关的架构涉及其中的一些思考,支持的几种模式以及如何使用等内容。
总体结论:
libff_syscall.so
相关代码即可适配。【注意】目前 libff_syscall.so
功能尚不完善,仅供测试使用,欢迎所有的开发者一起进行完善,存在一些问题,如下所示:
libff_syscall.so
的编译先设置好FF_PATH
和PKG_CONFIG_PATH
环境变量
export FF_PATH=/data/f-stack
export PKG_CONFIG_PATH=/usr/lib64/pkgconfig:/usr/local/lib64/pkgconfig:/usr/lib/pkgconfig
在adapter/sysctall
目录下直接编译即可得到ibff_syscall.so
的相关功能组件
cd /data/f-stack/adapter/sysctall
make clean;make all
ls -lrt
fstack
libff_syscall.so
helloworld_stack
helloworld_stack_thread_socket
helloworld_stack_epoll
helloworld_stack_epoll_thread_socket
helloworld_stack_epoll_kernel
下面将分别进行介绍各个组件的主要作用
fstack
应用程序对标的是标准版 F-Stack 中的应用程序,其运行与普通的 F-Stack 应用程序完全相同,包括配置文件及其多进程(每进程即为一个实例)的运行方式等, 具体运行方式可以参考 F-Stack 主目录的 README, 在执行 LD_PRELOAD 的用户应用程序前必须先运行 fstack
实例应用程序。
fstack 应用程序的作用主要是底层对接 F-Stack API,其主函数ff_handle_each_context
即为普通 F-Stack 应用的用户层 loop 函数,非空闲时或每间隔 10ms (受 HZ
参数影响) 时会调用该函数去循环处理与 APP 对接的上下文,如果 APP 有对应的 API 请求,则调用实际的 F-Stack API 进行处理。
与 libff_syscall.so
用户应用进程间通信使用 DPDK 的 rte_malloc
分配的 Hugepage 共享内存进行。
该函数对 libff_syscall.so
的整体性能有至关重要的影响,目前是复用了 F-Stack 主配置文件(config.ini)中的 pkt_tx_dalay
参数,死循环并延迟该参数指定的值后才会回到 F-Stack 的其他处理流程中。
如果想提高 libff_syscall.so
的整体性能,那么fstack
实例应用程序与 APP 应用程序的匹配十分重要,只有当一个ff_handle_each_context
循环中尽量匹配一次循环的所有事件时才能达到最优的性能,这里需要调十分精细的调优,但是目前还是粗略的使用 pkt_tx_dalay
参数值。
【提示】pkt_tx_dalay
参数的默认值为 100us, 较适合长连接的场景。如果是 Nginx 短链接的场景,则应考虑设置为 50us,可以可获得更好的性能。当然不同的用用场景如果想达到最优的性能,可能需要业务自行调整及测试。复用该参数也只是临时方案,后续如果有更优的方案,则随时可能进行调整。
该动态库主要作用是劫持系统的 socket 相关接口,根据 fd 参数判断是调用 F-Stack的相关接口(通过上下文 sc 与 fsack 实例应用程序交互)还是系统内核的相关接口。
与fstack
实例应用进程间通信使用 DPDK 的 rte_malloc
分配的 Hugepage 共享内存进行。
【注意】在第一次调用相关接口时分配相关内存,不再释放,进程退出时存在内存泄漏的问题,待修复。
F-Stack用户的应用程序 (如 helloworl 或 Nginx)设置 LD_PRELOAD
劫持系统的 socket 相关 API 时使用,即可直接接入 F-Stack 开发框架,可以参考如下命令:
export LD_PRELOAD=/data/f-stack/adapter/syscall/libff_syscall.so
确保 fstack
实例应用程序已经正确运行的前提下,然后启动用户应用程序。
当然如果是改造用户的 APP 使用 kqueue
代替 Linux 的 epoll 相关事件接口时,也可以在用户 APP 中直接链接该运行库, 可以参考相关示例程序helloworld_stack
和helloworld_stack_thread_socket
对应的源文件main_stack.c
和main_stack_thread_socket.c
,因为不是使用的LD_PRELOAD
, 所以本文档不再详细介绍。
【重要提示】一组对应的fstack
应用程序和用户应用程序最好运行在同一个 CPU NUMA 节点的不同物理核上,其他场景(运行在同一个CPU核心、两个 CPU 核心跨 NUMA 节点,物理核和超线程核混用)都无法达到一组实例的最佳性能。
其他编译生成的hello_world
开头的可执行文件为当前libff_syscall.so
支持的几种不同运行模式的相关演示程序,下一节进行具体介绍。
为了适应不同应用对 socket 接口的不同使用方式,降低已有应用迁移到 F-Stack 的门槛,并尽量提高较高的性能,目前 F-Stack 的 libff_syscall.so
主要支持以下几种模式,支持多线程的 PIPELINE 模式、线程(进程)内的 RTC(run to completion)模式、同时支持 F-Stack 和内核 socket 接口的 FF_KERNEL_EVENT 模式和类似内核 SO_REUSEPORT 的 FF_MULTI_SC 模式。
该模式为默认模式,无需额外设置任何参数直接编译libff_syscall.so
即可。
在此模式下,socket 相关接口返回的 fd 可以在不同线程交叉调用,即支持 PIPELINE 模式,对已有应用的移植接入更友好,但性能上相应也会有更多的损失。
该模式除了单进程运行方式外,同时可以支持用户应用程序多进程方式运行,每个用户进程对应一个fstack
实例应用程序的实例,更多信息可以参考附录的运行参数介绍。
【注意】以此默认方式接入 F-Stack 的应用程序只能使用 F-Stack 的 socket 网络接口,而不能使用系统的 socket 接口。
对于已有的 Linux 下的应用,事件接口都是一般使用的是epoll
相关接口,对于没有更多特殊要求的应用程序,可以直接使用默认的编译参数编译libff_syscall.so
后使用,参考 DEMO 程序helloworld_stack_epoll
, 代码文件为main_stack_epoll.c
。
【注意】F-Stack 的epoll
接口依然为kqueue
接口的封装,使用上依然与系统标准的epoll
事件接口有一定区别,主要是事件触发方式和multi accept的区别。
当然libff_syscall.so
除了支持使用LD_PRELOAD
方式 hook 系统的 socket 接口的方式使用,也支持普通的链接方式使用,此时除了可以使用系统的epoll
事件接口之外,还可以使用 F-Stack(FreeBSD)具有的kqueue
事件接口,参考 DEMO 程序helloworld_stack
, 代码文件为main_stack.c
。
该使用方式的性能比LD_PRELOALD
使用系统epoll
接口的方式有略微的性能提升。
该模式需要设置额外的编译参数后来编译libff_syscall.so
才能开启,可以在adapter/sysctall/Makefile
中使能FF_THREAD_SOCKET
或执行以下 shell 命令来开启。
export FF_THREAD_SOCKET=1
make clean;make all
在此模式下,socket 相关接口返回的 fd 仅可以在本线程内调用,即仅支持线程内的 RTC 模式,对已有应用的移植接入门槛稍高,但性能上相应也会有一定的提升,适合原本就以 RTC 模式运行的应用移植。
同样的,该模式除了单进程运行方式外,同时可以支持用户应用程序多进程方式运行,每个用户进程对应一个fstack
实例应用程序的实例,更多信息可以参考附录的运行参数介绍。
【注意】以此默认方式接入 F-Stack 的应用程序同样只能使用 F-Stack 的 socket 网络接口,而不能使用系统的 socket 接口。
其他同默认的 PIPELINE 模式,可以参考 DEMO 程序helloworld_stack_epoll_thread_socket
, 代码文件为main_stack_epoll_thread_socket.c
。
其他同默认的 PIPELINE 模式,可以参考 DEMO 程序helloworld_stack_thread_socket
, 代码文件为main_stack_thread_socket.c
。
该模式可以同时支持 F-Stack 和系统内核的 socket 接口,需要设置额外的编译参数后来编译libff_syscall.so
才能开启,可以在adapter/sysctall/Makefile
中使能FF_KERNEL_EVENT
或执行以下 shell 命令来开启。
export FF_KERNEL_EVENT=1
make clean;make all
在此模式下,epoll
相关接口在调用 F-Stack 接口的同时会调用系统内核的相关接口,并将 F-Stack 返回的 fd 与系统内核返回的 fd 建立映射关系,主要为了支持两个场景:
socket
接口,并需要指定type | SOCK_KERNEL
参数,并为返回的 fd 单独调用 bind()
、listen()
、epoll_ctl()
等接口,参考 DEMO 程序helloworld_stack_epoll_kernel
, 代码文件为main_stack_epoll_kernel.c
【注意1】F-Stack 中 FreeBSD 的内核参数 kern.maxfiles
不应该大于 65536(原默认值为 33554432),以保证 F-Stack 的 epoll fd 到系统内核的 epoll fd 的正确映射。
【注意2】Nginx 的无缝接入需要开启此模式,因为在 Nginx 中有多个控制 fd 与 数据 fd 使用相同的 epoll fd。
该模式为 Nginx 等使用内核SO_REUSEPORT
且fork
子进程 worker 运行等特殊的设置为设置,需要设置额外的编译参数后来编译libff_syscall.so
才能开启,可以在adapter/sysctall/Makefile
中使能FF_MULTI_SC
或执行以下 shell 命令来开启。
export FF_MULTI_SC=1
make clean;make all
在此模式下,用户应用程序与fstack
实例相关联的上下文sc
除了保存在全局变量sc
中之外,会额外保存在全局的scs
数组中,在fork()
子进程 worker 时会使用 current_worker_id
设置sc
变量为对应 worker 进程 fd 对应的 sc,供子进程复制及使用。
Nginx 的reuseport
模式的主要流程为,主进程为每个 worker 分别调用 socket()
、bind()
、listen()
等接口,并复制到 worker 进程,而后 woker 进程各自调用epoll
相关接口处理各自的 fd, 需要各自 fd 对应的上下文 sc 才能正确运行。
【注意】Nginx 的无缝接入需要同时开启 FF_THREAD_SOCKET
和 FF_MULTI_SC
模式。
libff_syscall.so
介绍Nginx(以 F-Stack 默认携带的 Nginx-1.16.1 为例)目前可以不修改任何代码直接以LD_PRELOAD
动态库libff_syscall.so
的方式接入 F-Stack,以下为主要步骤及效果。
libff_syscall.so
需要同时开启 FF_THREAD_SOCKET
和 FF_MULTI_SC
模式进行编译
export FF_PATH=/data/f-stack
export PKG_CONFIG_PATH=/usr/lib64/pkgconfig:/usr/local/lib64/pkgconfig:/usr/lib/pkgconfig
cd /data/f-stack/adapter/sysctall
export FF_KERNEL_EVENT=1
export FF_MULTI_SC=1
make clean;make all
nginx.conf
以下为主要需要注意及修改的相关配置参数示例(非全量参数):
user root;
worker_processes 4; # worker 数量
worker_cpu_affinity 10000 100000 1000000 10000000; # 设置 CPU 亲和性
events {
worker_connections 1024;
multi_accept on; # epoll 是封装 kqueue 接口,必须要开启
use epoll;
}
http {
access_log off; # 关闭访问日志,用于提高测试时的网络性能,否则每次请求都需要额外调用系统的 write() 接口记录访问日志
sendfile off; # 使用 F-Stack 时需要关闭
keepalive_timeout 0; # 视长连接/短链接的业务需要调整
#keepalive_timeout 65;
#keepalive_requests 200; # 默认每个长连接最多 100 个请求,视业务需要调整,长连接时适当提高此值可以略微提高性能
server {
listen 80 reuseport; # 应该设置 reuseport,与使用系统的内核的 reuseport 行为不太一致,但都可以提高性能
access_log off;
location / {
#root html;
#index index.html index.htm;
return 200 "0123456789abcdefghijklmnopqrstuvwxyz"; # 直接返回数据用以测试单纯的网络性能
}
}
}
【注意】此处的 reuseport
作用是使用多个不同的 socket fd, 而每个 fd 可以对接不同的fstack
实例应用程序的上下文sc
来分散请求,从而达到提高性能的目的。与系统内核的reuseport
行为异曲同工。
假设运行4组 Nginx – fstack 实例应用程序,可以简单按照以下步骤进行
config.ini
中的lcore_mask=f00
,即使用 CPU 核心 9-11, 其他配置按照标准 F-Stack 配置进行。 cd /data/f-stack
bash ./start.sh -b adapter/syscall/fstack
libff_syscall.so
所需的环境变量 export LD_PRELOAD=/data/f-stack/adapter/syscall/libff_syscall.so # 设置 LD_PRELOAD libff_syscall.so
export FF_NB_FSTACK_INSTANCE=4 # 设置有 4 个 fstack 实例应用程序,前面 nginx.conf 中也配置了 4 个worker
/usr/local/nginx/sbin/nginx # 启动 Nginx
CPU:Intel(R) Xeon(R) CPU E5-2670 v3 @ 2.30GHz * 2
网卡:Intel Corporation Ethernet Controller 10-Gigabit X540-AT2
OS :TencentOS Server 3.2 (Final)
内核:5.4.119-1-tlinux4-0009.1 #1 SMP Sun Jan 23 22:20:03 CST 2022 x86_64 x86_64 x86_64 GNU/Linux
ff_handle_each_context
的循环次数及时间等)影响很大,并未完全达到性能极致,如果持续的精细化调整可以进一步提高性能,但是通用性也不高。本段总体介绍各个编译选项,所有参数都可以在adapter/sysctall/Makefile
中开启或通过 shell 命令设置环境变量来开启。
开启或关闭 DEBUG 模式,主要影响优化和日志输出等, 默认关闭。
export DEBUG=-O0 -gdwarf-2 -g3
默认的优化参数为
-g -O2 -DNDEBUG
是否开启线程级上下文sc
变量,如果开启,则 socket 相关 fd 只能在本线程中调用,一般可以略微提高性能, 默认关闭。
export FF_THREAD_SOCKET=1
是否开启epoll
相关接口在调用 F-Stack 接口的同时调用系统内核的相关接口,并将 F-Stack 返回的 fd 与系统内核返回的 fd 建立映射关系, 默认关闭,主要为了支持两个场景:
export FF_KERNEL_EVENT=1
在此模式下,用户应用程序与fstack
实例相关联的上下文sc
除了保存在全局变量sc
中之外,会额外保存在全局的scs
数组中,在fork()
子进程 worker 时会使用 current_worker_id
设置sc
变量为对应 worker 进程 fd 对应的 sc,供子进程复制及使用。 默认关闭。
export FF_KERNEL_EVENT=1
通过设置环境变量设置一些用户应用程序需要的参数值,如果后续通过配置文件配置的话可能需要修改原有应用,所以暂时使用设置环境变量的方式。
设置 LD_PRELOAD 的运行库,再运行实际的应用程序,可以参考以下命令
export LD_PRELOAD=/data/f-stack/adapter/syscall/libff_syscall.so
如果想通过gdb
调试应用程序,则可以参考以下命令
export LD_PRELOAD=
gdb ./helloworld_stack_epoll
(gdb) set exec-wrapper env 'LD_PRELOAD=/data/f-stack/adapter/syscall/libff_syscall.so'
设置fstack
实例应用程序的实例数,用于和用户应用程序的进程/线程等 worker 数量相匹配,默认1。
export FF_NB_FSTACK_INSTANCE=4
建议用户应用程序 worker 数量与fstack
实例应用程序尽量 1:1 配置,可以达到更好的性能。
配置用户应用程序的 CPU 亲和性绑定的起始 CPU 逻辑 ID,16进制,默认0x4(0b0100),即 CPU 2。
export FF_INITIAL_LCORE_ID=0x4
如果用于应用程序可以配置 CPU 亲和性,则可以忽略该参数,如 Nginx 配置文件中的worker_cpu_affinity
参数。
配置用户应用程序的进程 ID,可以配合FF_INITIAL_LCORE_ID
参数设置 CPU 亲和性的绑定,10进制递增,默认0。
export FF_PROC_ID=1
如果用于应用程序可以配置 CPU 亲和性,则可以忽略该参数,如 Nginx 配置文件中的worker_cpu_affinity
参数。
又是一年的流水账,虽然还是禁放的,不过外面还是时不时传来鞭炮声,当然我个人对过年也没什么特别的感觉,该干嘛还是干嘛,前些天每天晚上下班路边的彩灯一眼也就扫过去了,完全没有感觉 ,也就是年终奖没开奖时有点小期待罢了。
22年的主题还是YQ,不想做太多评价,还好年底算是过去了。只是21年只做了2次核酸的轻松被完全打破了,不知道做了多少次,总共出差深圳2次,每次都是去之前比较轻,一到深圳就开始变严重,结果两次回来都被隔离了,一次8+7,一次7天居家。
小孩2年级还是有点在落后,虽然没有什么太高和太严格的要求,不会强求什么,但还是会稍微给一定的压力去学习。
腰突比去年严重了很多,尤其是最后几个月,酸痛是常事,勉强还在能忍受的范围内,再严重一些的话估计就要影响日常活动了。一般认为游泳是可以缓解的,但是这两年YQ原因,基本都中断了,办了游泳卡的健身房上半年也卷款跑路了,说是有人接手,结果大半年后依然没什么确定的消息。下半年听说另一家有泳池的健身房也跑路了,后面想找个稳定的还要再观察下了。
22年工作上因为一些众所周知的“降本增效”,团队同事变化很大,虽然没有“降本增效”时变化也很大,但是其实前几年已经算是相对稳定的时期了。
权威DNS平台继续保持了稳定,后续主要是一些小的修补,暂时没有大的更新计划了。
HttpDNS/公共DNS投入了比较多的精力还发了一些功能,但是并没有作为owner,23年还是会有很大精力在公共DNS上,改善现有系统的一些长期遗留的问题。
F-Stack依然没有能够投入很多精力,目前还仅能保持最基本的维护,还好支持BBR的1.22版本终于是发布了,可以预见的23年大概率依然还是目前这种状态,不过如果nginx主线支持HTTP/3的话肯定会跟进支持。
22年工作相关收入因为众所周知的原因比21年有所降低,但是因为分出了一些精力在股市上,全年总收入算是有一些提高。虽然中间大半年股市惨不忍睹,账面的亏损也是不忍直视,还好最后两个月又把yh用起来了,才涨了回来,没把亏损带到23年。
最后一句,23年继续做好本职工作吧。
假设我们的服务器上有如下vlan和ip的配置
vlan 10:
IP:10.10.10.10 netmask:255.255.255.0 broadcast:10.10.10.255 gateway:10.10.10.1
外网VIP:110.110.110.0/24中的一个或多个IP,如110.110.110.110
vlan 20:
IP:10.10.20.20 netmask:255.255.255.0 broadcast:10.10.20.255 gateway:10.10.20.1
外网VIP:120.120.120.0/24中的一个或多个IP,如120.120.120.120
vlan 30:
IP:10.10.30.30 netmask:255.255.255.0 broadcast:10.10.30.255 gateway:10.10.30.1
外网VIP:130.130.130.0/24中的一个或多个IP,如30.130.130.130
外部主要访问各个vlan里的vip,需要系统应答包也正确的对应的vlan回复到该vlan的gateway地址上,下面为linux系统和F-Stack(FreeBSD)的策略设置方式
创建 vlan 并设置 IP 地址
ip link add link eth0 name eth0.10 type vlan id 10
ifconfig eth0.10 10.10.10.10 netmask 255.255.255.0 broadcast 10.10.10.255 up
route add -net 10.10.10.0/24 gw 10.10.10.1 dev eth0.10
ip link add link eth0 name eth0.20 type vlan id 20
ifconfig eth0.20 10.10.20.20 netmask 255.255.255.0 broadcast 10.10.20.255 up
route add -net 10.10.20.0/24 gw 10.10.20.1 dev eth0.20
ip link add link eth0 name eth0.30 type vlan id 30
ifconfig eth0.30 10.10.30.30 netmask 255.255.255.0 broadcast 10.10.30.255 up
route add -net 10.10.30.0/24 gw 10.10.30.1 dev eth0.30
# 设置各 vlan 的外网 VIP
ifconfig lo.0 110.110.110.110 netmask 255.255.255.255
ifconfig lo.1 120.120.120.120 netmask 255.255.255.255
ifconfig lo.2 130.130.130.130 netmask 255.255.255.255
设置策略路由
echo "10 t0" >> /etc/iproute2/rt_tables
echo "20 t1" >> /etc/iproute2/rt_tables
echo "30 t2" >> /etc/iproute2/rt_tables
# 设置各 vlan 的路由表, 并设置对应的网关地址
ip route add default dev eth0.10 via 10.10.10.1 table 10
ip route add default dev eth0.20 via 10.10.20.1 table 20
ip route add default dev eth0.30 via 10.10.30.1 table 30
#systemctl restart network
# 从对应 VIP 出去的包使用对应 vlan 的路由表
ip rule add from 110.110.110.0/24 table 10
ip rule add from 120.120.120.0/24 table 20
ip rule add from 130.130.130.0/24 table 30
前提条件:在 F-Stack 的 lib/Makefile
中打开默认关闭的ipfw
选项,并重新编译 F-Stack lib 库,各个工具及应用程序
# NETGRAPH drivers ipfw
FF_NETGRAPH=1
FF_IPFW=1
创建 vlan 并设置 IP 地址
ff_ifconfig -p 0 f-stack-0.10 create
ff_ifconfig -p 0 f-stack-0.10 inet 10.10.10.10 netmask 255.255.255.0 broadcast 10.10.10.255
ff_ifconfig -p 0 f-stack-0.20 create
ff_ifconfig -p 0 f-stack-0.20 inet 10.10.20.20 netmask 255.255.255.0 broadcast 10.10.20.255
ff_ifconfig -p 0 f-stack-0.30 create
ff_ifconfig -p 0 f-stack-0.30 inet 10.10.30.30 netmask 255.255.255.0 broadcast 10.10.30.255
# 设置各 vlan 的外网 VIP
ff_ifconfig -p0 f-stack-0.10 inet 110.110.110.110 netmask 255.255.255.255 alias
ff_ifconfig -p0 f-stack-0.20 inet 120.120.120.120 netmask 255.255.255.255 alias
ff_ifconfig -p0 f-stack-0.30 inet 130.130.130.130 netmask 255.255.255.255 alias
设置策略路由
# 设置各 vlan 的转发路由表(fib), 并设置对应的网关地址
ff_route -p 0 add -net 0.0.0.0 10.10.10.1 -fib 10
ff_route -p 0 add -net 0.0.0.0 10.10.20.1 -fib 20
ff_route -p 0 add -net 0.0.0.0 10.10.30.1 -fib 30
# 将对应 VIP 发出去的数据包设置对应 vlan 的 fib num,以便使用正确的转发路由表(fib)
ff_ipfw -P 0 add 100 setfib 10 ip from 110.110.110.0/24 to any out
ff_ipfw -P 0 add 200 setfib 20 ip from 120.120.120.0/24 to any out
ff_ipfw -P 0 add 300 setfib 30 ip from 130.130.130.0/24 to any out
最近碰到个客户问题,微信公众号里有个服务链接,在 IOS 下偶发失败,报错 -1200,经过排查发现是 IOS 16 在特定情况下可能会出现发起的 https 请求降级为了 tls1.0 导致的。
简单发几条排查的发现和截图,怀疑是 IOS 16 的网络请求有什么 bug 导致非正常的降级到了 tls1.0,而 tls1.0 宣称在 IOS 15 后已经不再支持,如果有 IOS 客户端同学可以看看具体是什么原因导致的
curl --http3 -vvv https://xxxx.cn/
* Trying x.x.x.x:443...
* Connect socket 5 over QUIC to x.x.x.x:443
* CAfile: /etc/pki/tls/certs/ca-bundle.crt
* CApath: none
* subjectAltName does not match xxxx.cn
* SSL: no alternative certificate subject name matches target host name 'xxxx.cn'
* connect to x.x.x.x port 443 failed: SSL peer certificate or SSH remote key was not OK
* Failed to connect to xxxx.cn port 443 after 102 ms: SSL peer certificate or SSH remote key was not OK
* Closing connection 0
curl: (60) SSL: no alternative certificate subject name matches target host name 'xxxx.cn'
More details here: https://curl.se/docs/sslcerts.html
curl failed to verify the legitimacy of the server and therefore could not
establish a secure connection to it. To learn more about this situation and
how to fix it, please visit the web page mentioned above.
TLS_FALLBACK_SCSV
标记,服务端则返回 Inappropriate Fallback
错误,还是无法握手,如下所示。腾讯云 DNSPod 已经支持 HTTPS(type65)记录类型设置,正确设置后可以对 IOS14 以上的访问有一定的优化作用。
该记录类型尚处于草案阶段, 腾讯云 DNSPod 后续会持续关注并跟进相关草案的更新。