基于 nginx quic 分支体验 http3 | 董泽润的技术笔记

去年发过文章 HOL blocking 困扰两个月的问题, http2 通过多路复用虚拟 stream 最大化的利用了 tcp 连接的性能，并且解决了七层的 HOL 问题，但是没有解决四层 tcp 的 HOL, 如果有丢包，那么同一 tcp 上的所有业务都会产生影响，QPS 高的时候非常明显

而 QUIC 解决了这个问题，底层基于 UDP. 本文提到的 http3 也是基于 google 的 quic, IETF 去年发布了完整版的 RFC9000

how-facebook-is-bringing-quic-to-billions 提到了性能优化，整体来讲弱网络下，用户体验提升非常明显，但是有一些基于 tcp 做的优化就不再适用了，需要重新审视一下。阿里也开源了自己的 XQUIC, 手淘大规模应用，网络耗时降低超 20%

性能测试也可以参考 HTTP3/QUIC 性能测试与配套组件和 measuring-quic-vs-tcp-mobile-desktop

背景

微信群有朋友将博客升级到了 http3, 咨询一翻后我也升级了，基于 nginx 的 quic branch, 重新编译即可，参数改动非常少，这里得提一下芮神的 xiaorui.cc 到现在都没有 tls… 感兴趣的可以看看 https://mytechshares.com

编译 H3

整体参考 nginx quic roadmap 的 dockerfile

nginx quic 使用 boringssl, 无法科学上网的单独下载吧

# apt-get install -y git gcc make g++ cmake perl libunwind-dev golang
# git clone https://boringssl.googlesource.com/boringssl
# mkdir boringssl/build
# cd boringssl/build
# cmake ..
# make

nginx 源码并没有用 github 管理，需要下载 hg

1 2	# apt-get install -y mercurial libperl-dev libpcre3-dev zlib1g-dev libxslt1-dev libgd-ocaml-dev libgeoip-dev # hg clone https://hg.nginx.org/nginx-quic

编译也比较简单，没啥特殊的

./auto/configure --prefix=/etc/nginx --sbin-path=/usr/sbin/nginx --modules-path=/usr/lib/nginx/modules --conf-path=/etc/nginx/nginx.conf --error-log-path=/var/log/nginx/error.log --http-log-path=/var/log/nginx/access.log --pid-path=/var/run/nginx.pid --lock-path=/var/run/nginx.lock --http-client-body-temp-path=/var/cache/nginx/client_temp --http-proxy-temp-path=/var/cache/nginx/proxy_temp --http-fastcgi-temp-path=/var/cache/nginx/fastcgi_temp --http-uwsgi-temp-path=/var/cache/nginx/uwsgi_temp --http-scgi-temp-path=/var/cache/nginx/scgi_temp --user=nginx --group=nginx --with-compat --with-file-aio --with-threads --with-http_addition_module --with-http_auth_request_module --with-http_dav_module --with-http_gunzip_module --with-http_gzip_static_module --with-http_realip_module --with-http_slice_module --with-http_ssl_module --with-http_stub_status_module --with-http_sub_module --with-http_v2_module --with-stream --with-stream_realip_module --with-stream_ssl_module --with-stream_ssl_preread_module --with-cc-opt=-I../boringssl/include --with-ld-opt='-L../boringssl/build/ssl -L../boringssl/build/crypto' --with-http_v3_module  --with-stream_quic_module

重点是几个 http3 相关的

1	--with-ld-opt='-L../boringssl/build/ssl -L../boringssl/build/crypto' --with-http_v3_module --with-stream_quic_module

make 完成后将 nginx-quic/objs/nginx 命令复制到 /usr/sbin 即可

# nginx -V
nginx version: nginx/1.21.6
built by gcc 7.5.0 (Ubuntu 7.5.0-3ubuntu1~18.04)
built with OpenSSL 1.1.1 (compatible; BoringSSL) (running with BoringSSL)
TLS SNI support enabled
......
ld-opt='-L../boringssl/build/ssl -L../boringssl/build/crypto' --with-http_v3_module --with-stream_quic_module

查看是编译成功及参数

配置 H3

只需要在 nginx.conf 中添加下面四行即可，如果有多个 virtual server, 根据自己的情况调整

listen 443 http3 reuseport;
listen 443 ssl http2;
ssl_protocols TLSv1 TLSv1.1 TLSv1.2 TLSv1.3;
add_header Alt-Svc 'h3=":443"; ma=86400, h3-29=":443"; ma=86400';

使用 nginx -T 检测配置无后，重启 nginx 即可

# ss -anlp | grep -i nginx
udp               UNCONN              0                    0                                                                                 0.0.0.0:443                                           0.0.0.0:*                                     users:(("nginx",pid=30595,fd=10),("nginx",pid=30594,fd=10),("nginx",pid=30593,fd=10))
udp               UNCONN              0                    0                                                                                 0.0.0.0:443                                           0.0.0.0:*                                     users:(("nginx",pid=30595,fd=6),("nginx",pid=30594,fd=6),("nginx",pid=30593,fd=6))
tcp               LISTEN              0                    128                                                                               0.0.0.0:443                                           0.0.0.0:*                                     users:(("nginx",pid=30595,fd=7),("nginx",pid=30594,fd=7),("nginx",pid=30593,fd=7))
tcp               LISTEN              0                    128                                                                               0.0.0.0:80                                            0.0.0.0:*                                     users:(("nginx",pid=30595,fd=8),("nginx",pid=30594,fd=8),("nginx",pid=30593,fd=8))
tcp               LISTEN              0                    128                                                                                  [::]:80                                               [::]:*                                     users:(("nginx",pid=30595,fd=9),("nginx",pid=30594,fd=9),("nginx",pid=30593,fd=9))

可以看到我们同时支持了 udp/tcp 的 443 和 80