tengine

返回：server

QPS提升60%,较Ngnix，gitHub

前言

在阿里七层流量入口接入层（Application Gateway）场景下， Nginx 官方的Smooth Weighted Round-Robin（ SWRR ）负载均衡算法已经无法再完美施展它的技能。 Tengine 通过实现新的负载均衡算法Virtual Node Smooth Weighted Round-Robin（VNSWRR ）不仅优雅的解决了 SWRR 算法的缺陷，而且QPS处理能力相对于 Nginx 官方的 SWRR 算法提升了60%左右。

接入层 Tengine 通过自研的动态 upstream 模块实现动态服务发现，即运行时动态感知后端应用机器扩缩容、权重调整和健康检查等信息。同时该功能可以做很多事情，比如用户可通过调整后端应用某台机器的权重从而达到线上真实引流压测目的。然而，这些操作在 Nginx 原生 SWRR 算法下却可能引起不可逆转的血案。

在接入层（Application Gateway）场景下， Nginx 的负载均衡算法 SWRR 会导致权重被调高机器的QPS瞬间暴涨，如上图App2-host-A机器当权重调整为2时，某一时刻流量会集中转发到该机器；

• Nginx 的 SWRR 算法的处理时间复杂度是O(N)，在大规模后端场景下 Nginx 的处理能力将线性下降；

综上所述，对接入层 Tengine 的负载均衡转发策略的改造及性能优化已迫在眉睫。

改进的 VNSWRR 算法

虽然经典的WRR算法（如随机数方式实现）可以在时间复杂度上达到 O(1) ，而且也可以避免 SWRR 算法调高权重的选取缺陷。但是在某些场景下（如小流量）可能造成后端的流量不均等问题，尤其是在流量瞬间暴涨的场景下有太多不可确定性。于是就构思是否有一种算法即能拥有 SWRR 算法的平滑、分散特点，又能具备 O(1) 的时间复杂度。所以就有了Virtual Node Smooth Weighted Round-Robin（ VNSWRR ）算法。

此处拿个列子来说明此算法：3台机器A、B、C权重分别为1、2、3，N代表后端机器数 、TW代表后端机器权重总和。

总结 正是这种大流量场景下才暴露出 Nginx 的一些问题，所谓业务与技术相辅相成，业务可促使新的技术诞生、新的技术赋能创造新的业务。 VNSWRR 算法即拥有 SWRR 算法的平滑、分散特点，也避免了其缺陷。同时在新算法下时间复杂度也从 O(N) 调整为 O(1) ，在大规模场景下 VNSWRR 的QPS处理能力相对于 Nginx 官方的 SWRR 算法提升60%左右。