{ "componentChunkName": "component---src-templates-issues-tsx", "path": "/issues/206", "result": {"data":{"issuesJson":{"id":"9bf90262-72ce-58c9-93b2-b317b254594c","title":"link1st/go-stress-testing: Golang 实现的压测工具","number":206,"bodyHTML":"
\n



\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n
Reposlink1st/go-stress-testing
Views\"views\"
Stars\"stars\"
Forks\"forks\"
License\"license\"
UpdatedAt\"last-commit\"
CreatedAt\"create-at\"
\n\n

\"\"

\n\n
\n

go实现的压测工具【单台机器100w连接压测实战】

\n

\"PkgGoDev\"
\n\"Release\"
\n\"Go
\n\"OpenIssue\"
\n\"ClosedIssue\"
\n\"Stars\"
\n\"Forks\"
\n\"Stargazers

\n

本文介绍压测是什么，解释压测的专属名词，教大家如何压测。介绍市面上的常见压测工具(ab、locust、Jmeter、go实现的压测工具、云压测)，对比这些压测工具，教大家如何选择一款适合自己的压测工具，本文还有两个压测实战项目：

\n\n
\n

简单扩展即可支持 私有协议

\n
\n

目录

\n\n

1、项目说明

\n

1.1 go-stress-testing

\n

go 实现的压测工具，每个用户用一个协程的方式模拟，最大限度的利用 CPU 资源

\n

1.2 项目体验

\n\n
\n

go-stress-testing 压测工具下载地址
\n查看帮助信息 go-stress-testing-mac --help

\n
\n\n
\n

安装最新版本 go install github.com/link1st/go-stress-testing@latest
\n安装路径在 echo $GOBIN 目录下，配置了 export PATH=$PATH:$GOROOT/bin:$GOBIN 可以在任意目录下执行
\n查看帮助信息 go-stress-testing --help

\n
\n

参数说明:

\n

-c 表示并发数

\n

-n 每个并发执行请求的次数，总请求的次数 = 并发数 * 每个并发执行请求的次数

\n

-u 需要压测的地址

\n
# 运行以 mac 为示例\n./go-stress-testing-mac -c 1 -n 100 -u https://www.baidu.com/\n
\n\n

执行以后，终端每秒钟都会输出一次结果，压测完成以后输出执行的压测结果

\n

压测结果展示:

\n
\n─────┬───────┬───────┬───────┬────────┬────────┬────────┬────────┬────────\n 耗时│ 并发数 │ 成功数│ 失败数 │   qps  │最长耗时 │最短耗时│平均耗时 │ 错误码\n─────┼───────┼───────┼───────┼────────┼────────┼────────┼────────┼────────\n   1s│      1│      8│      0│    8.09│  133.16│  110.98│  123.56│200:8\n   2s│      1│     15│      0│    8.02│  138.74│  110.98│  124.61│200:15\n   3s│      1│     23│      0│    7.80│  220.43│  110.98│  128.18│200:23\n   4s│      1│     31│      0│    7.83│  220.43│  110.23│  127.67│200:31\n   5s│      1│     39│      0│    7.81│  220.43│  110.23│  128.03│200:39\n   6s│      1│     46│      0│    7.72│  220.43│  110.23│  129.59│200:46\n   7s│      1│     54│      0│    7.79│  220.43│  110.23│  128.42│200:54\n   8s│      1│     62│      0│    7.81│  220.43│  110.23│  128.09│200:62\n   9s│      1│     70│      0│    7.79│  220.43│  110.23│  128.33│200:70\n  10s│      1│     78│      0│    7.82│  220.43│  106.47│  127.85│200:78\n  11s│      1│     84│      0│    7.64│  371.02│  106.47│  130.96│200:84\n  12s│      1│     91│      0│    7.63│  371.02│  106.47│  131.02│200:91\n  13s│      1│     99│      0│    7.66│  371.02│  106.47│  130.54│200:99\n  13s│      1│    100│      0│    7.66│  371.02│  106.47│  130.52│200:100\n\n\n*************************  结果 stat  ****************************\n处理协程数量: 1\n请求总数: 100 总请求时间: 13.055 秒 successNum: 100 failureNum: 0\n*************************  结果 end   ****************************\n\n
\n

参数解释:

\n

耗时: 程序运行耗时。程序每秒钟输出一次压测结果

\n

并发数: 并发数，启动的协程数

\n

成功数: 压测中，请求成功的数量

\n

失败数: 压测中，请求失败的数量

\n

qps: 当前压测的 QPS (每秒钟处理请求数量)

\n

最长耗时: 压测中，单个请求最长的响应时长

\n

最短耗时: 压测中，单个请求最短的响应时长

\n

平均耗时: 压测中，单个请求平均的响应时长

\n

错误码: 压测中，接口返回的 code 码:返回次数的集合

\n

2、压测

\n

2.1 压测是什么

\n

压测，即压力测试，是确立系统稳定性的一种测试方法，通常在系统正常运作范围之外进行，以考察其功能极限和隐患。

\n

主要检测服务器的承受能力，包括用户承受能力（多少用户同时玩基本不影响质量）、流量承受等。

\n

2.2 为什么要压测

\n\n

2.3 压测名词解释

\n

2.3.1 压测类型解释

\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n
压测类型解释
压力测试(Stress Testing)也称之为强度测试，测试一个系统的最大抗压能力，在强负载(大数据、高并发)的情况下，测试系统所能承受的最大压力，预估系统的瓶颈
并发测试(Concurrency Testing)通过模拟很多用户同一时刻访问系统或对系统某一个功能进行操作，来测试系统的性能，从中发现问题(并发读写、线程控制、资源争抢)
耐久性测试(Configuration Testing)通过对系统在大负荷的条件下长时间运行，测试系统、机器的长时间运行下的状况，从中发现问题(内存泄漏、数据库连接池不释放、资源不回收)
\n

2.3.2 压测名词解释

\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n
压测名词解释
并发(Concurrency)指一个处理器同时处理多个任务的能力(逻辑上处理的能力)
并行(Parallel)多个处理器或者是多核的处理器同时处理多个不同的任务(物理上同时执行)
QPS(每秒钟查询数量 Queries Per Second)服务器每秒钟处理请求数量 (req/sec 请求数/秒 一段时间内总请求数/请求时间)
事务(Transactions)是用户一次或者是几次请求的集合
TPS(每秒钟处理事务数量 Transaction Per Second)服务器每秒钟处理事务数量(一个事务可能包括多个请求)
请求成功数(Request Success Number)在一次压测中，请求成功的数量
请求失败数(Request Failures Number)在一次压测中，请求失败的数量
错误率(Error Rate)在压测中，请求成功的数量与请求失败数量的比率
最大响应时间(Max Response Time)在一次压测中，从发出请求或指令系统做出的反映(响应)的最大时间
最少响应时间(Mininum Response Time)在一次压测中，从发出请求或指令系统做出的反映(响应)的最少时间
平均响应时间(Average Response Time)在一次压测中，从发出请求或指令系统做出的反映(响应)的平均时间
\n

2.3.3 机器性能指标解释

\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n
机器性能解释
CPU利用率(CPU Usage)CPU 利用率分用户态、系统态和空闲态，CPU 利用率是指：CPU 执行非系统空闲进程的时间与 CPU 总执行时间的比率
内存使用率(Memory usage)内存使用率指的是此进程所开销的内存
IO(Disk input/ output)磁盘的读写包速率
网卡负载(Network Load)网卡的进出带宽，包量
\n

2.3.4 访问指标解释

\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n
访问解释
PV(页面浏览量 Page Views)一定时间范围内（时间范围可以是一天、一个月等自定义的时间段），用户每打开 1 个网站页面，记录 1 个 PV。用户多次打开同一页面，PV 值累计多次
UV(网站独立访客 Unique Visitors)一定时间范围内（时间范围可以是一天、一个月等自定义的时间段），通过互联网访问、流量网站的自然人。相同访客多次访问网站，只计算为 1 个独立访客
\n

2.4 如何计算压测指标

\n\n
\n

( 30000000*0.8 ) / (86400 * 0.2) ≈ 1389 (QPS)

\n
\n\n
\n

1389 / 69 ≈ 20

\n
\n

3、常见的压测工具

\n

3.1 ab

\n\n

ApacheBench 是 Apache 服务器自带的一个web压力测试工具，简称 ab。ab 又是一个命令行工具，对发起负载的本机要求很低，根据 ab 命令可以创建很多的并发访问线程，模拟多个访问者同时对某一 URL 地址进行访问，因此可以用来测试目标服务器的负载压力。总的来说 ab 工具小巧简单，上手学习较快，可以提供需要的基本性能指标，但是没有图形化结果，不能监控。

\n

ab 属于一个轻量级的压测工具，结果不会特别准确，可以用作参考。

\n\n
# 在linux环境安装\nsudo yum -y install httpd
\n\n
Usage: ab [options] [http[s]://]hostname[:port]/path\n用法：ab [选项] 地址\n\n选项：\nOptions are:\n    -n requests      #执行的请求数，即一共发起多少请求。\n    -c concurrency   #请求并发数。\n    -s timeout       #指定每个请求的超时时间，默认是30秒。\n    -k               #启用HTTP KeepAlive功能，即在一个HTTP会话中执行多个请求。默认时，不启用KeepAlive功能。\n
\n\n
# 使用ab压测工具，对百度的链接 请求100次，并发数1\nab -n 100 -c 1 https://www.baidu.com/
\n

压测结果

\n
~ >ab -n 100 -c 1 https://www.baidu.com/\nThis is ApacheBench, Version 2.3 <$Revision: 1430300 $>\nCopyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/\nLicensed to The Apache Software Foundation, http://www.apache.org/\n\nBenchmarking www.baidu.com (be patient).....done\n\n\nServer Software:        BWS/1.1\nServer Hostname:        www.baidu.com\nServer Port:            443\nSSL/TLS Protocol:       TLSv1.2,ECDHE-RSA-AES128-GCM-SHA256,2048,128\n\nDocument Path:          /\nDocument Length:        227 bytes\n\nConcurrency Level:      1\nTime taken for tests:   9.430 seconds\nComplete requests:      100\nFailed requests:        0\nWrite errors:           0\nTotal transferred:      89300 bytes\nHTML transferred:       22700 bytes\nRequests per second:    10.60 [#/sec] (mean)\nTime per request:       94.301 [ms] (mean)\nTime per request:       94.301 [ms] (mean, across all concurrent requests)\nTransfer rate:          9.25 [Kbytes/sec] received\n\nConnection Times (ms)\n              min  mean[+/-sd] median   max\nConnect:       54   70  16.5     69     180\nProcessing:    18   24  12.0     23     140\nWaiting:       18   24  12.0     23     139\nTotal:         72   94  20.5     93     203\n\nPercentage of the requests served within a certain time (ms)\n  50%     93\n  66%     99\n  75%    101\n  80%    102\n  90%    108\n  95%    122\n  98%    196\n  99%    203\n 100%    203 (longest request)\n
\n\n

3.2 Locust

\n\n

是非常简单易用、分布式、python 开发的压力测试工具。有图形化界面，支持将压测数据导出。

\n\n
# pip3 安装locust\npip3  install locust\n# 查看是否安装成功\nlocust -h\n# 运行 Locust 分布在多个进程/机器库\npip3 install pyzmq\n# webSocket 压测库\npip3 install websocket-client
\n\n

编写压测脚本 test.py

\n
from locust import HttpUser, TaskSet, task\n\n# 定义用户行为\nclass UserBehavior(TaskSet):\n\n    @task\n    def baidu_index(self):\n        self.client.get(\"/\")\n\nclass WebsiteUser(HttpUser):\n    task = [UserBehavior] # 指向一个定义的用户行为类\n    min_wait = 3000 # 执行事务之间用户等待时间的下界（单位：毫秒）\n    max_wait = 6000 # 执行事务之间用户等待时间的上界（单位：毫秒）
\n\n
locust -f  test.py --host=https://www.baidu.com
\n

访问 http://localhost:8089 进入压测首页

\n

Number of users to simulate 模拟用户数

\n

Hatch rate (users spawned/second) 每秒钟增加用户数

\n

点击 \"Start swarming\" 进入压测页面

\n

\"locust

\n

压测界面右上角有:被压测的地址、当前状态、RPS、失败率、开始或重启按钮

\n

性能测试参数

\n\n

\"locust

\n

3.3 JMeter

\n\n

Apache JMeter是Apache组织开发的基于Java的压力测试工具。用于对软件做压力测试，它最初被设计用于Web应用测试，但后来扩展到其他测试领域。
\nJMeter能够对应用程序做功能/回归测试，通过创建带有断言的脚本来验证你的程序返回了你期望的结果。

\n\n

访问 https://jmeter-plugins.org/install/Install/ 下载解压以后即可使用

\n\n

JMeter的功能过于强大，这里暂时不介绍用法，可以查询相关文档使用(参考文献中有推荐的教程文档)

\n

3.4 云压测

\n

3.4.1 云压测介绍

\n

顾名思义就是将压测脚本部署在云端，通过云端对对我们的应用进行全方位压测，只需要配置压测的参数，无需准备实体机，云端自动给我们分配需要压测的云主机，对被压测目标进行压测。

\n

云压测的优势:

\n
    \n
  1. 轻易的实现分布式部署
    2. \n
  2. 能够模拟海量用户的访问
    3. \n
  3. 流量可以从全国各地发起，更加真实的反映用户的体验
    4. \n
  4. 全方位的监控压测指标
    5. \n
  5. 文档比较完善
    6. \n
\n

当然了云压测是一款商业产品，在使用的时候自然还是需要收费的，而且价格还是比较昂贵的~

\n

3.4.2 阿里云 性能测试 PTS

\n

PTS（Performance Testing Service）是面向所有技术背景人员的云化测试工具。有别于传统工具的繁复，PTS以互联网化的交互，提供性能测试、API调试和监测等多种能力。自研和适配开源的功能都可以轻松模拟任意体量的用户访问业务的场景，任务随时发起，免去繁琐的搭建和维护成本。更是紧密结合监控、流控等兄弟产品提供一站式高可用能力，高效检验和管理业务性能。

\n

阿里云同样还是支持渗透测试，通过模拟黑客对业务系统进行全面深入的安全测试。

\n

3.4.3 腾讯云 压测大师 LM

\n

通过创建虚拟机器人模拟多用户的并发场景，提供一整套完整的服务器压测解决方案

\n

4、go-stress-testing go语言实现的压测工具

\n

4.1 介绍

\n\n

4.2 用法

\n\n
Usage of ./go-stress-testing-mac:\n  -c uint\n      并发数 (default 1)\n  -n uint\n      请求数(单个并发/协程) (default 1)\n  -u string\n      压测地址\n  -d string\n      调试模式 (default \"false\")\n  -http2\n    \t是否开http2.0\n  -k\t是否开启长连接\n  -m int\n    \t单个host最大连接数 (default 1)\n  -H value\n      自定义头信息传递给服务器 示例:-H 'Content-Type: application/json'\n  -data string\n      HTTP POST方式传送数据\n  -v string\n      验证方法 http 支持:statusCode、json webSocket支持:json\n  -p string\n      curl文件路径\n
\n\n
# 查看用法\n./go-stress-testing-mac\n\n# 使用请求百度页面\n./go-stress-testing-mac -c 1 -n 100 -u https://www.baidu.com/\n\n# 使用debug模式请求百度页面\n./go-stress-testing-mac -c 1 -n 1 -d true -u https://www.baidu.com/\n\n# 使用 curl文件(文件在curl目录下) 的方式请求\n./go-stress-testing-mac -c 1 -n 1 -p curl/baidu.curl.txt\n\n# 压测webSocket连接\n./go-stress-testing-mac -c 10 -n 10 -u ws://127.0.0.1:8089/acc\n
\n\n
# 更多参数 支持 header、post body\ngo run main.go -c 1 -n 1 -d true -u 'https://page.aliyun.com/delivery/plan/list' \\\n  -H 'authority: page.aliyun.com' \\\n  -H 'accept: application/json, text/plain, */*' \\\n  -H 'content-type: application/x-www-form-urlencoded' \\\n  -H 'origin: https://cn.aliyun.com' \\\n  -H 'sec-fetch-site: same-site' \\\n  -H 'sec-fetch-mode: cors' \\\n  -H 'sec-fetch-dest: empty' \\\n  -H 'referer: https://cn.aliyun.com/' \\\n  -H 'accept-language: zh-CN,zh;q=0.9' \\\n  -H 'cookie: aliyun_choice=CN; JSESSIONID=J8866281-CKCFJ4BUZ7GDO9V89YBW1-KJ3J5V9K-GYUW7; maliyun_temporary_console0=1AbLByOMHeZe3G41KYd5WWZvrM%2BGErkaLcWfBbgveKA9ifboArprPASvFUUfhwHtt44qsDwVqMk8Wkdr1F5LccYk2mPCZJiXb0q%2Bllj5u3SQGQurtyPqnG489y%2FkoA%2FEvOwsXJTvXTFQPK%2BGJD4FJg%3D%3D; cna=L3Q5F8cHDGgCAXL3r8fEZtdU; isg=BFNThsmSCcgX-sUcc5Jo2s2T4tF9COfKYi8g9wVwr3KphHMmjdh3GrHFvPTqJD_C; l=eBaceXLnQGBjstRJBOfwPurza77OSIRAguPzaNbMiT5POw1B5WAlWZbqyNY6C3GVh6lwR37EODnaBeYBc3K-nxvOu9eFfGMmn' \\\n  -data 'adPlanQueryParam=%7B%22adZone%22%3A%7B%22positionList%22%3A%5B%7B%22positionId%22%3A83%7D%5D%7D%2C%22requestId%22%3A%2217958651-f205-44c7-ad5d-f8af92a6217a%22%7D'
\n\n

curl是Linux在命令行下的工作的文件传输工具，是一款很强大的http命令行工具。

\n

使用curl文件可以压测使用非GET的请求，支持设置http请求的 method、cookies、header、body等参数

\n

I: chrome 浏览器生成 curl文件，打开开发者模式(快捷键F12)，如图所示，生成 curl 在终端执行命令
\n\"chrome

\n

II: postman 生成 curl 命令
\n\"postman

\n

生成内容粘贴到项目目录下的curl/baidu.curl.txt文件中，执行下面命令就可以从curl.txt文件中读取需要压测的内容进行压测了

\n
# 使用 curl文件(文件在curl目录下) 的方式请求\ngo run main.go -c 1 -n 1 -p curl/baidu.curl.txt\n
\n

4.3 实现

\n\n
|____main.go                      // main函数，获取命令行参数\n|____server                       // 处理程序目录\n| |____dispose.go                 // 压测启动，注册验证器、启动统计函数、启动协程进行压测\n| |____statistics                 // 统计目录\n| | |____statistics.go            // 接收压测统计结果并处理\n| |____golink                     // 建立连接目录\n| | |____http_link.go             // http建立连接\n| | |____websocket_link.go        // webSocket建立连接\n| |____client                     // 请求数据客户端目录\n| | |____http_client.go           // http客户端\n| | |____websocket_client.go      // webSocket客户端\n| |____verify                     // 对返回数据校验目录\n| | |____http_verify.go           // http返回数据校验\n| | |____websokcet_verify.go      // webSocket返回数据校验\n|____heper                        // 通用函数目录\n| |____heper.go                   // 通用函数\n|____model                        // 模型目录\n| |____request_model.go           // 请求数据模型\n| |____curl_model.go              // curl文件解析\n|____vendor                       // 项目依赖目录\n
\n

4.4 go-stress-testing 对 Golang web 压测

\n

这里使用go-stress-testing对go server进行压测(部署在同一台机器上)，并统计压测结果

\n\n

CPU: 4核 (Intel Xeon(Cascade Lake) Platinum 8269 2.5 GHz/3.2 GHz)

\n

内存: 16G
\n硬盘: 20G SSD
\n系统: CentOS 7.6

\n

go version: go1.12.9 linux/amd64

\n

\"go-stress-testing01\"

\n\n
\nimport (\n    \"log\"\n    \"net/http\"\n    \"runtime\"\n)\n\nconst (\n    httpPort = \"8088\"\n)\n\nfunc main() {\n\n    runtime.GOMAXPROCS(runtime.NumCPU() - 1)\n\n    hello := func(w http.ResponseWriter, req *http.Request) {\n        data := \"Hello, go-stress-testing! \\n\"\n\n        w.Header().Add(\"Server\", \"golang\")\n        w.Write([]byte(data))\n\n        return\n    }\n\n    http.HandleFunc(\"/\", hello)\n    err := http.ListenAndServe(\":\"+httpPort, nil)\n\n    if err != nil {\n        log.Fatal(\"ListenAndServe: \", err)\n    }\n}\n\n
\n\n
./go-stress-testing-linux -c 100 -n 10000 -u http://127.0.0.1:8088/\n
\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n
并发数go_stress_testing QPS
16394.86
416909.36
1018456.81
2019490.50
3019947.47
5019922.56
8019155.33
10018336.46
\n

从压测的结果上看：效果还不错，压测QPS有接近2W

\n

4.5 grpc压测

\n\n
\n

添加对 grpc 接口压测 commit

\n
\n\n
# 进入 grpc server 目录\ncd tests/grpc\n\n# 启动 grpc server\ngo run main.go
\n\n
# 回到项目根目录\ngo run main.go -c 300 -n 1000 -u grpc://127.0.0.1:8099 -data world\n\n开始启动  并发数:300 请求数:1000 请求参数:\nrequest:\n form:grpc\n url:grpc://127.0.0.1:8099\n method:POST\n headers:map[Content-Type:application/x-www-form-urlencoded; charset=utf-8]\n data:world\n verify:\n timeout:30s\n debug:false\n\n─────┬───────┬───────┬───────┬────────┬────────┬────────┬────────┬────────┬────────┬────────\n 耗时 │ 并发数 │ 成功数 │ 失败数 │   qps  │最长耗时  │最短耗时 │平均耗时  │下载字节 │字节每秒  │ 错误码\n─────┼───────┼───────┼───────┼────────┼────────┼────────┼────────┼────────┼────────┼────────\n   1s│    186│  14086│      0│34177.69│   22.40│    0.63│    8.78│        │        │200:14086\n   2s│    265│  30408│      0│26005.09│   32.68│    0.63│   11.54│        │        │200:30408\n   3s│    300│  46747│      0│21890.46│   40.84│    0.63│   13.70│        │        │200:46747\n   4s│    300│  62837│      0│20057.06│   45.81│    0.63│   14.96│        │        │200:62837\n   5s│    300│  79119│      0│19134.52│   45.81│    0.63│   15.68│        │        │200:79119\n
\n\n
\n

由于私有协议、grpc 协议 都涉及到代码的书写，所以需要 编写go 的代码才能完成
\n参考 添加对 grpc 接口压测 commit

\n
\n

5、压测工具的比较

\n

5.1 比较

\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n
-ablocustJmetergo-stress-testing云压测
实现语言CPythonJavaGolang-
UI界面无有有无无
优势使用简单，上手简单支持分布式、压测数据支持导出插件丰富，支持生成HTML报告项目开源，使用简单，没有依赖，支持webSocket压测更加真实的模拟用户，支持更高的压测力度
\n

5.2 如何选择压测工具

\n

这个世界上没有最好的，只有最适合的，工具千千万，选择一款适合你的才是最重要的

\n

在实际使用中有各种场景，选择工具的时候就需要考虑这些:

\n\n

6、单台机器100w连接压测实战

\n

6.1 说明

\n

之前写了一篇文章，基于websocket单台机器支持百万连接分布式聊天(IM)系统(不了解这个项目可以查看上一篇或搜索一下文章)，这里我们要实现单台机器支持100W连接的压测

\n

目标:

\n\n

说明:

\n

gowebsocket 分布式聊天(IM)系统:

\n\n\n
\n

由于自己手上没有自己的服务器，所以需要临时购买的云服务器

\n
\n

压测服务器:

\n

16台(稍后解释为什么需要16台机器)

\n

CPU: 2核
\n内存: 8G
\n硬盘: 20G
\n系统: CentOS 7.6

\n

\"webSocket压测服务器\"

\n

被压测服务:

\n

1台

\n

CPU: 4核
\n内存: 32G
\n硬盘: 20G SSD
\n系统: CentOS 7.6

\n

\"webSocket被压测服务器\"

\n

6.2 内核优化

\n\n

被压测服务器需要保持100W长连接，客户和服务器端是通过socket通讯的，每个连接需要建立一个socket，程序需要保持100W长连接就需要单个程序能打开100W个文件句柄

\n
# 查看系统默认的值\nulimit -n\n# 设置最大打开文件数\nulimit -n 1040000\n
\n

这里设置的要超过100W，程序除了有100W连接还有其它资源连接(数据库、资源等连接)，这里设置为 104W

\n

centOS 7.6 上述设置不生效，需要手动修改配置文件

\n

vim /etc/security/limits.conf

\n

这里需要把硬限制和软限制、root用户和所有用户都设置为 1040000

\n

core 是限制内核文件的大小，这里设置为 unlimited

\n
# 添加以下参数\nroot soft nofile 1040000\nroot hard nofile 1040000\nroot soft nproc 1040000\nroot hard nproc 1040000\n\n* soft nofile 1040000\n* hard nofile 1040000\n* soft nproc 1040000\n* hard nproc 1040000\n\nroot soft core unlimited\nroot hard core unlimited\n\n* soft core unlimited\n* hard core unlimited\n
\n

注意:

\n

/proc/sys/fs/file-max 表示系统级别的能够打开的文件句柄的数量，不能小于limits中设置的值

\n

如果file-max的值小于limits设置的值会导致系统重启以后无法登录

\n
# file-max 设置的值参考\ncat /proc/sys/fs/file-max\n12553500\n
\n

修改以后重启服务器，ulimit -n 查看配置是否生效

\n

6.3 客户端配置

\n

由于linux端口的范围是 0~65535(2^16-1)这个和操作系统无关，不管linux是32位的还是64位的

\n

这个数字是由于tcp协议决定的，tcp协议头部表示端口只有16位，所以最大值只有65535(如果每台机器多几个虚拟ip就能突破这个限制)

\n

1024以下是系统保留端口，所以能使用的1024到65535

\n

如果需要100W长连接，每台机器有 65535-1024 个端口， 100W / (65535-1024) ≈ 15.5，所以这里需要16台服务器

\n\n
net.ipv4.ip_local_port_range = 1024 65000\nnet.ipv4.tcp_mem = 786432 2097152 3145728\nnet.ipv4.tcp_rmem = 4096 4096 16777216\nnet.ipv4.tcp_wmem = 4096 4096 16777216\n
\n

sysctl -p 修改配置以后使得配置生效命令

\n

配置解释:

\n\n

6.4 准备

\n
    \n
  1. \n

    在被压测服务器上启动Server服务(gowebsocket)

    \n
    2. \n
  2. \n

    查看被压测服务器的内网端口

    \n
    3. \n
  3. \n

    登录上16台压测服务器，这里我提前把需要优化的系统做成了镜像，申请机器的时候就可以直接使用这个镜像(参数已经调好)

    \n
    4. \n
\n

\"压测服务器16台准备\"

\n
    \n
  1. 启动压测
    2. \n
\n
 ./go_stress_testing_linux -c 62500 -n 1  -u ws://192.168.0.74:443/acc\n
\n

62500*16 = 100W 正好可以达到我们的要求

\n

建立连接以后，-n 1发送一个ping的消息给服务器，收到响应以后保持连接不中断

\n
    \n
  1. \n

    通过 gowebsocket服务器的http接口，实时查询连接数和项目启动的协程数

    \n
    2. \n
  2. \n

    压测过程中查看系统状态

    \n
    3. \n
\n
# linux 命令\nps      # 查看进程内存、CPU使用情况\niostat  # 查看系统IO情况\nnload   # 查看网络流量情况\n/proc/pid/status # 查看进程状态\n
\n

6.5 压测数据

\n\n

查看goWebSocket连接数统计，可以看到 clientsLen连接数为100W，goroutine数量2000008个，每个连接两个goroutine加上项目启动默认的8个。这里可以看到连接数满足了100W

\n

\"查看goWebSocket连接数统计\"

\n

从压测服务上查看连接数是否达到了要求，压测完成的统计数据并发数为62500，是每个客户端连接的数量,总连接数： 62500*16=100W，

\n

\"压测服务16台

\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n
连接数内存
10000281M
1000002.7g
2000005.4g
50000013.1g
100000025.8g
\n

100W连接时的查看内存详细数据:

\n
cat /proc/pid/status\nVmSize: 27133804 kB\n
\n

27133804/1000000≈27.1 100W连接，占用了25.8g的内存，粗略计算了一下，一个连接占用了27.1Kb的内存，由于goWebSocket项目每个用户连接起了两个协程处理用户的读写事件，所以内存占用稍微多一点

\n

如果需要如何减少内存使用可以参考 @Roy11568780 大佬给的解决方案

\n
\n

传统的golang中是采用的一个goroutine循环read的方法对应每一个socket。实际百万链路场景中这是巨大的资源浪费，优化的原理也不是什么新东西，golang中一样也可以使用epoll的，把fd拿到epoll中，检测到事件然后在协程池里面去读就行了，看情况读写分别10-20的协程goroutine池应该就足够了

\n
\n

至此，压测已经全部完成，单台机器支持100W连接已经满足~

\n

7.常见问题

\n\n

A: 参考TCP四次挥手原理，主动关闭连接的一方会出现 TIME_WAIT 状态，等待的时长为 2MSL(约1分钟左右)

\n

原因是：主动断开的一方回复 ACK 消息可能丢失，TCP 是可靠的传输协议，在没有收到 ACK 消息的另一端会重试，重新发送FIN消息，所以主动关闭的一方会等待 2MSL 时间，防止对方重试，这就出现了大量 TIME_WAIT 状态（参考: 四次挥手的最后两次）

\n

TCP 握手：
\n

\n\n

A： 可以使用Dockerfile构建一个容器镜像，假设容器镜像名称为gostress:1111，docker build -t gostress:1111 .
\n启动一个名称为go-stress的容器docker run -d --name=go-stress gostress:1111
\n开始压测 docker exec -it go-stress -c 10 -n 10 -u www.baidu.com

\n

8、总结

\n

到这里压测总算完成，本次压测花费16元巨款。

\n

单台机器支持100W连接是实测是满足的，但是实际业务比较复杂，还是需要持续优化~

\n

本文通过介绍什么是压测，在什么情况下需要压测，通过单台机器100W长连接的压测实战了解Linux内核的参数的调优。如果觉得现有的压测工具不适用，可以自己实现或者是改造成属于自己的自己的工具。

\n

9、参考文献

\n

性能测试工具

\n

性能测试常见名词解释

\n

性能测试名词解释

\n

PV、TPS、QPS是怎么计算出来的？

\n

超实用压力测试工具－ab工具

\n

Locust 介绍

\n

Jmeter性能测试 入门

\n

基于websocket单台机器支持百万连接分布式聊天(IM)系统

\n

https://github.com/link1st/go-stress-testing

\n

github 搜:link1st 查看项目 go-stress-testing

\n

意见反馈

\n\n

\n \"添加link1st的微信\"\n

\n

赞助商

\n\n

\n \n \n \n

","updatedAt":"2025-05-21T16:00:24Z","upvoteCount":null,"author":{"login":"eryajf","avatarUrl":"https://avatars.githubusercontent.com/u/33259379?u=e4a4090a38ac2473aaed4ef9945233636776c6c3&v=4","url":"https://github.com/eryajf"},"category":null,"labels":{"edges":[{"node":{"name":"更多","color":"25B472"}},{"node":{"name":"测试压测","color":"3fbd86"}},{"node":{"name":"link1st","color":"4c2299"}}]},"comments":{"edges":[]}}},"pageContext":{"number":206,"previous":{"title":"TNK-Studio/gortal: 一个使用 Go 语言开发的，超级轻量的跳板机服务。","number":205},"next":{"title":"go-gost/gost: GO语言实现的安全隧道","number":207}}}, "staticQueryHashes": ["151096407","2861350382"]}