本地部署大模型性能测试，DeepSeek-R1-0528-Qwen-8B
图片大家好，我是 ai 学习的老章
今天分享一个我最近频繁使用的大模型并发压力测试工具，并实测一下我在双
4090
<em>DeepSeek</em>-R1-0528-<em>Qwen</em>-8B
这是我目前最钟爱的三个 DeepSeek 蒸馏版本之一
DeepSeek-R1-0528 基于 Qwen3:8B 进行知识蒸馏优化，配合双 4090 实现本地高效推理，性能与效果兼备，深得我心
LLM-Benchmark 工具介绍
项目地址：
https://github.com/lework/llm-benchmark
LLM-Benchmark 是一款专为大语言模型设计的自动化并发性能压测工具，适用于开发者和运维人员对本地或远程 LLM 服务进行系统性性能评估。它支持从低负载到高并发的多阶段测试，帮助定位瓶颈、优化部署策略。
核心功能亮点：
多阶段压力测试：支持从 1 到 300 并发逐步加压，观察模型在不同负载下的表现。 自动化数据采集：自动记录每轮测试的响应时间、吞吐量、错误率等关键指标。 可视化性能报告：生成结构化报告，直观展示 RPS、延迟、TPS 等趋势变化。 长短文本双模式测试：覆盖短问答与长上下文生成场景，贴近真实应用。 高度可配置：通过命令行灵活设置模型名、URL、并发数、请求数等参数。 JSON 输出支持：便于后续分析或集成至 CI/CD 流程。主要文件说明：
run_benchmarks.py：主测试脚本，执行全量多轮测试，自动生成汇总报告。
llm_benchmark.py：核心压测逻辑，处理并发请求、连接池管理及流式响应测试。
assets/：存放测试用资源文件。
README.md：详细使用文档与参数说明。
使用方式
1. 执行完整性能测试（推荐）
运行以下命令进行全量多并发测试，适合全面评估模型服务能力：
python run_benchmarks.py ⁄ --llm_url "http://your-llm-server" ⁄ --api_key "your-api-key" ⁄ --model "your-model-name" ⁄ --use_long_context
参数说明：
--llm_url：目标 LLM 服务地址（必填） --api_key：认证密钥（可选） --model：模型名称（默认为 deepseek-r1） --use_long_context：启用长文本测试模式（默认关闭）2. 单次并发测试（按需定制）
若只想测试特定并发级别，可使用单测脚本：
python llm_benchmark.py ⁄ --llm_url "http://your-llm-server" ⁄ --api_key "your-api-key" ⁄ --model "your-model-name" ⁄ --num_requests ⁄ --concurrency
参数说明：
--num_requests：总请求数（必填） --concurrency：并发数量（必填）还可自定义输出 token 数、超时时间、输出格式等。
实测结果展示
我使用如下命令对本地部署的模型进行全量长上下文测试：
python run_benchmarks.py ⁄ --llm_url "http://localhost:8001/v1" ⁄ --api_key "123" ⁄ --model "R1-0528-Qwen3-8B" ⁄ --use_long_context
测试结果如下图所示：
图片
性能指标解读
RPS（每秒请求数）
衡量系统吞吐能力，RPS 越高，并发处理能力越强。测试中从单并发 0.91 提升至 300 并发下的 43.53，表现出色。
平均延迟（秒）
用户体验的关键指标。低并发时仅 1.098 秒，300 并发上升至 12.62 秒，符合预期增长趋势。
P99 延迟（秒）
反映极端情况下的响应稳定性。随着并发增加略有上升，但整体可控。
平均 TPS（每秒生成 token 数）
衡量模型生成效率。峰值达 90.89 tokens/s，在 50 并发下仍保持 42.44，表现优异。
首 Token 延迟（秒）
影响交互即时感。低并发下低至 0.035 秒，但在 200/300 并发时升至约 2.85 秒，说明高负载下启动响应略有延迟。
成功率
所有测试场景下均为 100%，无请求失败，稳定性极佳。
对比主流平台 DeepSeek API 实际生成速度
总结
在本地资源有限的前提下，
<em>DeepSeek</em>-R1-0528-<em>Qwen</em>-8B
无论是吞吐能力、响应速度还是稳定性，实测表现都令人满意，尤其在中等并发下兼顾了效率与体验。相比部分公有云 API 的波动性，本地部署更可控、更安全、成本更低。
如果你也在寻找一款适合本地运行的高性能蒸馏模型，强烈推荐尝试这个组合！
这篇文章若能照亮您的探索之路，我们深感荣幸。更多精彩，尽在天晴下载站，期待与您再次相遇!
