工具介绍

| 核心优势 | 具体表现 | 行业价值 |
|---|---|---|
| 评测角度创新 | 聚焦性能维度(延迟、吞吐、可靠性),与传统 “精度评测”(如 MMLU 得分)形成互补 | 贴合生产场景需求(如实时对话需低延迟、批量处理需高吞吐),填补性能评测空白 |
| 用户视角真实 | 以匿名账号端到端测评,不使用 Prompt 缓存,不同轮次测试用不同 Prompt 前缀 | 避免 “厂商优化数据” 与 “真实使用体验” 的偏差,还原模型服务实际表现 |
| 覆盖范围全面 | 纳入 20+ 供应商、220+ 模型服务,优先上新 Kimi-K2、DeepSeek-V3.1 等热门模型 | 开发者无需跨平台查询,一站式获取主流 MaaS 服务的性能数据 |
| 权威数据认可 | 作为《2025 大模型服务性能排行榜》(清华大学 + 中国软件评测中心联合发起)的独家数据与技术支持方,评测方法获国家级认证 | 数据可信度受权威背书,可直接作为选型决策依据 |
| 性能指标 | 定义 | 重要性 | 核心影响因素 | 评测价值(业务场景) |
|---|---|---|---|---|
| 响应延迟 | 从发出请求到接收完整响应的总时间 | ⭐⭐⭐⭐⭐ | 模型大小、服务器负载、网络质量 | 实时对话(如客服机器人)的核心选型依据 |
| 吞吐量 | 单位时间内(通常为秒)处理的请求数量 | ⭐⭐⭐⭐ | 服务器并发能力、硬件资源配置 | 批量数据处理(如文档总结)的成本优化依据 |
| 可靠性 | 模型服务在指定时间内稳定可用的概率(如 99.9% 可用) | ⭐⭐⭐⭐⭐ | 基础设施稳定性、负载均衡策略、容错机制 | 核心业务(如交易风控)的连续性保障指标 |
| 首 Token 延迟 | 发出请求到生成第一个 Token(字符单元)的耗时 | ⭐⭐⭐⭐ | 模型推理启动速度、预处理效率 | 短文本交互(如搜索问答)的体验优化关键 |
| 令牌生成速度 | 每秒生成的 Token 数量(Tokens Per Second,TPS) | ⭐⭐⭐ | 模型优化程度(如量化压缩)、硬件算力 | 长文本生成(如报告撰写)的效率评估标准 |