大模型备案路上，可扩展性测试到底在测什么？

最近不少客户在聊生成式AI备案时，总卡在一个看似技术、实则关键的环节：可扩展性测试。很多人以为就是“多跑几轮压力测试”，其实远不止——它本质是在问：你的模型，能不能稳稳接住未来业务的真实洪流？

不是“能跑多快”，而是“能扛多大”

可扩展性测试，核心不是比谁的QPS更高，而是看模型在业务规模跃迁时是否依然可靠。比如：用户量从日均1万涨到50万，接口响应延迟是否失控？并发请求翻3倍后，幻觉率是否陡增？微调新增10类行业知识，原有金融问答准确率会不会掉点？这些才是监管评估真正在意的“韧性指标”。

场景不能靠脑补，得从真实业务里长出来

我们帮30+客户过审发现，最扎实的测试场景往往来自三个切口：
✅ 流量弹性场景：模拟促销日、舆情爆发期的瞬时峰值，观察模型服务降级策略是否生效；
✅ 能力叠加场景：在基础对话能力上，逐步接入多轮对话记忆、文档解析、API工具调用等模块，验证协同稳定性；
✅ 生态适配场景：对接企业现有OA、CRM、知识库系统后，模型输出格式、权限校验、数据脱敏是否仍严丝合缝。

九蚂蚁的做法：把“测试”变成“预演”

很多团队把可扩展性测试当成一道关卡，而我们在项目早期就把它嵌进开发节奏里——用真实业务数据构造渐进式压测路径，用备案倒逼架构升级。不是为应付检查，而是让模型真正长出应对增长的筋骨。

说白了，备案不是终点，而是你模型能否真正走进业务深水区的第一张通行证。
可扩展性，测的从来不是代码，而是你对业务未来的诚意和准备。