StepAudio 3 Realtime

评测与方法

本页说明 StepAudio 3 Realtime 音频理解评测的实际做法，包括模型请求如何构造、各评测集采用什么输入和上下文、开放式回答由谁判分，以及最终分数如何汇总。

音频输入，文本输出 stepaudio-3-chat-preview 采样温度 0.7 最大输出长度 32,000

请求配置

所有评测均使用同一套基础请求

模型统一通过公开的对话补全接口调用。不同评测集只会根据任务需要调整题目、选项和历史上下文的组织方式，不改变模型名称、采样温度和最大输出长度。

POST 接口地址

api.stepfun.com/v1/chat/completions

stepaudio-3-chat-preview 模型

stepaudio-3-chat-preview

0.7 采样温度

所有评测集使用相同的生成温度。

32,000 最大输出长度

该上限同时覆盖模型的推理过程与最终回答。

音频如何进入模型

音频以 Base64 编码写入 input_audio 内容块，并显式声明文件格式。评测程序随后按照具体任务补充题目、选项或多轮历史。模型始终输出文本，判分阶段只使用最终回答，不把音频再次交给文本判官。

01准备音频读取并编码波形

02组织输入加入题目与上下文

03模型推理生成文本回复

04提取回答仅保留最终文本

05完成判分规则或文本判官

chat-completions.json

{
  "model": "stepaudio-3-chat-preview",
  "temperature": 0.7,
  "max_tokens": 32000,
  "messages": [{
    "role": "user",
    "content": [
      {"type": "text", "text": "请描述这段音频。"},
      {
        "type": "input_audio",
        "input_audio": {
          "data": "<base64-audio>",
          "format": "wav"
        }
      }
    ]
  }]
}

评测口径

任务输入、上下文和判分方式

各评测集保留自身的任务定义和主指标。下表重点说明模型实际收到什么内容、是否需要多轮历史，以及最终使用哪一种判分方式。

评测集	模型需要完成的任务	上下文形式	判分模型	主指标
MMSU	根据音频、题目和选项回答多选题	单轮	gpt-oss-120b	准确率
MMAR	结合音频信息完成推理型多选题	单轮	gpt-oss-120b	准确率
MMAU mini	根据音频与题目选择正确答案	单轮	gpt-oss-120b	准确率
Big Bench Audio	听取音频中给出的问题并作答	单轮	gpt-oss-120b	准确率
Audio Multi-Challenge	在多轮音频对话中生成符合评分点要求的回复	多轮	o4-mini	APR / ARS
WildSpeech-Bench	理解长音频中的开放式问题并给出文本回答	问题在音频中	gpt-oss-120b	0–100 分制平均分
Step-Caption	对语音内容、说话方式和背景声音作完整描述	单轮	gpt-oss-120b	总体得分
MTalk-Bench	结合当前音频和历史对话生成下一轮文本回复	多轮	gpt-oss-120b	宏平均通过率

判分方法

判分只使用最终文本回答

模型的音频理解发生在推理阶段。进入判分阶段后，文本判官只接收题目、标准答案或评分规则，以及模型的最终文本回复，不会再次读取原始音频。

文本判官如何使用

通用开放式任务由 gpt-oss-120b 判分，Audio Multi-Challenge 使用 o4-mini。判分请求的采样温度为 0.8，top_p 为 0.9，频率惩罚和存在惩罚均为 0.1。如果判官请求失败、返回为空或结果无法解析，该条结果会先重试补齐，再进入最终汇总。

最终分数如何汇总

每个评测集继续报告自己的原生主指标。多选题统计准确率；Audio Multi-Challenge 报告 APR 和 ARS；WildSpeech-Bench 将 1–10 分的判官结果线性换算到 0–100；MTalk-Bench 先在每条样本内平均各个评分点，再对全部样本等权平均。如需跨评测集合并，先统一到 0–100 分制，再做宏平均，不按样本量加权。

逐集适配

公开接口与各评测集的具体衔接方式

这些处理只用于把公开的音频输入、文本输出接口接入不同任务，不改变评测集提供的标准答案、评分点或核心任务要求。

评测集	请求如何构造	回答如何判分
MMSU / MMAR / MMAU mini	输入官方题目、选项和音频，并补充一句简洁的作答格式要求。	根据官方答案判断语义上是否作答正确。
Big Bench Audio	问题本身已经包含在录音中，请求只在音频后补充固定作答要求。	将模型的开放式文本回答与任务答案进行比对。
Audio Multi-Challenge	保留多轮音频和文本历史，由模型生成最后一轮回复。	沿用评测集的评分点结构，使用 o4-mini 计算 APR 和 ARS。
WildSpeech-Bench	模型直接读取长音频并输出文本，不再额外合成语音。	按评测集检查清单给出 1–10 分，再线性换算到 0–100。
Step-Caption	音频后附加完整描述指令，引导模型用自然语言覆盖所需维度。	文本判官逐项检查描述中是否包含对应信息。
MTalk-Bench	当前轮只输入音频；历史轮使用官方转写文本，并保留模型之前的回复。	语义、副语言和环境音三个子集使用同一套文本评分点判定流程。

MTalk-Bench 的多轮上下文

MTalk-Bench 的当前轮参考转写不会提供给模型，模型只能从当前轮音频中理解用户表达。此前轮次则使用官方转写文本作为历史，其中保留数据集提供的副语言和环境音标注，同时继续带上模型自己在前几轮生成的文本回复。这样既保留多轮对话关系，也避免把当前轮答案直接泄露给模型。语义、副语言和环境音三个子集都采用这一处理方式。

接口说明、技术报告与产品演示

产品主页主要展示模型能力、演示和核心结果；接口文档与技术报告则提供更完整的调用字段、模型架构和实验背景。