HEAR Who Said What: Unlocking Speaker-Attributed Reasoning via Counterfactual Voice Grounding
Abstractの概要
本論文では、音声言語モデルが複数話者の音声において誰が何を言ったかを正確に特定し、話者同一性に基づいて推論できるかを調査しています。著者らは、887件の実世界音声クリップから得られた2,400件の人手検証済み多肢選択サンプルで構成され、識別、帰属、推論タスクを網羅する話者帰属型推論の階層的ベンチマーク「HEAR」を導入しました。20種類の主要な音声言語モデルを評価した結果、多くのモデルが基礎的な話者帰属タスクで性能が低く、音響的な音声の手がかりではなく意味論的先入観に頼りがちであることが示されました。これに対処するため、話者レベルのハードネガティブを含む6万件規模の反事実的音声データセット「CASH」を構築し、話者タグ付きトランスクリプトを生成した上で推論を行う30Bモデル「A2R」を訓練しました。
新規性
主な新規性は、話者帰属型推論を階層的能力として明示的に位置づけて診断し、新しいHEARベンチマークを通じて具現化した点にあります。また、テキストを維持しつつ話者同一性を入れ替えることで、言語的先入観ではなく音声的証拠への依存をモデルに強制するCASHによる反事実的音声グラウンディングの活用も際立っています。
成果
HEARにおいて、A2Rはオープンソースのベースラインを大幅に上回り、ベースモデルであるQwen3-Omni-30B-A3B-Instructの平均スコア35.4に対して67.1を達成し、意味論的ハルシネーションへの耐性を検証するペア推論精度でもはるかに強力な結果を示しました。さらに、話者帰属が不可欠なタスクにおいてゼロショット転移による性能向上を示し、ベースモデルと比べてWDYLで+36.4、GAOKAOで+22.6、FTSで+19.0の改善を達成しました。これらの向上は人間が録音したバージョンのタスクでも維持され、一般的な2者間対話のVoiceBench評価での性能低下は軽微にとどまりました。
論文の注目点
- HEARは、実世界の音声から得られた人手検証済みサンプルを用い、識別・帰属・推論にわたる複数話者理解を評価するための構造化されたベンチマークを提供する。
- 現在の多くの音声言語モデルは、真の音声に根ざした話者帰属ではなく意味的なもっともらしさから回答することが多いため、推論能力が過大評価されていることを本研究は示している。
- 反事実的データセットCASHを用い転写先行型の目的関数で訓練されたA2Rは、話者を意識した推論を向上させ、人間が録音した音声を含む未知の話者帰属重視タスクにも汎化する。