Audio Interaction Model
Abstractの概要
本論文は、モデルが継続的に音声を聴取し、沈黙を保つか応答するかを決定するストリーミング音声言語セットアップである「Audio Interaction Model」を定式化している。提案システムである「Audio-Interaction」は、ストリーミングネイティブなデータ構築、応答トリガーのためのチャンクレベルのトレーニング、および低遅延デプロイのための非同期FIFOベースの推論を組み合わせたSoundFlowフレームワークを通じて実装されている。この体制をサポートするため、著者らは7つの主要な機能カテゴリと28のサブタスクをカバーする260万アイテム、30.2万時間のコーパス「StreamAudio-2M」を構築し、プロアクティブな音声介入を評価する「Proactive-Sound-Bench」を導入した。本論文は、このセットアップが従来のオフライン音声タスクと、リアルタイムASR、音声指示従順、対話、翻訳、プロアクティブな支援などのストリーミングネイティブな振る舞いを統合するものであると主張している。
新規性
主な新規性は、オフラインの大規模音声言語モデルや単一タスクのストリーミングシステムから、一元化された常時オンの「知覚-決定-応答」音声インタラクションモデルへの移行である。また、本研究はエンドツーエンドのストリーミングフレームワーク（SoundFlow）、大規模なストリーミングネイティブデータセット、およびプロアクティブな音声トリガー応答をテストするために特別に設計されたベンチマークも提供している。
成果
8つのベンチマークにわたり、Audio-Interactionは主要な音声タスクで競争力のあるパフォーマンスを維持しつつ、オフラインシステムにはないストリーミング機能を実現している。音声指示下のMMAUにおいて初期モデルのQwen2.5-Omni-3Bの57.81に対し58.15を達成し、CoVoST2のen-zh/zh-enで55.22/35.21 BLEUを記録、Proactive-Sound-BenchのSingle/Multiティアで61.2/62.8のスコアを獲得した。さらに、FIFO非同期推論設計により聴取再開時の最初のフレーム遅延が短縮され、FIFOなしの831ミリ秒に対し、平均392ミリ秒の最初のチャンク遅延が報告されている。
論文の注目点
- Audio-Interactionは、モデルが沈黙を保つか応答を生成するかを明示的に予測する、継続的なチャンクごとのインタラクションとして音声モデリングを再構築している。
- 本論文は、SoundFlowのトレーニングおよび推論パイプライン、260万アイテムのStreamAudio-2Mコーパス、Proactive-Sound-Benchなど、このセットアップをサポートするインフラストラクチャを導入している。
- 実証的に、モデルは一般的な音声およびスピーチの競争力あるパフォーマンスを維持しながら、リアルタイムの指示従順性、プロアクティブな応答、およびより長いストリームに対する堅牢性を追加している。
参考リンク
- arXiv: https://arxiv.org/abs/2606.05121v1
- Fugu-MT: https://fugumt.com/fugumt/paper_check/2606.05121v1
- Hugging Face Papers: https://huggingface.co/papers/2606.05121
- Hugging Face: https://huggingface.co/datasets/zhifeixie/StreamAudio-2M
- Project: https://xzf-thu.github.io/Audio-Interaction