D2: High-Capability Full-Duplex Spoken Language Models from Half-Duplex Backbones
Abstractの概要
本論文では、事前学習済みの半二重（half-duplex）音声言語モデルを、細かい時間粒度で同時に対話の聞き取りと発話が可能な全二重（full-duplex）モデルへと変換するフレームワーク「Dialogue-to-Duplex（D2）」を提案しています。本手法は、元の音声エンコーダを低遅延なチャンク推論に適応させるデコーダフリーのストリーミングエンコーダ蒸留と、割り込み処理やターンテイク制御を学習するための時間整合された二重対話シーケンスに基づく教師ありファインチューニングの2つの主要ステージから構成されます。著者らはD2をQwen3-OmniおよびLLaMA-Omni 2に適用し、チャンクサイズが応答性、維持される汎用能力、計算コストに与える影響を体系的に調査しました。実験結果は、D2がバックボーンモデルの音声言語能力の多くを維持しつつ、リアルタイムで高精度なターンテイクと割り込み挙動を実現できることを示しています。
新規性
本研究の際立った貢献は、ストリーミング適応に元の学習デコーダや文字起こしラベルを必要とせず、表現蒸留を用いる実用的な半二重から全二重への変換フレームワークを提案した点にあります。また、小さなチャンクサイズによるきめ細かい全二重動作を重視し、インタラクション品質、能力維持、推論効率にわたるチャンクサイズのトレードオフを体系的に分析した点も新規性として挙げられます。
成果
更新レート12.5 Hz（80 msチャンク）のQwen3-Omniにおいて、D2は99.2%のターンテイク成功率、99.5%の割り込み成功率、521 msのターンテイク遅延、403 msの割り込み遅延、および70.1のVoiceBenchスコアを達成しました。テストされたチャンクサイズ全体で、Qwen3-Omni-D2は評価された全二重モデルの中で最も優れたVoiceBench結果を記録し、単一のRTX PRO 6000 GPU上でリアルタイム推論が可能であることが示されました。さらにアブレーション実験により、ステージIのエンコーダ適応が応答品質と能力維持を向上させ、制御信号の重み付けがターン制御を実質的に支えていることが明らかになりました。
論文の注目点
- D2は、ストリーミングエンコーダ蒸留と全二重教師ありファインチューニングを通じて、強力な半二重音声言語バックボーンを全二重システムへと変換する。
- 本手法はQwen3-OmniとLLaMA-Omni 2の双方で実証されており、チャンクサイズが遅延、ポーズ処理、能力維持を調整する重要な制御ノブとして機能する。
- Qwen3-Omni-D2は、リアルタイムで動作しながら、ほぼ完璧なターンテイク率と割り込み率を達成し、評価された全二重ベースラインの中で最高水準のVoiceBench性能を示した。