論文の概要: SteerDuplex: Steerable Duplex Speech Dialogue Models
- arxiv url: http://arxiv.org/abs/2609.12623v1
- Date: Fri, 11 Sep 2026 09:22:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-15 07:38:31.695164
- Title: SteerDuplex: Steerable Duplex Speech Dialogue Models
- Title（参考訳）: SteerDuplex:Steerable Duplex Speech Dialogue Models
- Abstract要約: 音声対話モデルは、指示、発声、推論、対話を対象とする自然な会話や合成対話を微調整する。
2段階強化学習(RL)とハイブリッド報酬を併用し、検証可能な相互作用チェックと判断に基づくフィードバックを組み合わせて応答継続性を向上させる。
さらにRLはソースクリーン割り込み反応を72.5%から82.5%に引き上げ、合成停止バージインを26.5%から9%に減少させる。
- 参考スコア（独自算出の注目度）: 47.277615720741046
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Full-duplex spoken dialogue models support low-latency turn taking, interruption handling, and backchanneling, yet a key capability remains underexplored: steerability, the ability to reliably shift conversational behavior along attributes such as tone, persona, speaking rate, and voice style in response to user instructions. We introduce a taxonomy of text- and audio-based steerability that identifies substantial gaps in current full-duplex models. To address this gap, we introduce SteerDuplex, a Moshi-based full-duplex speech model fine-tuned on natural conversations and synthetic dialogues targeting instruction following, vocal delivery, reasoning, and duplex interaction. We further apply two-stage reinforcement learning (RL) with hybrid rewards, combining verifiable interaction checks and judge-based semantic feedback to improve timing and response continuity. To evaluate full-duplex spoken steerability, we introduce SteerBench, a benchmark with 390 spoken prompts and 1,067 human-authored binary audio and text rubrics spanning tone, persona, style/accent, and speed/length. On SteerBench, supervised training improves audio-steering average pass rate by 44.5 percentage points over the strongest evaluated open baseline. On Audio MultiChallenge, task average pass rate improves by 7 points over its strongest evaluated open baseline. RL further raises source-clean interruption response from 72.5% to 82.5% and reduces synthetic pause barge-in from 26.5% to 9%. Steering and aggregate task scores remain comparable or higher, while reward probes reveal reward hacking through incomplete responses. Our model and benchmark support systematic research on spoken steerability, with reward analysis showing why timing gains must be evaluated alongside response completeness.
- Abstract（参考訳）: フルデュープレックス音声対話モデルは低レイテンシのターンテイク、割り込み処理、バックチャネル処理をサポートするが、重要な機能は未探索のままである: ステアビリティ、トーン、ペルソナ、発話速度、音声スタイルなどの属性に沿って会話の振る舞いを確実にシフトできる能力。
そこで本研究では,テキストと音声による聴力の分類を導入し,現行のフルダブルプレックスモデルにおける大きなギャップを識別する。
このギャップに対処するために,モーシをベースとした音声モデルであるSteerDuplexを紹介した。
さらに、2段階強化学習(RL)とハイブリッド報酬を適用し、検証可能なインタラクションチェックと判断に基づくセマンティックフィードバックを組み合わせてタイミングと応答継続性を改善する。
声調,ペルソナ,スタイル/アクセント,速度/長さにまたがる390の音声プロンプトと1,067の人間による2進音声・テキストルックスを備えたベンチマークであるSteerBenchを導入する。
SteerBenchでは、教師付きトレーニングにより、最も評価の高いオープンベースラインに対して、オーディオステアリング平均パスレートが44.5ポイント向上する。
Audio MultiChallengeでは、最も評価の高いオープンベースラインよりもタスク平均パスレートが7ポイント向上している。
さらにRLはソースクリーン割り込み反応を72.5%から82.5%に引き上げ、合成停止バージインを26.5%から9%に減少させる。
ステアリングとアグリゲートのタスクスコアは同等かそれ以上であり、報酬プローブは不完全なレスポンスを通じて報酬のハッキングを明らかにする。
提案モデルとベンチマークは、応答完全性とともにタイミングゲインを評価する必要がある理由を示す報奨分析を用いて、音声の聴取可能性に関する体系的な研究を支援する。
関連論文リスト
- ConversationalVoice: Full-Duplex Speech Data from Real Conversations through Source-Faithful Reconstruction and Conversation-Grounded Expansion [5.90805749495021]
完全な音声モデルは訓練を必要とするが、ノイズの多い現実世界の録音では、話者間で信号が絡み合っている。
安定な話者行動を持つパイプライントラックを提示し、データ特性のみを評価する。
フル-3.2%のモデルトレーニングで 下流での上昇は 今後も続く。
論文 参考訳（メタデータ） (2026-09-08T02:28:43Z) - Multi-Faceted Interactivity Alignment in Full-Duplex Speech Models [53.470209949659115]
RLによる全音声対話モデルを改善する訓練後アライメント手法を提案する。
対話性の4つの標準軸(ターンテイキング、バックチャネル一時停止、ユーザ中断)に対処する。
応答品質に対する追加ベースの報酬は、セマンティックな劣化を防ぐ。
論文 参考訳（メタデータ） (2026-06-09T17:46:55Z) - OmniPro: A Comprehensive Benchmark for Omni-Proactive Streaming Video Understanding [17.161087166882744]
オムニプロ(OmniPro)は、オムニモーダル知覚、プロアクティブ応答、多様なビデオ理解タスクを共同で評価する最初のベンチマークである。
9つのサブタスクと3つの認知レベルにまたがる2,700人の人間認証サンプルで構成されており、6つの基本的なビデオ理解機能を含んでいる。
特に、サンプルの84%は音声信号(音声または非音声)を必要とし、各サンプルは、微細なマルチモーダル解析を可能にするために、モダリティ・アイソレーションラベルで注釈付けされている。
論文 参考訳（メタデータ） (2026-05-18T15:55:22Z) - Covo-Audio Technical Report [61.09708870154148]
7BバックエンドのLALMであるCovo-Audioは、連続的なオーディオ入力を直接処理し、単一の統一アーキテクチャ内でオーディオ出力を生成する。
対話指向の変種であるCovo-Audio-Chatは、意味的に強い会話能力を示す。
論文 参考訳（メタデータ） (2026-02-10T14:31:11Z) - Audio MultiChallenge: A Multi-Turn Evaluation of Spoken Dialogue Systems on Natural Human Interaction [12.216811577733125]
本稿では,E2E音声対話システムを評価するためのオープンソースのベンチマークであるAudio MultiChallengeを紹介する。
そこで我々は,中発音声の補聴とバックトラックに対する頑健さを検査する新軸音声編集手法を提案する。
47の話者と1,712のインスタンス固有のルーリックとの452の会話を、オーディオネイティブエージェントとヒューマンインザループパイプラインのハイブリッドを通じてキュレートする。
論文 参考訳（メタデータ） (2025-12-16T19:26:44Z) - Full-Duplex-Bench: A Benchmark to Evaluate Full-duplex Spoken Dialogue Models on Turn-taking Capabilities [93.09944267871163]
FullDuplexBenchは、重要なインタラクティブな振る舞いを体系的に評価するベンチマークである。
ベンチマークコードを公開することによって、音声対話モデリングの進歩と、より自然で魅力的なSDMの開発を目指しています。
論文 参考訳（メタデータ） (2025-03-06T18:59:16Z) - AIR-Bench: Benchmarking Large Audio-Language Models via Generative Comprehension [95.8442896569132]
AIR-Benchは,Large Audio-Language Models (LALM) の様々な種類の音声信号を理解し,テキスト形式で人間と対話する能力を評価する最初のベンチマークである。
その結果, GPT-4による評価と人間による評価との間には高い一貫性が認められた。
論文 参考訳（メタデータ） (2024-02-12T15:41:22Z) - Duplex Conversation: Towards Human-like Interaction in Spoken Dialogue
System [120.70726465994781]
マルチモーダル音声対話システムにより、電話ベースのエージェントが、人間のような顧客と対話できる。
製品で学んだ教訓を共有するために、Conversation Duplex Alibabaのインテリジェントなカスタマサービスをデプロイしています。
オンラインA/B実験は,提案システムにおいて応答遅延を50%低減できることを示した。
論文 参考訳（メタデータ） (2022-05-30T12:41:23Z) - WeaSuL: Weakly Supervised Dialogue Policy Learning: Reward Estimation
for Multi-turn Dialogue [17.663449579168297]
エージェントとユーザ(教師付き学習目標を持つエージェントに類似したモデル化)の対話をシミュレートし、相互に対話する。
エージェントは動的ブロッキングを使用して、ランク付けされた多様な応答と探索-探索を生成し、トップK応答の中から選択する。
2つのベンチマークによる実証研究は、我々のモデルが応答品質を著しく上回り、会話の成功につながることを示唆している。
論文 参考訳（メタデータ） (2021-08-01T08:00:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。