論文の概要: Synchronization and Turn-Taking in Full-Duplex Speech Dialogue Models
- arxiv url: http://arxiv.org/abs/2605.20356v1
- Date: Tue, 19 May 2026 18:11:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-21 19:19:56.31195
- Title: Synchronization and Turn-Taking in Full-Duplex Speech Dialogue Models
- Title（参考訳）: 全二重音声対話モデルにおける同期とターンタイキング
- Abstract要約: 完全な音声対話モデルは、ターンベースシステムよりも人間の会話に近い声を同時に話すことができる。
本研究では,人間のコミュニケーションにおいて,ニューラルカップリングを用いた内部相互作用を協調するモデルを提案する。
雑音のない条件下では強い表現同期が得られ、ラグはゼロに近づき、ノイズは劣化する。
- 参考スコア（独自算出の注目度）: 3.5946669116828134
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Full-duplex spoken dialogue models (SDMs) can listen and speak simultaneously, enabling interaction dynamics closer to human conversation than turn-based systems. Inspired by neural coupling in human communication, we study how such models coordinate their internal representations during interaction. We simulate full-duplex dialogues between two instances of the pretrained \textit{Moshi} model under controlled conditions, manipulating channel noise and decoding bias. Synchronization is measured using Centered Kernel Alignment (CKA) across temporal lags, while anticipatory turn-taking cues are probed from delayed internal activations using causal LSTM models, from both speaker and listener perspectives. We find strong representational synchronization under no noise conditions, peaking near zero lag and degrading with noise, and we show that internal states encode anticipatory information that supports turn-taking prediction ahead of time.
- Abstract（参考訳）: 全二重音声対話モデル(SDM)は、ターンベースシステムよりも人間の会話に近いインタラクションダイナミクスを可能にする。
人間のコミュニケーションにおけるニューラルカップリングに触発されて、そのようなモデルが相互作用中の内部表現をどのように調整するかを考察する。
制御条件下での事前学習された \textit{Moshi} モデルの2つのインスタンス間の全二重対話をシミュレートし、チャネルノイズと復号バイアスを操作する。
シンクロナイゼーションはCKA(Central Kernel Alignment)を用いて時間ラグを横断して測定する一方、話者とリスナーの両方の観点から、因果LSTMモデルを用いて遅延内部の活性化から予測的なターンテイク手がかりを探索する。
ノイズ条件のない強い表現同期,ゼロラグ付近のピーク,ノイズによる劣化などを見いだし,事前のターンテイク予測を支援する予測情報を内部状態にエンコードしていることを示す。
関連論文リスト
- Overcoming State Inertia in Full-Duplex Spoken Language Models via Activation Steering [87.43777061308658]
フル音声言語モデル(FDSLM)における予測行動の解析
FDSLMは、モデル出力生成に整合した生成状態と、ユーザ入力に整合した知覚状態の2つの状態間の内部焦点を動的に変調する。
ユーザ中断中は、モデルが知覚状態に遷移する前に生成状態に対して過渡的に偏りを保ち、入力の開始を逃す。
論文 参考訳（メタデータ） (2026-06-09T19:08:07Z) - Multi-Faceted Interactivity Alignment in Full-Duplex Speech Models [53.470209949659115]
RLによる全音声対話モデルを改善する訓練後アライメント手法を提案する。
対話性の4つの標準軸(ターンテイキング、バックチャネル一時停止、ユーザ中断)に対処する。
応答品質に対する追加ベースの報酬は、セマンティックな劣化を防ぐ。
論文 参考訳（メタデータ） (2026-06-09T17:46:55Z) - U-Mind: A Unified Framework for Real-Time Multimodal Interaction with Audiovisual Generation [48.6868174403074]
我々は,高知能マルチモーダル対話のための最初の統一システムであるU-Mindを紹介する。
リアルタイム生成と共同モデル言語、音声、モーション、ビデオ合成をサポートする。
U-Mindは様々なマルチモーダルインタラクションタスクにおいて最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2026-02-27T07:07:02Z) - Chronological Thinking in Full-Duplex Spoken Dialogue Language Models [66.84843878538207]
時系列思考は、完全なSDLMの応答品質を改善することを目的としている。
追加のレイテンシがない: ユーザが話すのをやめると、エージェントは考えるのをやめ、それ以上の遅延なしに話し始める。
結果: 客観的指標と人的評価の両面から, 時系列思考の有効性を示す実験を行った。
論文 参考訳（メタデータ） (2025-10-02T10:28:11Z) - FLEXI: Benchmarking Full-duplex Human-LLM Speech Interaction [49.83226596963294]
音声とコンピュータの対話によりリアルタイム音声対話システムを実現する。
これらのモデルのモデリングとベンチマークは、依然として根本的な課題である。
フルヒューマン音声対話のための最初のベンチマークであるFLEXIを紹介する。
論文 参考訳（メタデータ） (2025-09-26T11:57:42Z) - From Turn-Taking to Synchronous Dialogue: A Survey of Full-Duplex Spoken Language Models [12.741006204459637]
フルデュープレックス音声通信は、自然なターンテイク、重複する音声、中断と同時聴取と会話を可能にする。
本調査はFD-SLM(Full-Duplex Spoken Language Models)を包括的にレビューする。
同期データの不足、アーキテクチャのばらつき、評価ギャップなど、基本的な課題を特定します。
論文 参考訳（メタデータ） (2025-09-18T01:00:58Z) - Full-Duplex-Bench: A Benchmark to Evaluate Full-duplex Spoken Dialogue Models on Turn-taking Capabilities [93.09944267871163]
FullDuplexBenchは、重要なインタラクティブな振る舞いを体系的に評価するベンチマークである。
ベンチマークコードを公開することによって、音声対話モデリングの進歩と、より自然で魅力的なSDMの開発を目指しています。
論文 参考訳（メタデータ） (2025-03-06T18:59:16Z) - Yeah, Un, Oh: Continuous and Real-time Backchannel Prediction with Fine-tuning of Voice Activity Projection [24.71649541757314]
yeah"や"oh"といった短いバックチャネルの発話は、スムーズでエンゲージメントな対話を促進する上で重要な役割を担っている。
本稿では,微調整音声活動予測モデルを用いて,リアルタイムかつ連続的なバックチャネル予測を行う手法を提案する。
論文 参考訳（メタデータ） (2024-10-21T11:57:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。