論文の概要: Full-Duplex Interaction with Speech, Expressions and Gestures

• arxiv url: http://arxiv.org/abs/2610.21452v1
• Date: Thu, 15 Oct 2026 07:54:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:16.271337
• Title: Full-Duplex Interaction with Speech, Expressions and Gestures
• Title（参考訳）: 音声・表情・ジェスチャーとのフルダブルインタラクション
• Abstract要約: 人間の対面会話は、話すことと聞くことの両方にわたって、スピーチ、ジェスチャー、表現を調整する必要がある。 音声対話とストリーミングジェスチャ生成を協調的に最適化するエンドエンドのフルエンド対話モデル。 自己回帰的、チャンクワイドシンセサイザーは、事前訓練された音響特徴と隠れた発話状態を組み合わせる。
• 参考スコア（独自算出の注目度）: 21.137152704061666
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Human face-to-face conversation requires coordinating speech, gestures and expressions across both speaking and listening. We present ELLSA 2, an end-to-end full-duplex dialogue model that jointly optimizes speech interaction and streaming gesture-expression generation. An autoregressive, chunk-wise synthesizer combines pretrained acoustic features with distinct listening and speaking hidden states from the dialogue backbone and speech synthesizer, enabling continuous non-verbal generation even when the model is verbally silent. To translate dialogue understanding into vivid semantic gestures, we introduce contextual semantic calls and template guidance, separating whether to invoke an available semantic gesture from how to realize it. We also establish a curated data and evaluation pipeline for dialog-aware co-speech gesture generation and investigate reference-based multimodal large language models (MLLMs) as automatic judges. Experiments show that ELLSA 2 remains highly competitive with open-source full-duplex speech interaction models and outperforms cascaded baselines across dialog-aware gesture and expression metrics. Semantic template guidance further significantly improves semantic gesture quality. Strong system-level correlations with human judgments support these reference-based scores as useful preliminary metrics for full-duplex and semantic gesture assessment. Together, these results advance dialogue modeling from spoken responses toward coordinated multimodal interaction.
• Abstract（参考訳）: 対面会話では、会話と聞き取りの両方で、スピーチ、ジェスチャー、表情を調整する必要がある。 本稿では,音声対話とストリーミングジェスチャ表現生成を協調的に最適化する,エンドツーエンドのフル二重対話モデルであるELLSA 2を提案する。 自己回帰的、チャンクワイドシンセサイザは、予め訓練された音響特徴と対話バックボーンと音声シンセサイザとを区別し、モデルが言語的にサイレントであっても連続した非言語生成を可能にする。 対話理解を生き生きとしたセマンティックなジェスチャーに翻訳するために、コンテキストセマンティックな呼び出しとテンプレートのガイダンスを導入し、利用可能なセマンティックなジェスチャーをその実現方法から呼び出すかどうかを区別する。 また,対話対応音声合成のためのキュレートされたデータと評価パイプラインを構築し,参照ベースマルチモーダル大言語モデル(MLLM)を自動判断として検討する。 実験の結果、ELLSA 2はオープンソースの全二重音声対話モデルと高い競争力を保ち、ダイアログ対応のジェスチャーと表現のメトリクスでカスケードベースラインを上回ります。 セマンティックテンプレートガイダンスは、セマンティックジェスチャの品質をさらに向上させる。 人間の判断と強いシステムレベルの相関は、これらの基準ベースのスコアを、フルダブルプレックスおよびセマンティックジェスチャ評価のための有用な予備指標として支持する。 これらの結果は,音声応答から協調したマルチモーダル相互作用への対話モデリングを推し進める。

関連論文リスト

• Conversational Behavior Modeling Foundation Model With Multi-Level Perception [13.659870465634228]
  我々は、Graph-of-Thoughts (GoT)を介して会話行動に対する意図と理由を予測するフレームワークモデルを導入する。 GoTはストリーミング予測を進化グラフとして構成し、トランスフォーマーが次の音声行為を予測することで、その決定に対する簡潔な正当化を生成する。 実験により、このフレームワークは頑健な行動検出を行い、解釈可能な推論連鎖を生成し、完全な二重音声対話システムにおいて会話推論をベンチマークするための基盤を確立する。
  論文  参考訳（メタデータ） (2026-02-11T17:32:52Z)
• Covo-Audio Technical Report [61.09708870154148]
  7BバックエンドのLALMであるCovo-Audioは、連続的なオーディオ入力を直接処理し、単一の統一アーキテクチャ内でオーディオ出力を生成する。 対話指向の変種であるCovo-Audio-Chatは、意味的に強い会話能力を示す。
  論文  参考訳（メタデータ） (2026-02-10T14:31:11Z)
• Aligning Spoken Dialogue Models from User Interactions [55.192134724622235]
  本稿では,ユーザの対話からリアルタイム会話における音声対話モデルを改善するための新しい嗜好アライメントフレームワークを提案する。 AIフィードバックを付加した生のマルチターン音声会話から15万以上の好みペアのデータセットを作成する。 本研究は, 自然なリアルタイム音声対話システムにおいて重要な, 様々な力学におけるバランスの整合性の重要性を浮き彫りにした。
  論文  参考訳（メタデータ） (2025-06-26T16:45:20Z)
• A Multi-view Discourse Framework for Integrating Semantic and Syntactic Features in Dialog Agents [0.0]
  マルチターン対話モデルは,会話の文脈を利用して人間的な応答を生成することを目的としている。 既存の手法はしばしばこれらの発話間の相互作用を無視したり、それら全てを等しく重要なものとして扱う。 本稿では,検索に基づく対話システムにおける応答選択のための談話認識フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-04-12T04:22:18Z)
• Full-Duplex-Bench: A Benchmark to Evaluate Full-duplex Spoken Dialogue Models on Turn-taking Capabilities [93.09944267871163]
  FullDuplexBenchは、重要なインタラクティブな振る舞いを体系的に評価するベンチマークである。 ベンチマークコードを公開することによって、音声対話モデリングの進歩と、より自然で魅力的なSDMの開発を目指しています。
  論文  参考訳（メタデータ） (2025-03-06T18:59:16Z)
• OmniFlatten: An End-to-end GPT Model for Seamless Voice Conversation [53.7173034249361]
  エンド・ツー・エンドのGPTベースモデルであるOmniFlattenは、低レイテンシで自然な会話に固有の複雑な振る舞いを効果的にモデル化することができる。 提案手法は, 簡便なモデリング手法と, より効率的かつ自然な対話システムを構築するための研究の方向性を提供する。
  論文  参考訳（メタデータ） (2024-10-23T11:58:58Z)
• Emphasis Rendering for Conversational Text-to-Speech with Multi-modal Multi-scale Context Modeling [40.32021786228235]
  Conversational Text-to-Speech (CTTS) は、会話設定内で適切なスタイルで発話を正確に表現することを目的としている。 ER-CTTSと呼ばれるCTTSモデルのための新しい強調レンダリング手法を提案する。 データ不足に対処するため、既存の会話データセット(DailyTalk)に強調強調アノテーションを作成します。
  論文  参考訳（メタデータ） (2024-10-12T13:02:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。