論文の概要: DyaPlex: Full-Duplex Speech-Motion Model for Dyadic Interaction

• arxiv url: http://arxiv.org/abs/2606.03874v1
• Date: Tue, 02 Jun 2026 16:42:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-03 22:00:05.170515
• Title: DyaPlex: Full-Duplex Speech-Motion Model for Dyadic Interaction
• Title（参考訳）: DyaPlex:Dyadicインタラクションのためのフルダブルプレクサ音声移動モデル
• Authors: Koki Nagano, Hongyu Liu, Seonwook Park, Tianye Li, Amrita Mazumdar, Christian Jacobsen, Shengze Wang, Michael Stengel, Rajarshi Roy, Ka Chun Cheung, Simon See, Shalini De Mello,
• Abstract要約: 連続した相互通信を捉えるため、このモデルはストリーミング方式で音声と音声の両方の物理運動を同時に生成・生成する。 統合された二進的トークンインターリーブ機構を導入し、相互注意を導くことにより、本モデルでは、自己回帰と潜在リッチ音声特徴とを効果的に一致させる。 本モデルでは, 相互依存関係を効果的に把握し, モナディック, ディヤディックの両人間のインタラクションベンチマークにまたがって, 新たな最先端性能を確立する。
• 参考スコア（独自算出の注目度）: 41.29236046858134
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present DyaPlex, a streaming, full-duplex speech-and-motion model designed for dyadic interaction. To capture the continuous and reciprocal nature of human communication, this full-duplex capability empowers the agent to simultaneously perceive and generate both speech and physical motion in a streaming fashion. At its core, our method leverages the strong priors of a foundational full-duplex speech model and integrates a novel motion pathway, thereby achieving fully synchronized multi-modal interaction. Specifically, we design a dual-tower Transformer architecture that preserves the zero-shot conversational reasoning of a frozen base speech model while constructing a deeply coupled, streaming motion pathway. By introducing a unified dyadic token interleaving mechanism and guiding cross-attention via a time-aligned speech-motion RoPE, our model effectively aligns autoregressive motions with rich latent speech features. Trained on the 4,000-hour Seamless Interaction dataset, our model effectively captures cross-speaker dependencies and establishes new state-of-the-art performance across both monadic and dyadic human interaction benchmarks.
• Abstract（参考訳）: DyaPlexは、Dyadicインタラクション用に設計された、ストリーミングでフル2倍の音声と動きのモデルである。 人間のコミュニケーションの連続的かつ相互的な性質を捉えるために、このフルデュプレックス機能は、エージェントが同時に、ストリーミング方式で音声と物理の両方を知覚し、生成することを可能にする。 本手法は,基本的全二重音声モデルの強みを生かし,新しい動作経路を統合することにより,完全に同期されたマルチモーダル相互作用を実現する。 具体的には、深く結合されたストリーミング動作経路を構築しながら、凍結ベース音声モデルのゼロショット会話推論を保存するデュアルトウワートランスフォーマーアーキテクチャを設計する。 統合されたダイアディックトークンインターリービング機構を導入し、タイムアラインな音声移動RoPEを介して、クロスアテンションを導くことにより、我々のモデルは、自己回帰動作とリッチな潜在音声特徴とを効果的に整合させる。 4000時間のSeamless Interactionデータセットに基づいて、我々のモデルは、効果的に話者間の依存関係をキャプチャし、モナディックとダイアディックの両方の人間のインタラクションベンチマークで新しい最先端のパフォーマンスを確立する。

関連論文リスト

• Beyond Monologue: Interactive Talking-Listening Avatar Generation with Conversational Audio Context-Aware Kernels [26.18760496276335]
  対話型仮想エージェントを開発し、会話と聴取の両方に双方向の音声入力を同時に処理する。 我々の手法は文脈意味論と強い時間的アライメントを融合させ、非常に自然で応答性の高い対話型デジタル人間を生成するための新しい最先端技術を構築した。
  論文  参考訳（メタデータ） (2026-04-11T22:34:21Z)
• InterDyad: Interactive Dyadic Speech-to-Video Generation by Querying Intermediate Visual Guidance [20.740979380270126]
  対話型ダイアディック力学の合成フレームワークであるInterDyadを提案する。 我々はまず、参照ビデオから抽出されたアイデンティティ非依存の動作先に基づいて、ビデオの再現を実現するInteractiveを設計する。 MLLM(Multimodal Large Language Model)を利用して,音声から言語意図を抽出し,反応の正確なタイミングと適切性を決定する。 包括的実験により、InterDyadは、自然と文脈的に基底付けられた2人のインタラクションを生成において、最先端の手法を著しく上回っていることが示された。
  論文  参考訳（メタデータ） (2026-03-24T12:27:52Z)
• Talking Together: Synthesizing Co-Located 3D Conversations from Audio [21.481529577056904]
  混合オーディオストリームから2人の対話的かつ協調的な参加者を対象に,完全な3D顔アニメーションを作成するという課題に対処する。 我々の研究は、現実的な対人対話に欠かせない3次元空間関係をモデル化する最初のものである。 本手法は,VRおよびテレプレゼンスにおける没入型アプリケーションに適した流動的,制御可能,空間的に認識されたダイアディックアニメーションを生成する。
  論文  参考訳（メタデータ） (2026-03-09T17:46:52Z)
• U-Mind: A Unified Framework for Real-Time Multimodal Interaction with Audiovisual Generation [48.6868174403074]
  我々は,高知能マルチモーダル対話のための最初の統一システムであるU-Mindを紹介する。 リアルタイム生成と共同モデル言語、音声、モーション、ビデオ合成をサポートする。 U-Mindは様々なマルチモーダルインタラクションタスクにおいて最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2026-02-27T07:07:02Z)
• Interact2Ar: Full-Body Human-Human Interaction Generation via Autoregressive Diffusion Models [80.28579390566298]
  テキスト条件付き自己回帰拡散モデルであるInteract2Arを導入する。 ハンドキネマティクスは専用のパラレルブランチを通じて組み込まれ、高忠実度フルボディ生成を可能にする。 我々のモデルは、時間的動きの合成、外乱へのリアルタイム適応、ディヤディックからマルチパーソンシナリオへの拡張など、一連のダウンストリームアプリケーションを可能にする。
  論文  参考訳（メタデータ） (2025-12-22T18:59:50Z)
• End-to-end Listen, Look, Speak and Act [22.047534228540783]
  ELLSAは、より自然で一般的な対話型人工知能への一歩であり、人工知能の幅広い追求に寄与している。 中心となるのはSA-MoE(Attention Mixture-of-Experts)で、それぞれのモダリティを専門の専門家にルーティングすることで、統一された注意バックボーンを通じてそれらを融合させる。
  論文  参考訳（メタデータ） (2025-10-19T08:45:46Z)
• FLEXI: Benchmarking Full-duplex Human-LLM Speech Interaction [49.83226596963294]
  音声とコンピュータの対話によりリアルタイム音声対話システムを実現する。 これらのモデルのモデリングとベンチマークは、依然として根本的な課題である。 フルヒューマン音声対話のための最初のベンチマークであるFLEXIを紹介する。
  論文  参考訳（メタデータ） (2025-09-26T11:57:42Z)
• AsynFusion: Towards Asynchronous Latent Consistency Models for Decoupled Whole-Body Audio-Driven Avatars [71.90109867684025]
  全体オーディオ駆動型アバターポーズと表現生成は、生命に似たデジタル人間を作るための重要なタスクである。 本稿では,拡散変換器を応用し,結合表現とジェスチャ合成を実現する新しいフレームワークAsynFusionを提案する。 AsynFusionは、リアルタイムで同期された全身アニメーションを生成する際に最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-05-21T03:28:53Z)
• It Takes Two: Real-time Co-Speech Two-person's Interaction Generation via Reactive Auto-regressive Diffusion Model [34.94330722832987]
  会話中の2文字の動的動きを合成するための音声駆動自動回帰システムを提案する。 我々の知る限りでは、オンライン方式で2文字の対話型フルボディモーションを生成できる最初のシステムである。
  論文  参考訳（メタデータ） (2024-12-03T12:31:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。