論文の概要: Duo: A Reciprocal World Model for Full-Duplex Interaction
- arxiv url: http://arxiv.org/abs/2611.15131v1
- Date: Wed, 11 Nov 2026 07:17:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.072578
- Title: Duo: A Reciprocal World Model for Full-Duplex Interaction
- Title(参考訳): Duo: 完全な二重相互作用のための相互的世界モデル
- Abstract要約: Duo v1はReciprocal World Model (RW)であり、現在のDuo v1 World Model (RWM)である。
どちらのモジュールも、リアルタイムのオーディオビデオとテキストを継続的に知覚し、自発的な会話や中断とフルタイムの対話を可能にする。
会話以外にも、ユーザーは実際のオブジェクトを共有したり、仮想シーンをリフォームしたり、ガイドアシスタントを作ったり、マウスやキーボードを使わずにオーディオヴィジュアルゲームをすることができる。
- 参考スコア(独自算出の注目度): 38.09805881163975
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this report, we introduce the Reciprocal World Model (RWM) and present Duo v1, a full-duplex world model that continuously perceives audiovisual inputs while responding to users in real time. The RWM treats intelligence and physical reality as equally fundamental to what constitutes a world. Existing world models largely focus on simulating the latter, leaving reasoning and decision-making as external controls rather than intrinsic parts of the world itself. In RWM, we identify two equally fundamental capabilities: Intent, which provides the cognition underlying world interactions, and Realization, which generates coherent audio-visual behavior. To realize this formulation, Duo v1 introduces three key technical designs: (1) Leveraging autoregressive modeling for continuous interaction reasoning and participation decisions, rather than restricting it to instruction understanding for diffusion models. (2) Constructing chunk-specific conditions and synchronize tokens across Intent and Realization on a unified timeline. Module-specific attention masks enforce causal dependencies both within and across chunks, preventing access to future inputs. (3) Mitigating distribution shift in both modules through dual rollout distillation, training on autoregressively generated Intent tokens and synthesized audiovisual histories from Realization. Both modules continuously perceive real-time audio, video, and text, enabling full-duplex interaction with spontaneous conversations and interruptions. Beyond conversation, users can share real objects, reshape virtual scenes, guide assistants, or play audiovisual games without mouse or keyboard controls. The release of Duo v1 makes our first step, with the next version coming soon. We look forward to broader exploration of this emerging field.
- Abstract(参考訳): 本稿では,RWM(Reciprocal World Model)とDuo v1を紹介する。
RWMは、インテリジェンスと物理的な現実を、世界を構成するものに等しく基本的なものとして扱う。
既存の世界モデルは、主に後者をシミュレートすることに集中しており、推論と意思決定は、世界の本質的な部分ではなく、外部の制御として残されている。
RWMでは、世界相互作用の根底にある認識を提供するIntentと、コヒーレントな音声視覚行動を生成するRealizationの2つの基本的機能を特定している。
この定式化を実現するために、Duo v1は3つの重要な技術設計を導入した。 1) 拡散モデルに対する命令理解を制限するのではなく、連続的な相互作用推論と参加決定のための自己回帰モデリングを活用する。
2) チャンク固有の条件を構築し,Intent と Realization を統一したタイムライン上で同期する。
モジュール固有のアテンションマスクは、チャンク内とチャンク間の因果依存性を強制し、将来のインプットへのアクセスを阻止する。
(3) 二重ロールアウト蒸留による両モジュールの分布変化の緩和, 自己回帰生成したIntentトークンの訓練, およびRealizationからのオーディオビジュアルヒストリーの合成。
両方のモジュールは、リアルタイムオーディオ、ビデオ、テキストを継続的に知覚し、自発的な会話や中断と完全な二重の相互作用を可能にする。
会話以外にも、ユーザーは実際のオブジェクトを共有したり、仮想シーンをリフォームしたり、アシスタントを誘導したり、マウスやキーボードコントロールなしでオーディオヴィジュアルゲームをプレイすることができる。
Duo v1のリリースは、私たちの最初のステップとなり、次のバージョンが近くリリースされる。
この新興分野の広範な探索を楽しみにしています。
関連論文リスト
- JoyAI-VL-Interaction: Real-Time Vision-Language Interaction Intelligence [53.427969116091184]
8Bスケールの視覚優先型VL-インタラクションモデルであるJoyAI-VL-Interactionをリリースする。
応答を内部で決定し、各秒を選択して、沈黙を維持したり、応答したり、バックグラウンドモデルに委譲したりする。
これは、トレーニングレシピ、データ、完全なデプロイ可能なシステムとともにリリースされた最初のオープンなビジョン駆動インタラクションモデルである。
論文 参考訳(メタデータ) (2026-06-10T03:43:50Z) - MiniCPM-o 4.5: Towards Real-Time Full-Duplex Omni-Modal Interaction [76.4461698685681]
Mini-o 4.5は、人間レベルのリアルタイムストリーミングインタラクションに向けた最新の取り組みです。
Omni-CPMは、オムニモードの知覚と出力を共有時間軸に沿って整列する統合ストリーミングフレームワークである。
合計9Bパラメータで、Mini-o 4.5は視力計算能力においてGemini 2.5 Flashにアプローチし、最先端のオープンな計算性能を提供する。
論文 参考訳(メタデータ) (2026-04-30T04:05:43Z) - MoshiRAG: Asynchronous Knowledge Retrieval for Full-Duplex Speech Language Models [62.05118198431989]
非同期のフル音声モデルは、AI停止のフルタイムの対話性と自然な性質によって区別される。
本フレームワークは,外部情報における知識要求型対話クエリと接地応答の同定を可能にする。
本設計では,再学習を伴わないプラグ・アンド・プレイ検索手法をサポートし,アウト・オブ・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー
論文 参考訳(メタデータ) (2026-04-14T16:17:52Z) - Causal World Modeling for Robot Control [56.31803788587547]
ビデオワールドモデルは、アクションと視覚力学の因果関係を理解することによって、近い将来に想像できる能力を提供する。
本稿では,フレーム予測とポリシ実行を同時に学習する自動回帰拡散フレームワークLingBot-VAを紹介する。
シミュレーションベンチマークと実世界のシナリオの両方でモデルを評価したところ、長距離操作、ポストトレーニングにおけるデータ効率、新しい構成への強力な一般化性などに大きな可能性を示唆している。
論文 参考訳(メタデータ) (2026-01-29T17:07:43Z) - RoboEgo System Card: An Omnimodal Model with Native Full Duplexity [48.52383812141669]
RoboEgo (別名:FLM-Ego)は、両方の課題に対処するために設計された統一モデルシステムである。
FLM-Egoにはバックボーンとアルゴリズムが組み込まれており、80ミリ秒のレイテンシの理論的二重化を実現している。
論文 参考訳(メタデータ) (2025-06-02T17:53:10Z) - Mini-Omni2: Towards Open-source GPT-4o with Vision, Speech and Duplex Capabilities [0.0]
Mini-Omni2はヴィソインとオーディオクエリにリアルタイム、エンドツーエンドの音声応答を提供するビジュアルオーディオアシスタントである。
限られたデータセットでトレーニングした後、言語モデルでマルチモーダル入力と出力を処理できる3段階のトレーニングプロセスを提案する。
論文 参考訳(メタデータ) (2024-10-15T02:10:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。