論文の概要: EchoWM: Open and Enterable Omnimodal World Models

• arxiv url: http://arxiv.org/abs/2608.23189v1
• Date: Mon, 24 Aug 2026 12:39:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-25 13:29:44.056037
• Title: EchoWM: Open and Enterable Omnimodal World Models
• Title（参考訳）: EchoWM:オープンで参入可能なOmnimodal World Model
• Abstract要約: EchoWMは、入力可能な生成メディアのための一様世界モデルである。 720pのビデオ、環境音、音楽、音声を共同生成しながら、継続的なナビゲーションに反応する。
• 参考スコア（独自算出の注目度）: 71.49148067556887
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present EchoWM, an omnimodal world model for enterable generative media that responds to continuous navigation while jointly generating 720p video, environmental sound, music and speech. We organize interaction around camera intent: in first-person scenes, it specifies observer motion, while in third-person scenes, camera--character dynamics are learned from data without view-specific controllers. Discrete commands and continuous poses are mapped to a shared metric-scale relative 6-DoF trajectory, with dataset-level calibration preserving motion magnitude across heterogeneous data. To jointly learn audio-visual generation and trajectory control, we construct a complementary data engine and adopt progressive training followed by autoregressive post-training for long-horizon generation. Extensive evaluations show that \model achieves strong trajectory following and high visual quality on public world-model benchmarks, supporting both first- and third-person interaction across varied subjects, and maintaining synchronized environmental sound and speech over long-horizon generation.
• Abstract（参考訳）: 720pのビデオ,環境音,音楽,音声を共同生成しながら,連続的なナビゲーションに応答する入力可能な生成メディアのための一様世界モデルであるEchoWMを提案する。 カメラインテントに関するインタラクションを整理する: ファーストパーソナライズされたシーンではオブザーバーの動きが特定され、サードパーソナライズされたシーンでは、ビュー固有のコントローラを使わずに、カメラ特性のダイナミクスがデータから学習される。 離散コマンドと連続ポーズは、異種データ間でのデータセットレベルのキャリブレーションの運動大小を保った共有メトリックスケールの相対6-DoF軌道にマッピングされる。 音声・視覚生成と軌跡制御を共同で学習するために,補完的なデータエンジンを構築し,進行訓練を実践し,その後に長軸生成のための自己回帰後学習を行う。 広汎な評価では, 公的な世界モデルベンチマークにおいて, 強い軌道追従と高い視覚的品質を達成し, 多様な被験者間の一対一の対話と三対三の対話をサポートし, 長期にわたって環境音と音声の同期を維持できることが示されている。

関連論文リスト

• Long-Horizon Audio-Visual Generation for Persistent Stories and Interactive Worlds [60.18437892555415]
  本稿では,2つの目的を持ったオーディオ視覚生成システムであるJoyAI-Echo-1.5を提案する。 この長ビデオ版では、コンポーザブルなクロスショットメモリが導入され、複数の先行ショットと、音声フィルタリングされたフルショットオーディオから派生した話者キューに視覚的エビデンスを集約する。 世界モデルの変種は、不均一なナビゲーション入力を校正されたメートル法6-DoFカメラ軌跡に変換し、幾何学的条件付け経路を介してそれらを注入する。
  論文  参考訳（メタデータ） (2026-08-24T15:31:12Z)
• WorldDirector: Building Controllable World Simulators with Persistent Dynamic Memory [106.28234880163723]
  WorldDirectorは、高度に制御可能なビデオワールドモデルフレームワークである。 我々のフレームワークは、視覚生成から意味的な動きのオーケストレーションを明示的に分離する。 長時間の視界外から再突入しても,動的実体の正確な視覚的アイデンティティを保たせることができた。
  論文  参考訳（メタデータ） (2026-07-02T17:59:59Z)
• MetaWorld: Scaling Multi-Agent Video World Model from Single-view Video Data [125.43597497646444]
  MetaWorldは、マルチエージェントビデオワールドモデルをシングルビュービデオから直接オープンドメイン環境にスケールする新しいフレームワークである。 クロスビューの一貫性とアイデンティティの整合性を向上し、マルチエージェントビデオワールドモデリングのための高度にスケーラブルで物理駆動のパラダイムを確立する。
  論文  参考訳（メタデータ） (2026-06-01T18:20:20Z)
• Causal World Modeling for Robot Control [56.31803788587547]
  ビデオワールドモデルは、アクションと視覚力学の因果関係を理解することによって、近い将来に想像できる能力を提供する。 本稿では,フレーム予測とポリシ実行を同時に学習する自動回帰拡散フレームワークLingBot-VAを紹介する。 シミュレーションベンチマークと実世界のシナリオの両方でモデルを評価したところ、長距離操作、ポストトレーニングにおけるデータ効率、新しい構成への強力な一般化性などに大きな可能性を示唆している。
  論文  参考訳（メタデータ） (2026-01-29T17:07:43Z)
• Astra: General Interactive World Model with Autoregressive Denoising [73.6594791733982]
  Astraはインタラクティブな汎用世界モデルであり、多様なシナリオのために現実世界の未来を生成する。 本稿では,自己回帰型認知型アーキテクチャを提案し,時間的因果的注意を用いて過去の観測を集約する。 Astraはインタラクティブで一貫性があり、一般的な長期的なビデオ予測を実現し、様々な形式のインタラクションをサポートする。
  論文  参考訳（メタデータ） (2025-12-09T18:59:57Z)
• Temporally Consistent Dynamic Scene Graphs: An End-to-End Approach for Action Tracklet Generation [1.6584112749108326]
  TCDSG、Temporally Consistent Dynamic Scene Graphsは、時間を通して対象と対象の関係を検出し、追跡し、リンクするエンドツーエンドのフレームワークである。 私たちの研究は、マルチフレームビデオ分析における新しい標準を設定し、監視、自律ナビゲーションなどにおける、高インパクトなアプリケーションのための新たな道を開く。
  論文  参考訳（メタデータ） (2024-12-03T20:19:20Z)
• A Comprehensive Multi-scale Approach for Speech and Dynamics Synchrony in Talking Head Generation [16.033455552126348]
  マルチスケール音声-視覚同期損失とマルチスケール自動回帰GANを提案する。 マルチモーダル入力ピラミッド上でシンセサイザーモデルのスタックをトレーニングし、これらのモデルをマルチスケールジェネレータネットワークのガイダンスとして利用する。 実験により、頭部運動の動的品質の最先端よりも顕著な改善が示された。
  論文  参考訳（メタデータ） (2023-07-04T08:29:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。