論文の概要: MagicWorld: Interactive Geometry-driven Video World Exploration

• arxiv url: http://arxiv.org/abs/2511.18886v1
• Date: Mon, 24 Nov 2025 08:41:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-25 18:34:25.112662
• Title: MagicWorld: Interactive Geometry-driven Video World Exploration
• Title（参考訳）: MagicWorld:インタラクティブな幾何学駆動型ビデオワールド探索
• Authors: Guangyuan Li, Siming Zheng, Shuolin Xu, Jinwei Chen, Bo Li, Xiaobin Hu, Lei Zhao, Peng-Tao Jiang,
• Abstract要約: 我々は、3次元幾何学的先行と歴史的検索を統合したインタラクティブなビデオワールドモデルMagicWorldを提案する。 本稿では,Action-Guided 3D Geometry Module (AG3D)を紹介した。 さらに、生成時に関連する履歴フレームを検索し、条件付き信号として注入するHistory Cache Retrieval (HCR) 機構を提案する。
• 参考スコア（独自算出の注目度）: 30.475628938909242
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent interactive video world model methods generate scene evolution conditioned on user instructions. Although they achieve impressive results, two key limitations remain. First, they fail to fully exploit the correspondence between instruction-driven scene motion and the underlying 3D geometry, which results in structural instability under viewpoint changes. Second, they easily forget historical information during multi-step interaction, resulting in error accumulation and progressive drift in scene semantics and structure. To address these issues, we propose MagicWorld, an interactive video world model that integrates 3D geometric priors and historical retrieval. MagicWorld starts from a single scene image, employs user actions to drive dynamic scene evolution, and autoregressively synthesizes continuous scenes. We introduce the Action-Guided 3D Geometry Module (AG3D), which constructs a point cloud from the first frame of each interaction and the corresponding action, providing explicit geometric constraints for viewpoint transitions and thereby improving structural consistency. We further propose History Cache Retrieval (HCR) mechanism, which retrieves relevant historical frames during generation and injects them as conditioning signals, helping the model utilize past scene information and mitigate error accumulation. Experimental results demonstrate that MagicWorld achieves notable improvements in scene stability and continuity across interaction iterations.
• Abstract（参考訳）: 最近のインタラクティブなビデオワールドモデル手法は、ユーザ指示に基づくシーン進化を生成する。 彼らは印象的な結果を得たが、2つの重要な制限が残っている。 第一に、命令駆動のシーンモーションと基礎となる3次元幾何学の対応を十分に活用することができず、視点変化による構造的不安定が生じる。 第2に,複数ステップのインタラクション中に過去の情報を忘れやすく,エラーの蓄積やシーンのセマンティクスや構造が進行する。 これらの課題に対処するため、3次元幾何学的先行と歴史的検索を統合したインタラクティブなビデオワールドモデルMagicWorldを提案する。 MagicWorldは、単一のシーンイメージから始まり、動的なシーンの進化を促進するためにユーザーアクションを使用し、継続的シーンを自動回帰的に合成する。 本稿では,各インタラクションの第1フレームと対応するアクションから点雲を構成し,視点遷移に対する明示的な幾何的制約を与え,構造的整合性を向上させるAction-Guided 3D Geometry Module (AG3D)を提案する。 さらに、生成時に関連する履歴フレームを検索して条件付け信号として注入する履歴キャッシュ検索機構を提案し、過去のシーン情報の利用とエラー蓄積の軽減を支援する。 実験の結果、MagicWorldはシーンの安定性と相互作用イテレーション間の連続性において顕著な改善を達成している。

関連論文リスト

• REACT3D: Recovering Articulations for Interactive Physical 3D Scenes [96.27769519526426]
  REACT3Dは静的な3Dシーンを一貫した幾何学を持つシミュレーション可能なインタラクティブなレプリカに変換するフレームワークである。 室内の様々な場面における検出・分離・調音計測における最先端性能について検討した。
  論文  参考訳（メタデータ） (2025-10-13T12:37:59Z)
• HOSIG: Full-Body Human-Object-Scene Interaction Generation with Hierarchical Scene Perception [57.37135310143126]
  HO SIGは階層的なシーン認識を通じて全体インタラクションを合成するための新しいフレームワークである。 我々のフレームワークは、自己回帰生成による運動長の無制限化をサポートし、手動による介入を最小限に抑える。 この研究は、シーン認識ナビゲーションとデクスタラスオブジェクト操作の間に重要なギャップを埋める。
  論文  参考訳（メタデータ） (2025-06-02T12:08:08Z)
• Dynamic Scene Understanding through Object-Centric Voxelization and Neural Rendering [57.895846642868904]
  オブジェクト中心学習が可能な動的シーンのための3次元生成モデルDynaVol-Sを提案する。 ボキセル化は、個々の空間的位置において、物体ごとの占有確率を推定する。 提案手法は2次元セマンティックな特徴を統合して3次元セマンティック・グリッドを作成し,複数の不整合ボクセル・グリッドを通してシーンを表現する。
  論文  参考訳（メタデータ） (2024-07-30T15:33:58Z)
• Shape of Motion: 4D Reconstruction from a Single Video [42.42669078777769]
  本稿では,世界座標フレーム内の3次元運動軌跡を明示的かつ永続的に特徴付ける,ジェネリックダイナミックシーンの再構築手法を提案する。 まず,コンパクトなSE(3)モーションベースでシーンの動きを表現することで,3次元動作の低次元構造を利用する。 第2に,単眼深度マップや長距離2Dトラックなどの既成データ駆動の先行データを利用して,これらのノイズを効果的に処理する方法を考案する。
  論文  参考訳（メタデータ） (2024-07-18T17:59:08Z)
• Class-agnostic Reconstruction of Dynamic Objects from Videos [127.41336060616214]
  動的オブジェクトをRGBDや校正ビデオから再構成するためのクラスに依存しないフレームワークであるREDOを紹介する。 我々は2つの新しいモジュールを開発し、まず、時間的視覚的手がかりを集約したピクセル整合性を持つ正準4次元暗黙関数を導入する。 第2に、時間的伝播と集約をサポートするためにオブジェクトのダイナミクスをキャプチャする4D変換モジュールを開発する。
  論文  参考訳（メタデータ） (2021-12-03T18:57:47Z)
• Hindsight for Foresight: Unsupervised Structured Dynamics Models from Physical Interaction [24.72947291987545]
  エージェントが世界と対話することを学ぶための鍵となる課題は、オブジェクトの物理的性質を推論することである。 本研究では,ラベルのない3次元点群と画像から直接,ロボットのインタラクションのダイナミクスをモデル化するための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2020-08-02T11:04:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。