論文の概要: Artemis: Geometry-Grounded Multi-Agent Driving World Models with Shared 3D State and Progressive Memory Update
- arxiv url: http://arxiv.org/abs/2610.07031v1
- Date: Sun, 04 Oct 2026 18:54:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 02:58:29.520169
- Title: Artemis: Geometry-Grounded Multi-Agent Driving World Models with Shared 3D State and Progressive Memory Update
- Title(参考訳): Artemis: 共有された3D状態とプログレッシブメモリを更新したジオメトリグラウンドのマルチエージェント駆動世界モデル
- Abstract要約: メモリ共有を明示する幾何学的マルチエージェント・ワールドモデルであるArtemisを提案する。
明示的な3Dワールドマップは、エージェント間で統一された3D状態を実施するために、マルチエージェント観測から再構成される。
複雑な動的パターンを効果的に捉えるため、我々はCARLAシミュレーターからサンプリングした新しいデータセットをキュレートする。
- 参考スコア(独自算出の注目度): 44.94641200977767
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent video world models have witnessed the paradigm shift from single-agent to multi-agent involvements, which can reveal more complicated dynamics and cross-agent interaction in the real world. However, existing approaches commonly adopt implicit inter-agent communications via cross attention, which lack explicit geometry constraints and unified 3D state, thereby leading to poor multi-view consistency and struggling with recovering out-of-sight agents. In addition, most of them assume a static background, failing to represent uncontrolled background dynamics. To address these problems, we propose Artemis: a geometry-grounded multi-agent world model with explicit memory sharing. An explicit 3D world map is reconstructed from multi-agent observations to enforce a unified 3D state across agents, offering high cross-view consistency. Specifically, an action-guided geometric injection module is developed to simultaneously render decomposed foreground-background control maps, which are then injected into a diffusion transformer through a designed GeoAdapter block. Compared to previous methods assuming static-only background, our GeoAdapter can also distinguish uncontrolled non-agent dynamics, which are conditioned on their own multi-frame history positions to provide consistent motion cues. Keyframes selected from progressive video rollouts are used to progressively update the reconstructed 3D world maps. To effectively capture complex dynamic patterns, we curate a novel dataset sampled from the CARLA simulator called MA-CARLA. Extensive experiments demonstrate the superiority of our proposed method in terms of visual fidelity and cross-view consistency in the generated videos. In addition, our Artemis can support simultaneous multi-modal rollouts with both 2D video and 3D point map maintenance, scale to scenarios beyond two agents and multi-camera setting.
- Abstract(参考訳): 最近のビデオワールドモデルは、シングルエージェントからマルチエージェントへのパラダイムシフトを目撃している。
しかし、既存のアプローチでは、明示的な幾何学的制約や統一された3D状態が欠如しているため、マルチビューの一貫性が低く、視界外エージェントの回復に苦慮しているため、横断的注意による暗黙的なエージェント間通信が一般的である。
さらに、その多くは静的なバックグラウンドを前提としており、制御されていないバックグラウンドのダイナミクスを表現できない。
これらの問題に対処するために,メモリ共有を明示した幾何学的マルチエージェント世界モデルArtemisを提案する。
明示的な3Dワールドマップはマルチエージェント観測から再構築され、エージェント間で統一された3D状態を強制し、高いクロスビュー一貫性を提供する。
具体的には、動作誘導型幾何注入モジュールを開発し、分解された前景の背景制御マップを同時にレンダリングし、設計したGeoAdapterブロックを介して拡散トランスフォーマーに注入する。
我々のGeoAdapterは、静的のみのバックグラウンドを仮定する従来の手法と比較して、制御されていない非エージェントのダイナミクスを区別することができる。
プログレッシブビデオロールアウトから選択されたキーフレームを使用して、再構成された3Dワールドマップを段階的に更新する。
複雑な動的パターンを効果的に捉えるため,MA-CARLAシミュレータから得られた新しいデータセットをキュレートする。
広汎な実験により、生成したビデオにおける視覚的忠実度と相互視の整合性の観点から、提案手法の優位性を実証した。
さらに、我々のArtemisは、2Dビデオと3Dポイントマップのメンテナンス、二つのエージェントを超えるシナリオへのスケーリング、マルチカメラ設定を同時にサポートできます。
関連論文リスト
- USR-Drive: Unified Driving Scene Representation via Joint Denoising of 3D Gaussians and Boxes [57.4583999658488]
自律運転のための空間表現学習は、生の視覚信号を構造化された3次元シーン表現にマッピングすることを目的としている。
既存の方法は動的再構成とインスタンスレベルの認識を別々のタスクとして扱う。
共有シーン表現における高密度な動的幾何とインスタンスレベルのオブジェクトレイアウトを復元する統一条件生成フレームワークUSR-Driveを提案する。
論文 参考訳(メタデータ) (2026-08-19T15:29:06Z) - Prisma-World: Camera-Controllable Multi-Agent Video World Model [67.72842238020192]
カメラ制御可能なマルチエージェントワールドモデルであるPrisma-Worldを紹介する。
マルチエージェント生成を、クロスビュー整合性のためのジョイントジオメトリア・アウェア・デノナイジングプロセスとして定式化する。
実験により, フレキシブルエージェント数を持つ高忠実度マルチエージェント映像を, 1つのPrisma-Worldモデルで生成できることが確認された。
論文 参考訳(メタデータ) (2026-06-08T13:59:50Z) - MetaWorld: Scaling Multi-Agent Video World Model from Single-view Video Data [125.43597497646444]
MetaWorldは、マルチエージェントビデオワールドモデルをシングルビュービデオから直接オープンドメイン環境にスケールする新しいフレームワークである。
クロスビューの一貫性とアイデンティティの整合性を向上し、マルチエージェントビデオワールドモデリングのための高度にスケーラブルで物理駆動のパラダイムを確立する。
論文 参考訳(メタデータ) (2026-06-01T18:20:20Z) - Think, Act, Build: An Agentic Framework with Vision Language Models for Zero-Shot 3D Visual Grounding [34.1504914582344]
3D Visual Groundingは、自然言語記述を通じてオブジェクトを3Dシーンにローカライズすることを目的としている。
生のRGB-Dストリーム上で直接動作する2次元から3次元の再生パラダイムである"Think, Act, Build (TAB)"を提案する。
厳密なVLMセマンティックトラッキングによる多視点カバレッジ障害を克服するために,セマンティックアンコレッド幾何拡張を導入する。
論文 参考訳(メタデータ) (2026-04-01T06:12:16Z) - RAYNOVA: Scale-Temporal Autoregressive World Modeling in Ray Space [51.441415833480505]
RAYNOVAは、二重因果自己回帰フレームワークを使用するシナリオを駆動するための多視点世界モデルである。
相対的なシャーカー線位置符号化に基づいて、ビュー、フレーム、スケールにまたがる等方的時間的表現を構築する。
論文 参考訳(メタデータ) (2026-02-24T08:41:40Z) - DSG-World: Learning a 3D Gaussian World Model from Dual State Videos [14.213608866611784]
本稿では,Dual Stateの観測から3次元ガウス世界モデルを明示的に構築する,新しいエンドツーエンドフレームワークDSG-Worldを提案する。
提案手法は、二分割対応ガウス場を構築し、双方向の測光および意味的整合性を実現する。
論文 参考訳(メタデータ) (2025-06-05T16:33:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。