論文の概要: CoCode-World: Shared 3D Proxy Representation for Multi-Player World Models
- arxiv url: http://arxiv.org/abs/2611.15602v1
- Date: Wed, 11 Nov 2026 15:19:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.18109
- Title: CoCode-World: Shared 3D Proxy Representation for Multi-Player World Models
- Title(参考訳): CoCode-World: マルチプレイヤーワールドモデルのための共有3Dプロキシ表現
- Abstract要約: ビデオ生成のための共有3DプロキシフレームワークであるCoCode-Worldを紹介する。
プレイヤー間で視覚的詳細を調整するために、一貫した空間配置でプロキシビデオ、外観参照、ターゲットビューをペアリングした。
実験では、トレーニング中に見つからないキャラクターやシーンスタイルへの外観移譲、ビデオ品質とクロスビュープレイヤーのアイデンティティの改善が示されている。
- 参考スコア(独自算出の注目度): 69.5185176822234
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multiplayer generative world models must produce observations that agree on shared entities despite different camera motions and occlusions. Explicit world representations provide spatial control, but precise modeling of individual game maps limits scene diversity, while shared geometry alone cannot ensure consistent appearance across views. We present CoCode-World, a shared 3D proxy framework that separates structural control from visual synthesis for two-player video generation. Programmable proxies specify scene layout, motion, and occlusion, while RGB references guide character and scene appearance. To coordinate visual details across players, we concatenate paired proxy videos, appearance references, and target views in a consistent spatial layout and generate both views jointly with a pretrained video model. This formulation uses the model's native attention for cross-view communication within a single generation branch, with LoRA adaptation learning proxy adherence and appearance correspondence from paired observations. We construct a two-player GTA~V dataset that pairs synchronized RGB observations with proxy videos derived from shared map geometry and game-engine state. Experiments demonstrate appearance transfer to characters and scene styles unseen during training, with improvements in video quality and cross-view player identity over the evaluated baseline. Ablations further examine how proxy construction and cross-view communication affect generation. Project page: https://iapple233.github.io/CCW/.
- Abstract(参考訳): マルチプレイヤー生成世界モデルは、異なるカメラモーションとオクルージョンにもかかわらず、共有エンティティに一致する観察結果を生成する必要がある。
明示的な世界表現は空間的制御を提供するが、個々のゲームマップの正確なモデリングはシーンの多様性を制限している。
ビデオ生成のための視覚合成から構造制御を分離する共有3DプロキシフレームワークであるCoCode-Worldを提案する。
プログラム可能なプロキシはシーンレイアウト、モーション、オクルージョンを指定し、RGBはガイド文字とシーン外観を参照する。
プレイヤー間の視覚的詳細をコーディネートするために、一貫した空間配置でペア化されたプロキシビデオ、外観参照、ターゲットビューを結合し、事前訓練されたビデオモデルと組み合わせて両方のビューを生成する。
この定式化は、LoRA適応学習プロキシアテンデンスと対の観測からの出現対応を伴い、単一世代内のクロスビュー通信にモデルのネイティブアテンションを用いる。
共有マップ形状とゲームエンジン状態から生成したプロキシビデオと、RGB観測を同期させた2プレイヤーGTA~Vデータセットを構築した。
実験では、トレーニング中に見えないキャラクターやシーンスタイルへの外観の移動を示し、評価ベースラインよりもビデオ品質とクロスビュープレイヤーのアイデンティティが改善された。
プロキシ構築とクロスビュー通信が生成にどのように影響するかをさらに調査する。
プロジェクトページ: https://iapple233.github.io/CCW/。
関連論文リスト
- RGraph-Eval: Task-Grounded Scene Graphs for Evaluating Robot Video Generation [37.989689183526565]
RGraph-Evalは、タスクグラウンドの時間シーングラフを通じて、相違を明示するフレームワークである。
我々は,タスクエンティティ,インタラクション,動作を,統一的で解釈可能なシーングラフ表現内に整理する。
マルチモーダル表現を付加した10のShareRobotソースからの1,000の操作シーンのコレクションであるShareRobot-SGについても紹介する。
論文 参考訳(メタデータ) (2026-10-22T11:39:01Z) - PAWA: Panoramic Action-conditioned World Modeling for Multiple Agents [95.66215360606053]
動作条件付きパノラママルチプレイヤーワールドモデリングのためのデータセットとフレームワークであるPAWAを提案する。
データセットは、各プレーヤーのPOVビデオと、世界安定化されたパノラマビデオとアライメントされたアクションとをペアリングする。
実験により、PAWAはPOV予測品質において最先端のマルチプレイヤー世界モデルより優れていることが示された。
論文 参考訳(メタデータ) (2026-10-14T14:17:23Z) - PROWBench: Do Video Models Render What the Program Specifies? [32.83238556974147]
本稿では,170の特定エピソードと600のプロキシビデオからなるPROWBenchを紹介する。
PROWBenchは、カメラのフィールドビュー外のものを含むエンティティ状態とタイムスタンプイベントを再生可能なワールドレコードとして記録し、そこから同期表現を描画する。
タイムスタンプ付きエンジン記録イベントの,エンティティ制御,長期記憶,所定のタイムラインへの付着性,および視覚的実現性を評価する。
論文 参考訳(メタデータ) (2026-10-01T17:59:53Z) - CommonScenes: Generating Commonsense 3D Indoor Scenes with Scene Graph
Diffusion [83.30168660888913]
シーングラフを対応する制御可能な3Dシーンに変換する完全生成モデルであるCommonScenesを提案する。
パイプラインは2つのブランチで構成されており、1つは変分オートエンコーダでシーン全体のレイアウトを予測し、もう1つは互換性のある形状を生成する。
生成されたシーンは、入力シーングラフを編集し、拡散モデルのノイズをサンプリングすることで操作することができる。
論文 参考訳(メタデータ) (2023-05-25T17:39:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。