論文の概要: PAWA: Panoramic Action-conditioned World Modeling for Multiple Agents
- arxiv url: http://arxiv.org/abs/2610.20240v1
- Date: Wed, 14 Oct 2026 14:17:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:16.181735
- Title: PAWA: Panoramic Action-conditioned World Modeling for Multiple Agents
- Title（参考訳）: PAWA:マルチエージェントのためのパノラマ行動条件世界モデリング
- Abstract要約: 動作条件付きパノラママルチプレイヤーワールドモデリングのためのデータセットとフレームワークであるPAWAを提案する。
データセットは、各プレーヤーのPOVビデオと、世界安定化されたパノラマビデオとアライメントされたアクションとをペアリングする。
実験により、PAWAはPOV予測品質において最先端のマルチプレイヤー世界モデルより優れていることが示された。
- 参考スコア（独自算出の注目度）: 95.66215360606053
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A multiplayer world model must predict how the independent actions of several players change a shared environment, including changes outside a player's current field of view. A point-of-view (POV) video captures such changes only after they enter its field of view, whereas panoramic video records the surroundings in every viewing direction and has served as an intermediate representation of the world state in recent world models. Learning this task therefore requires synchronized POV and panoramic videos of interacting players together with their actions, yet no existing dataset provides this combination in Minecraft, an established testbed in which players act independently in a shared, modifiable 3D world. We present PAWA, a dataset and framework for action-conditioned panoramic multiplayer world modeling. The dataset pairs each player's POV video with world-stabilized panoramic video and aligned actions. Its distributed pipeline decouples CPU gameplay capture from GPU rendering, scales beyond 64 simultaneous players, and re-renders each recorded session under new observation configurations without replaying the gameplay. On this dataset, we develop a dual-tower model that jointly predicts POV and panoramic video and couples the two streams through cross-attention that aligns tokens observing the same direction in a shared world frame. We further introduce a quadratic-phase player encoding that provides many more player codes than existing rotary codes at the same embedding dimension. Experiments show that PAWA outperforms state-of-the-art multiplayer world models in POV prediction quality while also producing high-fidelity panoramic predictions. The dataset and collection pipeline are open source to support further research on multiplayer world models.
- Abstract（参考訳）: マルチプレイヤーの世界モデルは、プレイヤーの現在の視野外の変化を含む、複数のプレイヤーの独立したアクションが共有環境をどのように変えるかを予測する必要がある。
視点ビデオ(POV)は、視野に入った後にのみこのような変化を捉え、パノラマビデオは、すべての視野方向の周囲を記録し、近年の世界モデルにおける世界状態の中間表現として機能している。
したがって、このタスクを学習するには、対話するプレイヤーとアクションを同時に同期するPOVとパノラマビデオが必要であるが、既存のデータセットはMinecraftにこの組み合わせを提供していない。
動作条件付きパノラママルチプレイヤーワールドモデリングのためのデータセットとフレームワークであるPAWAを提案する。
データセットは、各プレーヤーのPOVビデオと、世界安定化されたパノラマビデオとアライメントされたアクションとをペアリングする。
分散パイプラインはGPUレンダリングからCPUゲームプレイのキャプチャを分離し、64人の同時プレイヤを超越し、各セッションを新しい観察設定下で再レンダリングする。
このデータセットでは,POVとパノラマ映像を共同で予測し,同じ方向を共有世界フレームで観測するトークンを整列するクロスアテンションを通して2つのストリームを結合する2つのトウワーモデルを構築した。
さらに,同次元の既存の回転符号よりも多くのプレーヤ符号を提供する2相コーデックも導入する。
実験により、PAWAはPOV予測品質において最先端のマルチプレイヤー世界モデルより優れ、高忠実度パノラマ予測も生成することが示された。
データセットとコレクションパイプラインはオープンソースで、マルチプレイヤーの世界モデルに関するさらなる研究をサポートする。
関連論文リスト
- Esports World Model Dataset [50.22757084252763]
EWMは、StarCraft II、Dota 2、Counter-Strike 2にまたがる人間のゲームプレイのコレクションである。
これには4,628のStarCraft IIビュー、303のDota 2マッチの10のビュー、CS2の1ラウンドあたりのビュー最大10のビューが含まれる。
EWMは、共同制御されたマルチプレイヤーの世界モデルと、チームメイトや人間プレイから学んだ対戦者が住む対話環境の研究を支援する。
論文 参考訳（メタデータ） (2026-10-12T04:41:26Z) - WorldCast: Distributed Multiplayer World Models [30.3553182535388]
マルチプレイヤーの世界モデルは、プレイヤーと共有環境の一貫性のある表現で独立して制御されたビューを生成する必要がある。
本稿では,各プレイヤーがビデオジェネレータと状態モデルからなるローカルクライアントを実行する分散マルチプレイヤーワールドモデルWorldCastを提案する。
Counter-Strike 2の実験では、WorldCastの一貫性、リアルタイムパフォーマンス、分散スケーラビリティが実証されている。
論文 参考訳（メタデータ） (2026-10-08T17:49:44Z) - WorldCrafter: Consistent Video World Model with Implicit 3D-aware Memory [60.18419531120148]
我々は、この目的のためにカメラクエリ可能な暗黙的な3Dメモリを学ぶビデオワールドモデルであるWorldCrafterを紹介する。
重要な洞察は、要求された視点をビデオジェネレータの限定トークン予算にマルチビューエビデンスを圧縮する方法を形作ることである。
静的および動的シーンにわたる実験では、長距離一貫性とカメラ制御精度が大幅に向上した。
論文 参考訳（メタデータ） (2026-09-21T17:57:06Z) - Multiplayer Interactive World Models with Representation Autoencoders [28.451678067070777]
複雑な物理的相互作用によって制御される高度に動的な環境に対する最初のマルチプレイヤー世界モデルを導入する。
我々は,この問題をRocket Leagueのゲームで研究し,高速で密結合したダイナミックスの下でプレイヤーが競争し,協力する。
論文 参考訳（メタデータ） (2026-07-06T17:31:52Z) - ActionParty: Multi-Subject Action Binding in Generative Video Games [117.52562594944679]
ActionPartyは、ゲーム生成のための制御可能な多目的世界モデルである。
46の多様な環境において最大7人のプレイヤーを同時に制御できる最初のビデオワールドモデルを実証する。
論文 参考訳（メタデータ） (2026-04-02T17:59:58Z) - Solaris: Building a Multiplayer Video World Model in Minecraft [25.935990718354176]
既存のアクション条件付きビデオ生成モデル(ビデオワールドモデル)は、単一エージェントの視点に限られる。
我々は,一貫したマルチビュー観測をシミュレートするマルチプレイヤービデオワールドモデルSolarisを紹介する。
我々は1264万のマルチプレイヤーフレームを収集し、マルチプレイヤー運動、メモリ、グラウンド、ビルディング、ビュー整合性の評価フレームワークを提案する。
論文 参考訳（メタデータ） (2026-02-25T18:59:01Z) - VideoPanda: Video Panoramic Diffusion with Multi-view Attention [57.87428280844657]
高解像度パノラマビデオコンテンツはバーチャルリアリティーの没入体験にとって最重要であるが、特殊な機器や複雑なカメラのセットアップを必要とするため、収集は容易ではない。
VideoPandaは、既存の方法と比較して、すべての入力条件に対してよりリアルでコヒーレントな360$のパノラマを生成する。
論文 参考訳（メタデータ） (2025-04-15T16:58:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。