論文の概要: Learning the 4D World through Point Trajectory Forecasting
- arxiv url: http://arxiv.org/abs/2610.28594v1
- Date: Tue, 20 Oct 2026 17:45:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-21 21:58:47.955427
- Title: Learning the 4D World through Point Trajectory Forecasting
- Title（参考訳）: 点軌跡予測による4次元世界学習
- Abstract要約: ビデオポイントモデル(VPM)は、任意の視点と永続的なシーンポイントの3次元軌跡から将来の映像を予測する。
生成器にトークンモダリティとしてロボットアクションを追加することにより,VPMをロボット制御に拡張する。
VP-WorldBenchと既存の4D生成ベンチマークでは、点監督はビデオの忠実度と3Dモーションの精度の両方を改善している。
- 参考スコア（独自算出の注目度）: 95.13265640991024
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reliable multi-view forecasting requires videos from different cameras to describe the same evolving 3D scene. To this end, we introduce Video-Point Model (VPM), a world model that conditions on multi-view video histories and a language instruction to jointly forecast future videos from arbitrary viewpoints and the 3D trajectories of persistent scene points. We extend a pretrained world model with camera-conditioned multi-view processing that integrates complementary observations across cameras, and add a trajectory head that predicts how physical points move through time. Each trajectory tracks a single point across all views, and supervising these trajectories alongside video generation therefore anchors appearance changes in every camera to a shared description of 3D motion. To support training and evaluation, we build VPM-Data, a simulation corpus pairing synchronized multi-view videos with persistent point trajectories, and VP-WorldBench, a forecasting benchmark spanning simulated and real environments. We further extend VPM to robot control by adding robot actions as a token modality in the generator. Action tokens share the point-supervised backbone and are denoised jointly with future videos, thereby grounding the policy in the same 3D-aware representation. On VP-WorldBench and existing 4D generation benchmarks, point supervision improves both video fidelity and 3D motion accuracy over a video-only counterpart, and in simulated and real-robot experiments, it also raises the manipulation success of the action-enabled model.
- Abstract（参考訳）: 信頼性の高いマルチビュー予測には、同じ進化する3Dシーンを記述するために、異なるカメラからのビデオが必要である。
この目的のために,多視点映像ヒストリーを前提とした世界モデルであるVPM(Video-Point Model)と,任意の視点から将来の映像を共同で予測する言語命令と,永続的なシーンポイントの3次元軌跡を紹介する。
我々は,カメラ間の相補的な観察を統合するマルチビュー処理により,事前訓練された世界モデルを拡張し,物理点の時間的移動を予測する軌道ヘッドを追加する。
各トラジェクトリは、すべてのビューを1点追跡し、ビデオ生成と同時にこれらのトラジェクトリを監視することによって、各カメラの外観変化を3Dモーションの共有記述に固定する。
トレーニングと評価を支援するため、VPM-Data、永続的な点軌跡を持つ同期マルチビュービデオのシミュレーションコーパスペアリング、シミュレーションと実環境にまたがる予測ベンチマークであるVP-WorldBenchを構築した。
生成器にトークンモダリティとしてロボットアクションを追加することにより、VPMをさらにロボット制御に拡張する。
アクショントークンは、ポイント管理されたバックボーンを共有し、将来のビデオと共同で識別される。
VP-WorldBenchと既存の4D生成ベンチマークでは、ポイントインスペクションは、ビデオのみのモデルよりもビデオの忠実度と3Dモーション精度の両方を改善し、シミュレーションおよび実ロボット実験では、アクション対応モデルの操作性も向上する。
関連論文リスト
- Perceive, Predict, and Plan: a Unified World Action Model for Egocentric Dexterous Manipulation [53.00741268465108]
P$3$-WAMは、エゴセントリックなデキスタラスな操作のための統一された世界アクションモデルである。
我々のモデルは、コンパクトで構造化された3Dアクション表現を事前訓練されたビデオ拡散変換器に統合する。
本モデルは,4つのデータセットにまたがる3次元手指再建と動作条件付き映像予測の専門的ベースラインに優れる。
論文 参考訳（メタデータ） (2026-10-15T17:59:07Z) - ARROW: Arbitrary Reconstruction and Tracking of 4D Observations in the Wild [10.169648870339406]
ARROWはフィードフォワードモデルであり、任意の画像集合から3次元再構成と3次元点追跡を統合する。
トレーニング中に、より多様な入力セットにモデルを公開することにより、タスク性能が向上することを示す。
得られたモデルは、多視点追跡を含む幅広いタスクに一般化することができる。
論文 参考訳（メタデータ） (2026-10-01T08:44:33Z) - OmniX: Any-view and Any-time 4D Reconstruction via Feed-forward Trajectory Fields [69.80996430631079]
OmniXというフィードフォワードの4D再構成フレームワークを提案し、大きなカメラモーションを持つビデオから各ピクセルの高密度な3D点軌跡を推定する。
3次元運動のスパース構造とローランク構造を利用して、これらのトークンはグローバルな相互作用を効率的に保ちながら、全画像にわたる全画素の軌跡場を生成する。
論文 参考訳（メタデータ） (2026-07-12T17:05:18Z) - Multi-View Video Diffusion Policy: A 3D Spatio-Temporal-Aware Video Action Model [43.80385042752741]
MV-VDPは3次元環境を協調的にモデル化する多視点ビデオポリシーである。
MV-VDPはデータ効率、堅牢、一般化可能、解釈可能な操作を可能にする。
Meta-Worldと現実世界のロボットプラットフォームの実験は、MV-VDPがビデオ予測ベース、3Dベース、視覚言語アクションモデルより一貫して優れていることを示した。
論文 参考訳（メタデータ） (2026-04-03T16:57:06Z) - Towards High-Consistency Embodied World Model with Multi-View Trajectory Videos [24.111891848073288]
身体的世界モデルは、視覚的な観察と行動を通じて物理的世界と予測し、相互作用することを目的としている。
MTV-Worldは正確なビジュモータ予測のためのマルチビュートラジェクトリ・ビデオ制御を導入した。
MTV-Worldは、複雑なデュアルアームシナリオにおける正確な制御実行と正確な物理的相互作用モデリングを実現する。
論文 参考訳（メタデータ） (2025-11-17T02:17:04Z) - Trace Anything: Representing Any Video in 4D via Trajectory Fields [98.85848134960172]
軌道場 (Trajectory Field) は、各フレーム内の各ピクセルに時間の連続した3次元軌跡関数を割り当てる密集写像である。
我々は,1つのフィードフォワードパスで軌道場全体を予測するニューラルネットワークであるTrace Anythingを紹介する。
私たちは、新しいプラットフォームからのデータを含む大規模な4Dデータに基づいて、Trace Anythingモデルをトレーニングしました。
論文 参考訳（メタデータ） (2025-10-15T17:59:04Z) - Geometry-aware 4D Video Generation for Robot Manipulation [28.709339959536106]
そこで本研究では,映像の多視点3次元整合性を実現する4次元映像生成モデルを提案する。
この幾何学的監督により、モデルはシーンの共有3次元表現を学習することができ、新しい視点から将来の映像シーケンスを予測することができる。
既存のベースラインと比較して,本手法は複数のシミュレーションおよび実世界のロボットデータセットに対して,より視覚的に安定かつ空間的に整合した予測を生成する。
論文 参考訳（メタデータ） (2025-07-01T18:01:41Z) - St4RTrack: Simultaneous 4D Reconstruction and Tracking in the World [106.91539872943864]
St4RTrackは、RGB入力から世界座標フレーム内の動的ビデオコンテンツを同時に再構成し、追跡するフレームワークである。
静的および動的シーン幾何学の両方をキャプチャして、同じ世界において、同時に両方のポイントマップを予測する。
統合されたデータ駆動フレームワークの有効性と効率を実証し、世界フレームの再構築と追跡のための新しい広範囲なベンチマークを構築します。
論文 参考訳（メタデータ） (2025-04-17T17:55:58Z) - TAPVid-3D: A Benchmark for Tracking Any Point in 3D [63.060421798990845]
我々は,3Dにおける任意の点の追跡作業を評価するための新しいベンチマークTAPVid-3Dを導入する。
このベンチマークは、モノクロビデオから正確な3Dの動きと表面の変形を理解する能力を改善するためのガイドポストとして機能する。
論文 参考訳（メタデータ） (2024-07-08T13:28:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。