論文の概要: WorldFlow: Joint Video and 3D Motion Prediction via Large-Scale Pretraining

• arxiv url: http://arxiv.org/abs/2610.39278v1
• Date: Thu, 29 Oct 2026 03:30:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-01 01:32:10.036412
• Title: WorldFlow: Joint Video and 3D Motion Prediction via Large-Scale Pretraining
• Title（参考訳）: WorldFlow:大規模プレトレーニングによる共同動画と3Dモーション予測
• Abstract要約: 将来のビデオとクエリベースの3Dトラジェクトリを共同で予測する生成ワールドモデル。 WorldFlowBenchは、シミュレーションと実世界のインタラクションで11のデータソースから1,678個の評価サンプルで構成されている。 WorldFlowは、評価された学習ベース手法の中で、最も低い平均変位誤差(ADE)と最終変位誤差(FDE)を達成する。
• 参考スコア（独自算出の注目度）: 13.340913850614726
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Predicting future physical states stands as a central challenge in embodied intelligence. Existing video world models leave 3D dynamics implicit, action-based formulations remain tied to specific robot configurations, and 3D motion prediction models use flow-only supervision, providing a limited learning signal for physical dynamics. To circumvent these limitations, we introduce \method{}, a generative world model that jointly predicts future video and query-based 3D trajectories. By parameterizing 3D motion as continuous displacement tokens aligned with the video grid, a unified Mixture-of-Transformers (MoT) backbone jointly denoises both modalities under a rectified-flow objective. This formulation couples explicit geometric dynamics with visual evolution, effectively unlocking the physical commonsense embedded within pretrained video models. To empirically scale and validate this unified architecture, we train \method{} on a heterogeneous mixture of 1.44 million object-level samples spanning simulated and real-world domains. We further introduce WorldFlowBench, comprising 1,678 evaluation samples from 11 data sources across simulated and real-world interactions, including spatial reasoning tasks. Across all three evaluation sets, WorldFlow achieves the lowest average displacement error (ADE) and final displacement error (FDE) among the evaluated learning-based methods. Notably, on the challenging SpatialCog set, WorldFlow achieves an ADE of 0.060 m, a 54.2\% reduction compared with the strongest external baseline. It also reduces ADE and FDE by 55.9\% and 68.5\%, respectively, compared with its flow-only variant. Project page: https://worldflow-rbs.github.io/.
• Abstract（参考訳）: 将来の物理的状態を予測することは、インテリジェンスを具現化する上で重要な課題である。 既存のビデオワールドモデルは3Dダイナミクスを暗黙的に残し、アクションベースの定式化は特定のロボット構成に結びついている。 これらの制約を回避するために,将来のビデオとクエリに基づく3Dトラジェクトリを共同で予測する生成的世界モデルである 'method{} を導入する。 ビデオグリッドに整合した連続変位トークンとして3次元運動をパラメータ化することにより、統一されたMixture-of-Transformers(MoT)バックボーンは、整流目標の下で両モードを共同で識別する。 この定式化は、明示的な幾何学的ダイナミクスと視覚的進化を結合し、事前訓練されたビデオモデルに埋め込まれた物理コモンセンスを効果的に解き放つ。 この統一アーキテクチャを実証的にスケールし、検証するために、擬似ドメインと実世界のドメインにまたがる144万のオブジェクトレベルサンプルの不均一な混合上で、\method{} を訓練する。 さらに、空間的推論タスクを含む実世界とシミュレーションされた11のデータソースから1,678個の評価サンプルを含むWorldFlowBenchを紹介した。 これら3つの評価セット全体で、WorldFlowは評価された学習手法の中で、最も低い平均変位誤差(ADE)と最終変位誤差(FDE)を達成する。 特に、挑戦的なSpatialCogセットでは、WorldFlowは最強の外部ベースラインに比べて0.060m、54.2\%の削減を達成した。 また、ADEとFDEをそれぞれ55.9\%、68.5\%削減する。 プロジェクトページ: https://worldflow-rbs.github.io/.com

関連論文リスト

• UniFlowWAM: A Unified World-Action Model with Visual Semantics and 4D Geometry [40.38974033857527]
  シーンレベルの3Dフローは、3Dシーンポイントを追跡し、4D幾何学で世界表現を提供する。 我々は,UniFlowWAMを紹介した。UniFlowWAMは3次元シーンフローを視覚とアクションに匹敵する第3のモダリティを与える統一ワールド・アクション・モデルである。
  論文  参考訳（メタデータ） (2026-10-22T09:35:56Z)
• KineBench: Benchmarking Embodied World Models via IDM-Free Kinematic Grounding [58.541098216700796]
  エンボディド・ワールド・モデルの 物理的整合性を評価することは 重要なオープン・チャレンジです 既存のフレームワークはほとんどがアクション抽出に逆ダイナミクスモデル(IDM)に依存している。 IDMのないEWMのためのクローズドループベンチマークであるKineBenchを紹介する。
  論文  参考訳（メタデータ） (2026-07-22T08:04:17Z)
• GEM-4D: Geometry-Enhanced Video World Models for Robot Manipulation [72.52773248997929]
  ビデオワールドモデルは、1つの命令から現実的な未来を生成できるが、時間とともに一貫したポイントレベルの動きを維持できないことが多い。 GEM-4Dは、トレーニング中にビデオ生成バックボーンに高密度な4D対応制御を注入する幾何学的地上ビデオワールドモデルである。 Inverse dynamicsモジュールは、対応性のあるビデオロールアウトを実行可能なロボットトラジェクトリに変換し、現実世界とシミュレーション操作の両方で直接デプロイできる。
  論文  参考訳（メタデータ） (2026-05-20T21:36:44Z)
• Disentangled Robot Learning via Separate Forward and Inverse Dynamics Pretraining [28.30092786035367]
  DeFIはビジュアルフォワードと逆ダイナミクスを分離し、各データソースを利用するための新しいフレームワークである。 今後の予測のために,多種多様な人・ロボットビデオで事前訓練された一般フォワード・ダイナミクス・モデル(GFDM)と,ラベルなしビデオ遷移から潜伏行動を予測するための自己教師付き学習によって訓練された一般逆ダイナミクス・モデル(GIDM)を紹介する。 CALVIN ABC-D と SimplerEnv の実験では、DeFI は CALVIN の平均タスク長 4.51 に達し、SimplerEnv-Frac は 51.2% 成功した。
  論文  参考訳（メタデータ） (2026-03-27T17:20:10Z)
• Efficient Hybrid SE(3)-Equivariant Visuomotor Flow Policy via Spherical Harmonics for Robot Manipulation [51.48086451600577]
  E3Flowは、同変拡散ポリシーの限界に対処する新しいフレームワークである。 安定な多モード同変学習による効率的な整流を初めて統一する。 E3Flowは、最先端の球拡散政策よりも平均的な成功率を3.12%向上させる。
  論文  参考訳（メタデータ） (2026-03-24T14:00:36Z)
• FluidWorld: Reaction-Diffusion Dynamics as a Predictive Substrate for World Models [0.0]
  現在のアプローチでは、学習された潜在空間で動作するTransformerベースの予測器がデフォルトになっている。 本稿では,予測的世界モデリングに自己注意が必要なのか,それとも代替の計算基板が同等あるいは優れた結果が得られるのか,という根本的な疑問を提起する。 反応拡散型の偏微分方程式(PDE)によって予測力学が支配される概念実証世界モデルであるFluidWorldを紹介する。
  論文  参考訳（メタデータ） (2026-03-22T16:49:43Z)
• InternVLA-A1: Unifying Understanding, Generation and Action for Robotic Manipulation [77.07565723756119]
  InternVLA-A1は動的予測機能を備えた視覚言語モデルである。 我々は、実世界のロボットデータ、合成シミュレーションデータ、人間のビデオなどを用いて、これらのモデルを異種データソース上で事前訓練する。 InternVLA-A1を実世界の12のロボットタスクとシミュレーションベンチマークで評価した。
  論文  参考訳（メタデータ） (2026-01-05T18:54:29Z)
• Flow Equivariant World Models: Memory for Partially Observed Dynamic Environments [54.23746358078753]
  身体系は「流れのシンフォニー」として世界を経験する ほとんどのニューラルネットワークの世界モデルは、この構造を無視し、データから同じ変換を繰り返し再学習します。 自己運動と外部物体の動きを1パラメータのリー群「フロー」として統一するフレームワーク「フロー同変世界モデル」を紹介する。
  論文  参考訳（メタデータ） (2026-01-03T05:22:27Z)
• RoHM: Robust Human Motion Reconstruction via Diffusion [58.63706638272891]
  RoHMは、モノクロRGB(-D)ビデオから頑健な3次元人間の動きを復元するためのアプローチである。 ノイズと閉鎖された入力データに条件付けし、一貫した大域座標で完全な可塑性運動を再構成した。 本手法は,テスト時に高速でありながら,定性的かつ定量的に最先端の手法より優れる。
  論文  参考訳（メタデータ） (2024-01-16T18:57:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。