論文の概要: MotionForesight: Re-purposing Video Models for Future 3D Scene-Flow Prediction

• arxiv url: http://arxiv.org/abs/2607.16192v1
• Date: Fri, 17 Jul 2026 17:59:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-20 17:56:52.931753
• Title: MotionForesight: Re-purposing Video Models for Future 3D Scene-Flow Prediction
• Title（参考訳）: MotionForesight:未来の3Dシーンフロー予測のためのビデオモデルの再購入
• Abstract要約: 我々は、通常のモノクラービデオから人間と物体の相互作用の予測を学習する方法を研究する。 MotionForesightは、操作されたオブジェクトのポイントに対する将来の3Dトラジェクトリを予測する。 まず、事前訓練されたビデオモデル上に構築された高密度な3Dトラッカーから始まり、全クリップから擬似地下トラックを生成し、観測されたフレームのみを用いて予測者を訓練する。
• 参考スコア（独自算出の注目度）: 12.549249041637976
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Humans can infer how objects are likely to move from passive observation: a cup may be lifted, a drawer may slide, and a lid may rotate shut. Such predictions expose the physical consequences of interaction needed to act in the real world. We study how to learn this anticipation from ordinary monocular videos of human-object interaction. Given a short observed video context, MotionForesight predicts future 3D trajectories for points on the manipulated object. This casts interaction prediction as object-centered 3D motion forecasting without any assumptions on the object properties. Our key insight is that video prediction models already encode rich priors about how objects move during human interactions. We redirect these priors from pixel prediction toward future 3D scene flow. We start from a dense 3D tracker built on a pretrained video model, generate pseudo-ground-truth tracks from complete clips, and train the forecaster using only the observed frames. We replace future RGB and geometry with learned mask latents and train a lightweight adapter to turn the retrospective tracking representation into a forward predictor, while freezing the large video and tracking components. Using just 40k human videos and no auxiliary inputs such as language, MotionForesight generalizes across diverse out-of-distribution objects, environments, viewpoints, and interactions. It also outperforms substantially larger models that use over a million training videos. These results show that we can efficiently re-purpose video priors into explicit geometric forecasts for embodied intelligence. https://motionforesight.github.io/
• Abstract（参考訳）: カップが持ち上げられ、引き出しがスライドし、蓋が閉じられる。 このような予測は、現実世界で行動するために必要な相互作用の物理的結果を明らかにする。 我々は、通常のモノクラービデオから人間と物体の相互作用の予測を学習する方法を研究する。 MotionForesightは、観察された短いビデオコンテキストを前提として、操作対象のポイントに対する将来の3Dトラジェクトリを予測する。 このことは、相互作用予測をオブジェクト特性を仮定することなく、オブジェクト中心の3Dモーション予測として採用する。 私たちの重要な洞察は、ビデオ予測モデルは、人間のインタラクション中にオブジェクトがどのように動くかに関して、すでに豊富な事前情報をエンコードしているということです。 我々はこれらの先行情報を画素予測から将来の3Dシーンフローへリダイレクトする。 まず、事前訓練されたビデオモデル上に構築された高密度な3Dトラッカーから始まり、全クリップから擬似地下トラックを生成し、観測されたフレームのみを用いて予測者を訓練する。 我々は、将来のRGBと幾何学を学習用マスクラテントに置き換え、振り返り追跡表現を前方予測器に変換しながら、大きなビデオとトラッキングコンポーネントを凍結する軽量アダプタを訓練する。 言語のような補助的なインプットを使わずに、たった40kの人間ビデオを使用して、MotionForesightは、さまざまな配布対象、環境、視点、インタラクションを一般化する。 また、100万以上のトレーニングビデオを使用する、かなり大きなモデルよりも優れています。 これらの結果から,映像の先行情報を具体的インテリジェンスのための明示的な幾何学的予測に効率的に再利用できることが示唆された。 https://motionforesight.github.io/

関連論文リスト

• ObjectForesight: Predicting Future 3D Object Trajectories from Human Videos [48.24897274501108]
  本研究では,3次元オブジェクト中心のダイナミックスモデルを導入し,短い自我中心の映像シーケンスから剛体物体の将来の6-DoFのポーズと軌跡を予測する。 ピクセルまたは潜在空間で動作する従来の世界やダイナミクスモデルとは異なり、ObjectForesightはオブジェクトレベルで3Dで明示的に世界を表現する。 我々は、ObjectForesightが、未確認のオブジェクトやシーンへの精度、幾何整合性、一般化において、大幅に向上することを示す。
  論文  参考訳（メタデータ） (2026-01-08T18:58:08Z)
• FIction: 4D Future Interaction Prediction from Video [63.37136159797888]
  ビデオからの4次元未来のインタラクション予測のためのFIctionを紹介する。 人間の活動のインプットビデオが与えられたら、その人が次に対話する3D位置のオブジェクトを予測することが目的だ。
  論文  参考訳（メタデータ） (2024-12-01T18:44:17Z)
• Predicting Long-horizon Futures by Conditioning on Geometry and Time [49.86180975196375]
  我々は,過去を前提とした将来のセンサ観測の課題を探求する。 マルチモーダリティを扱える画像拡散モデルの大規模事前学習を活用する。 我々は、屋内と屋外のシーンにまたがる多様なビデオのセットについて、ビデオ予測のためのベンチマークを作成する。
  論文  参考訳（メタデータ） (2024-04-17T16:56:31Z)
• 3D-IntPhys: Towards More Generalized 3D-grounded Visual Intuitive Physics under Challenging Scenes [68.66237114509264]
  複雑なシーンと流体の映像から3次元的な視覚的直感的な物理モデルを学習できるフレームワークを提案する。 本モデルでは,生画像から学習し,明示的な3次元表現空間を用いないモデルよりもはるかに優れた将来予測が可能であることを示す。
  論文  参考訳（メタデータ） (2023-04-22T19:28:49Z)
• T3VIP: Transformation-based 3D Video Prediction [49.178585201673364]
  本稿では,シーンを対象部品に分解することで3次元動きを明示的にモデル化する3次元映像予測手法を提案する。 我々のモデルは、完全に教師なしであり、現実世界の性質を捉え、画像と点のクラウド領域における観察の手がかりがその学習信号を構成する。 我々の知る限り、我々のモデルは、静止カメラの未来をRGB-Dビデオで予測する最初の生成モデルである。
  論文  参考訳（メタデータ） (2022-09-19T15:01:09Z)
• We are More than Our Joints: Predicting how 3D Bodies Move [63.34072043909123]
  我々は、潜時周波数から動きを生成する新しい変分オートエンコーダを訓練する。 実験の結果,本手法は最先端の3Dボディアニメーションとリアルな3Dボディアニメーションを生成することがわかった。
  論文  参考訳（メタデータ） (2020-12-01T16:41:04Z)
• 3D-OES: Viewpoint-Invariant Object-Factorized Environment Simulators [24.181604511269096]
  本稿では、3次元ニューラルシーン表現空間におけるオブジェクトとエージェントの相互作用によるシーン変化を予測できる動作条件動的モデルを提案する。 この空間では、オブジェクトは互いに干渉せず、その外観は時間と視点にわたって持続する。 本モデルでは,対話対象の個数や外観,カメラ視点の多様さにまたがる予測をよく一般化することを示す。
  論文  参考訳（メタデータ） (2020-11-12T16:15:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。