論文の概要: Interpreting Physics in Video Encoders using Multi-Object Interaction Videos

• arxiv url: http://arxiv.org/abs/2610.31983v1
• Date: Thu, 22 Oct 2026 22:47:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.30774
• Title: Interpreting Physics in Video Encoders using Multi-Object Interaction Videos
• Title（参考訳）: マルチオブジェクトインタラクションビデオを用いたビデオエンコーダの物理解釈
• Abstract要約: ビデオエンコーダモデルは、物理AIのワールドモデルとしてますます使われており、ポリシーは潜入者のロールアウトによって計画されている。 物理特性を2体設定下の凍結自己教師型ビデオエンコーダで探索する。 両エンコーダは弾性と非弾性衝突を確実に分離する。
• 参考スコア（独自算出の注目度）: 0.06445605125467573
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Video encoder models are increasingly used as world models for physical AI, where a policy plans by rolling out the latent, so what physics the latent holds bounds what the agent can plan over. Moreover, existing interpretability work probes quantities belonging to a single object; the quantities that make physics relational, such as momentum transfer, restitution, and friction, are defined between bodies and have not been examined. We probe relational physics attributes in two frozen self-supervised video encoders (V-JEPA2 and VideoMAE) under two-body settings and test if they transfer across environments. Our early findings are mixed. Both encoders separate elastic from inelastic collisions reliably. V-JEPA2's own predictor is less likely to predict a collision that creates kinetic energy compared to one that loses it. Momentum-violation detection appears in only one of the two encoders, a kinetic-energy readout survives a change of environment for V-JEPA2 but not for VideoMAE, and neither model holds a friction coefficient that survives a change of geometry.
• Abstract（参考訳）: ビデオエンコーダモデルは、物理AIのワールドモデルとしてますます使われており、ポリシープランでは、潜伏者をロールアウトすることで、潜伏者が保持する物理は、エージェントが何を計画できるかに縛られている。 さらに、既存の解釈可能性研究は、一つの物体に属する量を調べ、運動量移動、再置換、摩擦などの物理関係を生み出す量は、物体間で定義され、検討されていない。 凍結自己教師型ビデオエンコーダ (V-JEPA2 と VideoMAE) におけるリレーショナル物理特性を2体設定で探索し, 環境間の移動を検証した。 初期の発見は多種多様である。 両エンコーダは弾性と非弾性衝突を確実に分離する。 V-JEPA2の予測器は、運動エネルギーを生み出す衝突を予測できない。 運動エネルギーの読み出しはV-JEPA2の環境変化を生き残るが、ビデオMAEでは起こらないし、どちらのモデルも幾何の変化を生き残る摩擦係数を持たない。

関連論文リスト

• PVBench: Quantifying Physical Plausibility in Video Generation with Object-Level Physical Measurements [85.21259780603802]
  46次元にわたる生成ビデオの妥当性を定量的に測定する物理ビデオベンチマークであるPVBenchを紹介する。 PVBenchは600の精巧な知覚ビデオプロンプトで構成されており、そのうち30%はロボットアーム、ヒューマノイド、四足歩行、マルチエージェントシステムなどの身体的なエンボディエージェントを含んでいる。 物理的に抽出可能な次元に挑戦するために、オブジェクトレベルの6Dポーズ、メートル法スケール、表面正規化、キネマティクス、数値保存法則残差などのセマンティックな測定を導出する特殊な視覚モデルと組み合わせる。
  論文  参考訳（メタデータ） (2026-10-19T16:44:45Z)
• ForceTwin: Physics-informed Digital Twins for Robotic Manipulation from Instrumented Human Interaction [50.52713367623184]
  ForceTwin(フォーストイン)は、計測された人間との相互作用から、音声で表現された物体の物理情報を持つデジタル双対を識別するシステムである。 我々は, 慣性, クーロン摩擦, 減衰, 構造的残効状態依存機構力を含む調音, パラメトリックダイナミクスを推定する。 特定された双子を使って、全身のドア・トラバーサルポリシーを訓練し、現実世界に展開します。
  論文  参考訳（メタデータ） (2026-09-18T13:26:32Z)
• Principia: Relational Physics Tests for Video Models [10.272466104440381]
  ペアオブジェクト間の関係整合性を通じてニュートン物理学を評価するベンチマークであるPrincipiaを紹介する。 プリンキピアは重力、置換、摩擦、投射運動、運動量、振り子、質量発振の8つの現象にまたがる。 また、画像空間における物理的違反を直接定量化するキャリブレーション非依存の一貫性スコアも導入する。
  論文  参考訳（メタデータ） (2026-09-03T17:59:50Z)
• PhysicsMind: Sim and Real Mechanics Benchmarking for Physical Reasoning and Prediction in Foundational VLMs and World Models [40.16417939211015]
  MLLM(Multimodal Large Language Models)やビデオワールドモデルは、数学的、常識的、視覚的推論において大きく進歩している。 この問題を計測しようとする既存のベンチマークは、合成された視覚的質問応答テンプレート、あるいは物理的な法則によってビデオがどれだけうまく機能するかを測定するための知覚的ビデオ品質に焦点を当てている。 我々は,3つの標準原理(Center of Mass, Lever Equilibrium, Newton's First Law)について,法に一貫性のある推論と生成を評価する統一ベンチマークであるPhysicalMindを紹介する。
  論文  参考訳（メタデータ） (2026-01-22T14:33:01Z)
• What Happens Next? Anticipating Future Motion by Generating Point Trajectories [76.16266402727643]
  一つの画像から動きを予測し、世界の物体がどのように動くかを予測する問題を考察する。 我々はこのタスクを,現代のビデオジェネレータのアーキテクチャを忠実に追従するモデルを用いて,高密度トラジェクトリグリッドの条件生成として定式化する。 このアプローチはシーン全体のダイナミクスと不確実性を捉え、以前の回帰器やジェネレータよりも正確で多様な予測をもたらす。
  論文  参考訳（メタデータ） (2025-09-25T21:03:56Z)
• VideoREPA: Learning Physics for Video Generation through Relational Alignment with Foundation Models [53.204403109208506]
  現在のテキスト・トゥ・ビデオ(T2V)モデルは、物理的にもっともらしいコンテンツを生成するのに苦労することが多い。 本稿では,基礎モデルから物理理解能力を抽出し,基礎モデルからT2Vモデルへ変換するビデオREPAを提案する。
  論文  参考訳（メタデータ） (2025-05-29T17:06:44Z)
• Spatial-Temporal Graph Diffusion Policy with Kinematic Modeling for Bimanual Robotic Manipulation [88.83749146867665]
  既存のアプローチは、遠く離れた次のベストなエンドエフェクタのポーズを予測するポリシーを学びます。 すると、運動に対する対応する関節回転角を逆運動学を用いて計算する。 本稿では,Kinematics 拡張空間テンポアル gRaph diffuser を提案する。
  論文  参考訳（メタデータ） (2025-03-13T17:48:35Z)
• Dynamic Visual Reasoning by Learning Differentiable Physics Models from Video and Language [92.7638697243969]
  視覚概念を協調的に学習し,映像や言語から物体の物理モデルを推定する統合フレームワークを提案する。 これは視覚認識モジュール、概念学習モジュール、微分可能な物理エンジンの3つのコンポーネントをシームレスに統合することで実現される。
  論文  参考訳（メタデータ） (2021-10-28T17:59:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。