論文の概要: Interpreting Physics in Video World Models
- arxiv url: http://arxiv.org/abs/2602.07050v1
- Date: Wed, 04 Feb 2026 15:19:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-10 20:26:24.40106
- Title: Interpreting Physics in Video World Models
- Title(参考訳): ビデオワールドモデルにおける物理の解釈
- Abstract要約: 物理推論における長年の疑問は、ビデオベースのモデルが物理変数の分解表現に依存する必要があるかどうかである。
本稿では,大規模ビデオエンコーダ内の物理表現を調べるための最初の解釈可能性研究について述べる。
現代のビデオモデルは、古典的な物理エンジンのような物理変数の分解表現を使用しない。
- 参考スコア(独自算出の注目度): 28.27323417999283
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A long-standing question in physical reasoning is whether video-based models need to rely on factorized representations of physical variables in order to make physically accurate predictions, or whether they can implicitly represent such variables in a task-specific, distributed manner. While modern video world models achieve strong performance on intuitive physics benchmarks, it remains unclear which of these representational regimes they implement internally. Here, we present the first interpretability study to directly examine physical representations inside large-scale video encoders. Using layerwise probing, subspace geometry, patch-level decoding, and targeted attention ablations, we characterize where physical information becomes accessible and how it is organized within encoder-based video transformers. Across architectures, we identify a sharp intermediate-depth transition -- which we call the Physics Emergence Zone -- at which physical variables become accessible. Physics-related representations peak shortly after this transition and degrade toward the output layers. Decomposing motion into explicit variables, we find that scalar quantities such as speed and acceleration are available from early layers onwards, whereas motion direction becomes accessible only at the Physics Emergence Zone. Notably, we find that direction is encoded through a high-dimensional population structure with circular geometry, requiring coordinated multi-feature intervention to control. These findings suggest that modern video models do not use factorized representations of physical variables like a classical physics engine. Instead, they use a distributed representation that is nonetheless sufficient for making physical predictions.
- Abstract(参考訳): 物理推論における長年の疑問は、物理変数を物理的に正確に予測するために、ビデオベースのモデルが物理変数の因子化表現に依存する必要があるか、タスク固有の分散的な方法で、そのような変数を暗黙的に表現できるかどうかである。
現代のビデオワールドモデルは直感的な物理ベンチマークで強い性能を発揮するが、これらの表現体系のどれが内部で実装されているかは定かではない。
本稿では,大規模ビデオエンコーダ内の物理表現を直接調べる最初の解釈可能性研究について述べる。
レイヤワイドな探索,部分空間幾何学,パッチレベルの復号化,対象とする注意点の短縮を用いて,物理的情報がどこからアクセス可能になったか,エンコーダベースのビデオトランスフォーマー内でどのように整理されるのかを特徴付ける。
アーキテクチャ全体にわたって、物理変数がアクセス可能な、シャープな中間深度遷移(物理エネルジェンスゾーンと呼ばれる)を特定します。
物理関連表現はこの遷移の直後にピークに達し、出力層に向かって分解する。
運動を明示変数に分解すると、初期層から速度や加速度などのスカラー量が得られるのに対し、運動方向は物理エネルジェンスゾーンでのみアクセス可能であることが分かる。
特に、方向は円形状を持つ高次元の集団構造を通して符号化されており、制御には協調的な多機能介入が必要である。
これらの結果は、現代のビデオモデルは、古典的な物理エンジンのような物理変数の分解表現を使用しないことを示している。
代わりに、物理的な予測を行うのに十分な分散表現を使用する。
関連論文リスト
- Learning Explicit Physical Parameter Control and Benchmarking for Video Generation [21.331326205371628]
本稿では,物体レベルの力,質量,摩擦,再生,シーンレベルの重力を条件とした物理誘導映像拡散モデルPhyParamを提案する。
また、PhyParam-Benchは、画像とビデオの生成における物理法則の整合性を示すベンチマークである。
論文 参考訳(メタデータ) (2026-07-21T10:06:55Z) - PhysiFormer: Learning to Simulate Mechanics in World Space [56.16644631495]
物理的に表現可能な3次元物体運動のための拡散変換器であるPhysorFormerを提案する。
世界座標で表される3Dメッシュとしてオブジェクトを表す。
これは、軌道精度、剛性保存、運動量に基づく物理的一貫性において、自己回帰ベースラインを大幅に上回る。
論文 参考訳(メタデータ) (2026-06-25T17:59:00Z) - Neural Voxel Dynamics: Learning Implicit 3D Physics via Volumetric Feature Advection [0.14323566945483496]
本稿では,映像由来の監視信号から直接,暗黙的な3次元物理力学を学習するための自己次元フレームワークを提案する。
予測ボトルネックを2次元画像空間から3次元容積潜在空間にシフトすることで、この問題に対処する。
トレーニングや推論のための明示的な古典的シミュレータに依存する最先端のハイブリッドモデルとは異なり、当社のアーキテクチャは、高教師付きV-JEPA機能内の物質状態を暗黙的に追跡する。
論文 参考訳(メタデータ) (2026-06-24T22:06:35Z) - Causal Physics Steering in Video World Models via Concept Activation Vectors [4.111899441919164]
ビデオモデルは物理力学の表現を学習するが、推論時間における物理的な期待を制御することは未解決の問題である。
最近の解釈可能性の研究は、物理的可視性は他の視覚的特徴とは別個に表現される物理エネルジェンスゾーン(PEZ)を特定した。
本稿では,PEZ層における線形プローブの重みベクトルを概念活性化ベクトル(Concept Activation Vector, CAV)として利用し, 推論中に隠れ状態に注入する物理ステアリングについて述べる。
論文 参考訳(メタデータ) (2026-05-23T01:02:11Z) - PhyCo: Learning Controllable Physical Priors for Generative Motion [55.59209981836171]
本稿では,ビデオ生成に連続的,解釈可能,物理的に接地された制御を導入するフレームワークであるPhyCoを紹介する。
i) 摩擦, 再構成, 変形, 力が様々なシナリオで体系的に変化する100K以上のフォトリアリスティック・シミュレーション・ビデオの大規模データセット, (ii) 物理制御された拡散モデルの微調整, (iii) VLM誘導報酬最適化, 微調整された視覚言語モデルにより、対象とする物理クエリを用いて生成されたビデオを評価し、異なるフィードバックを提供する。
論文 参考訳(メタデータ) (2026-04-30T17:53:03Z) - MMPhysVideo: Scaling Physical Plausibility in Video Generation via Joint Multimodal Modeling [55.72785604682579]
MMPhysVideoは、共同マルチモーダルモデリングにおけるビデオ生成における物理的可視性を拡大するフレームワークである。
MMPhysVideoは、様々なベンチマークで高度なモデルよりも、物理的な可視性と視覚的品質を一貫して改善している。
論文 参考訳(メタデータ) (2026-04-03T07:32:24Z) - Towards mechanistic understanding in a data-driven weather model: internal activations reveal interpretable physical features [0.0]
我々は、GraphCastの中間計算層を解析するために、Large Language Modelsにおける解釈可能性の研究からツールを適用する。
熱帯低気圧, 大気河川, 日・季節変動, 大規模降雨パターン, 特定地理的コーディング, 海氷範囲に対応する, 幅広い長さと時間スケールの異なる特徴を明らかにした。
論文 参考訳(メタデータ) (2025-12-30T19:50:30Z) - PhysMaster: Mastering Physical Representation for Video Generation via Reinforcement Learning [49.88366485306749]
現代のビデオ生成モデルは、視覚的にリアルなビデオを生成することができるが、物理法則に従わないことが多い。
本稿では,物理認識力を高めるため,映像生成モデルを導くための表現として,物理知識を捉えたPhysMasterを提案する。
論文 参考訳(メタデータ) (2025-10-15T17:59:59Z) - LikePhys: Evaluating Intuitive Physics Understanding in Video Diffusion Models via Likelihood Preference [57.086932851733145]
ビデオ拡散モデルにおける直感的な物理を評価するトレーニング不要な方法であるLikePhysを紹介した。
現在のビデオ拡散モデルにおける直観的物理理解のベンチマークを行う。
経験的結果は、現在のモデルが複雑でカオス的な力学に苦しむにもかかわらず、モデルキャパシティと推論設定スケールとしての物理理解の改善傾向が明らかであることを示している。
論文 参考訳(メタデータ) (2025-10-13T15:19:07Z) - Physics-Grounded Motion Forecasting via Equation Discovery for Trajectory-Guided Image-to-Video Generation [54.42523027597904]
物理グラウンド映像予測のためのシンボル回帰と軌跡誘導映像(I2V)モデルを統合する新しいフレームワークを提案する。
提案手法は,入力ビデオから運動軌跡を抽出し,検索に基づく事前学習機構を用いて記号回帰を向上し,運動方程式を発見し,物理的に正確な将来の軌跡を予測する。
論文 参考訳(メタデータ) (2025-07-09T13:28:42Z) - Think Before You Diffuse: Infusing Physical Rules into Video Diffusion [55.046699347579455]
実世界の動き、相互作用、ダイナミクスの複雑さは、データから物理を学ぶ際に大きな困難をもたらす。
DiffPhyは、トレーニング済みの動画拡散モデルを微調整することで、物理的に正確でリアルな映像生成を可能にする汎用的なフレームワークである。
論文 参考訳(メタデータ) (2025-05-27T18:26:43Z) - Optimal-state Dynamics Estimation for Physics-based Human Motion Capture from Videos [6.093379844890164]
オンライン環境での運動学観測に物理モデルを選択的に組み込む新しい手法を提案する。
リカレントニューラルネットワークを導入し、キネマティックス入力とシミュレートされた動作を熱心にバランスするカルマンフィルタを実現する。
提案手法は,物理に基づく人間のポーズ推定作業に優れ,予測力学の物理的妥当性を示す。
論文 参考訳(メタデータ) (2024-10-10T10:24:59Z) - Physics-enhanced Gaussian Process Variational Autoencoder [21.222154875601984]
変分オートエンコーダは、高次元の入出力データに基づいて低次元の潜在空間を学習することができる。
そこで本研究では,物理学的に拡張された変分オートエンコーダを提案し,物理的に拡張されたガウス過程を潜時力学に先立って配置する。
提案手法の利点は振動粒子を用いたシミュレーションで強調される。
論文 参考訳(メタデータ) (2023-05-15T20:41:39Z) - Dynamic Visual Reasoning by Learning Differentiable Physics Models from
Video and Language [92.7638697243969]
視覚概念を協調的に学習し,映像や言語から物体の物理モデルを推定する統合フレームワークを提案する。
これは視覚認識モジュール、概念学習モジュール、微分可能な物理エンジンの3つのコンポーネントをシームレスに統合することで実現される。
論文 参考訳(メタデータ) (2021-10-28T17:59:13Z) - Towards an Interpretable Latent Space in Structured Models for Video
Prediction [30.080907495461876]
基礎となる物理力学が支配するビデオにおける将来のフレーム予測の課題に焦点をあてる。
我々は、オブジェクト中心のモデル、すなわち、オブジェクト表現を明示的に扱うモデルで作業し、潜在空間における損失を伝播する。
論文 参考訳(メタデータ) (2021-07-16T05:37:16Z) - Occlusion resistant learning of intuitive physics from videos [52.25308231683798]
人工システムの鍵となる能力は、オブジェクト間の物理的相互作用を理解し、状況の将来的な結果を予測することである。
この能力は直感的な物理学と呼ばれ、近年注目されており、ビデオシーケンスからこれらの物理規則を学ぶためのいくつかの方法が提案されている。
論文 参考訳(メタデータ) (2020-04-30T19:35:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。