論文の概要: Does Physics Live in the Activations? Localizing Physical Quantities in Video Diffusion Models
- arxiv url: http://arxiv.org/abs/2610.03154v1
- Date: Fri, 02 Oct 2026 11:26:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 00:14:30.349331
- Title: Does Physics Live in the Activations? Localizing Physical Quantities in Video Diffusion Models
- Title（参考訳）: 物理は活性化に生きるか? : ビデオ拡散モデルにおける物理量の局在化
- Abstract要約: 本研究では,シミュレータ由来の地上構造物理量に対するビデオ拡散変換器の内部表現について検討する。
これらの量はデノナイジング過程の早い段階で高い精度で線形にデノオード可能であることが判明した。
また、オンオブジェクトトークンでのアクティベーションは関連した物理情報を持ち、複数のフレーム上で定義された量は、単一の潜在フレームから読み取ることができることを示す。
- 参考スコア（独自算出の注目度）: 3.3470427195962458
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Video generation models produce strikingly realistic sequences and are increasingly proposed as world models, yet recent benchmarks reveal pronounced deficits in their physical reasoning. This raises the question of whether these models internalize physical principles or merely reproduce familiar motion patterns. We address this by probing internal representations of video Diffusion Transformers (DiTs) for simulator-derived ground-truth physical quantities spanning kinematic motion and rigid-body dynamics under gravity and contact. We find that these quantities are linearly decodable with high accuracy early in the denoising process, substantially outperforming a baseline decoded directly from the model's own noised latents, indicating that the relevant physical information is actively constructed during denoising rather than already present in the input. Additionally, we show that activations at on-object tokens carry the relevant physical information and that quantities defined over multiple frames are readable from single latent frames. Hence, information is sharply localized within the token sequence and is computed globally but stored locally. The probes further show partial extrapolation, transferring to scene variations and object configurations outside their training regime, so what they read is not simply a correlate of the scenes they were fit on. When fitted directly in the full-resolution activation space, the probing directions can serve as steering vectors to change the model's output.
- Abstract（参考訳）: ビデオ生成モデルは驚くほど現実的なシーケンスを生成し、世界モデルとしてますます提案されている。
このことは、これらのモデルが物理原理を内在化するのか、あるいは単に親しみやすい動きパターンを再現するだけなのかという疑問を提起する。
本研究では,重力・接触下での運動と剛体力学にまたがるシミュレータ由来の物理量に対して,ビデオ拡散変換器(DiT)の内部表現を探索することにより,この問題に対処する。
これらの量はデノナイジング過程の早い段階で線形に復調可能であり、モデル自身のノイズ消音器から直接デコードされたベースラインよりもかなり優れており、入力にすでに存在するのではなく、デノナイジング中に関連物理情報がアクティブに構築されていることを示している。
さらに、オンオブジェクトトークンでのアクティベーションは関連する物理情報を持ち、複数のフレーム上で定義された量は、単一の潜在フレームから読み取ることができることを示す。
したがって、情報はトークンシーケンス内に急激なローカライズされ、グローバルに計算されるが、ローカルに保存される。
プローブはさらに部分的な外挿を示し、シーンのバリエーションやオブジェクトの設定をトレーニング体制外に移す。
フル解像度のアクティベーション空間に直接取り付けると、探索方向はモデルの出力を変更するためのステアリングベクトルとして機能する。
関連論文リスト
- Analytic Dynamics: Learning Physics-Grounded Representation for Fast Intrinsic Dynamics Inference from Monocular Videos [2.5608298830470013]
視覚的観察から物体力学を推定することは、知的エージェントが物理的世界について推論し、相互作用することが不可欠である。
本稿では,中間物理基底の動的表現を導入したフィードフォワード動的推論フレームワークであるAnalytic Dynamicsを提案する。
論文 参考訳（メタデータ） (2026-08-31T16:08:04Z) - DyG$^2$T: Modeling Object Dynamics with 3D Gaussian Temporal-Spatial Particle Graph Transformer [86.4618122245946]
DyG$2$Tは動的モデリングフレームワークで、キーポイント表現を空間的に完了し、時間的に識別することでオブジェクトの運動軌跡を推定する。
合成データセットと実世界のデータセットの両方の実験は、DyG$2$Tが正確な動的モデリングと推論を実現することを示した。
論文 参考訳（メタデータ） (2026-08-19T03:44:28Z) - GAUGE: A Measurement-Grounded Benchmark for Physical Fidelity in Simulation Engines and Video World Models [66.77745044586173]
GAUGEは、数値シミュレータと生成ビデオワールドモデルがどのように現実の物理学から再現または逸脱するかを評価するための実世界の診断ベンチマークである。
一般化された軌道誤差を用いて14のタスクファミリー上でIsaac Sim,Genesis,Newtonをベンチマークし,5つの剛体タスクに対して6つのイメージ・ツー・ビデオモデルを評価する。
この結果から, 衝撃的接触, 高速繊維運動, 体積変形に起因する最大の相違点を有する一様忠実な物理エンジンは見つからなかった。
論文 参考訳（メタデータ） (2026-08-06T12:19:38Z) - Interpreting learning dynamics of autoencoders: Transient scaling and emerging concepts of the Ising model [0.0]
イジングモデルからの顕微鏡的スピン構成で訓練された教師なしオートエンコーダは、マクロ的、理論関連変数を学習する。
複数の空間スケールでの学習を定量化し、2つの異なる力学状態を明らかにする。
学習のダイナミックな視点は、内在的特性が強制的変化の影響を表わすことによって確立される。
論文 参考訳（メタデータ） (2026-07-11T12:31:34Z) - PhysiFormer: Learning to Simulate Mechanics in World Space [56.16644631495]
物理的に表現可能な3次元物体運動のための拡散変換器であるPhysorFormerを提案する。
世界座標で表される3Dメッシュとしてオブジェクトを表す。
これは、軌道精度、剛性保存、運動量に基づく物理的一貫性において、自己回帰ベースラインを大幅に上回る。
論文 参考訳（メタデータ） (2026-06-25T17:59:00Z) - The Invisible Hand of Physics: When Video Diffusion Models Know More Than They Show [19.515022194108955]
IntPhys と InfLevel の拡散変圧器状態から物理可視性は線形に除去可能であることを示す。
驚いたことに、この信号はVAE潜伏入力を欠き、復調変圧器内部に現れる。
論文 参考訳（メタデータ） (2026-06-03T18:11:51Z) - PhyCo: Learning Controllable Physical Priors for Generative Motion [55.59209981836171]
本稿では,ビデオ生成に連続的,解釈可能,物理的に接地された制御を導入するフレームワークであるPhyCoを紹介する。
i) 摩擦, 再構成, 変形, 力が様々なシナリオで体系的に変化する100K以上のフォトリアリスティック・シミュレーション・ビデオの大規模データセット, (ii) 物理制御された拡散モデルの微調整, (iii) VLM誘導報酬最適化, 微調整された視覚言語モデルにより、対象とする物理クエリを用いて生成されたビデオを評価し、異なるフィードバックを提供する。
論文 参考訳（メタデータ） (2026-04-30T17:53:03Z) - Interpreting Physics in Video World Models [28.27323417999283]
物理推論における長年の疑問は、ビデオベースのモデルが物理変数の分解表現に依存する必要があるかどうかである。
本稿では,大規模ビデオエンコーダ内の物理表現を調べるための最初の解釈可能性研究について述べる。
現代のビデオモデルは、古典的な物理エンジンのような物理変数の分解表現を使用しない。
論文 参考訳（メタデータ） (2026-02-04T15:19:19Z) - LikePhys: Evaluating Intuitive Physics Understanding in Video Diffusion Models via Likelihood Preference [57.086932851733145]
ビデオ拡散モデルにおける直感的な物理を評価するトレーニング不要な方法であるLikePhysを紹介した。
現在のビデオ拡散モデルにおける直観的物理理解のベンチマークを行う。
経験的結果は、現在のモデルが複雑でカオス的な力学に苦しむにもかかわらず、モデルキャパシティと推論設定スケールとしての物理理解の改善傾向が明らかであることを示している。
論文 参考訳（メタデータ） (2025-10-13T15:19:07Z) - Think Before You Diffuse: Infusing Physical Rules into Video Diffusion [55.046699347579455]
実世界の動き、相互作用、ダイナミクスの複雑さは、データから物理を学ぶ際に大きな困難をもたらす。
DiffPhyは、トレーニング済みの動画拡散モデルを微調整することで、物理的に正確でリアルな映像生成を可能にする汎用的なフレームワークである。
論文 参考訳（メタデータ） (2025-05-27T18:26:43Z) - PhyMAGIC: Physical Motion-Aware Generative Inference with Confidence-guided LLM [17.554471769834453]
一つの画像から物理的に一貫した動きを生成するトレーニング不要のフレームワークであるPhyMAGICを提案する。
PhyMAGICは、事前訓練された画像間拡散モデル、LDMによる信頼誘導推論、微分可能な物理シミュレータを統合する。
総合的な実験により、PhyMAGICは最先端のビデオジェネレータや物理対応のベースラインより優れていることが示された。
論文 参考訳（メタデータ） (2025-05-22T09:40:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。