論文の概要: The Invisible Hand of Physics: When Video Diffusion Models Know More Than They Show

• arxiv url: http://arxiv.org/abs/2606.05328v1
• Date: Wed, 03 Jun 2026 18:11:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-05 22:39:44.33521
• Title: The Invisible Hand of Physics: When Video Diffusion Models Know More Than They Show
• Title（参考訳）: 物理の目に見えない手:ビデオ拡散モデルが示す以上のことを知る時
• Authors: Parsa Esmati, Somjit Nath, Katja Hofmann, Derek Nowrouzezahrai, Samira Ebrahimi Kahou, Majid Mirmehdi,
• Abstract要約: IntPhys と InfLevel の拡散変圧器状態から物理可視性は線形に除去可能であることを示す。 驚いたことに、この信号はVAE潜伏入力を欠き、復調変圧器内部に現れる。
• 参考スコア（独自算出の注目度）: 19.515022194108955
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern video diffusion models generate increasingly realistic and temporally coherent videos, motivating their use as candidate world simulators. Yet it remains unclear whether these models internally encode physical structure, or merely reproduce motion patterns seen during training. We study this question by probing video diffusion models along latent trajectories corresponding to real videos with known physical plausibility. To obtain such trajectories, we approximately invert the deterministic sampling process by integrating the learned velocity field backward from a clean video latent to noise, giving access to the model's intermediate states and attention maps. Using these recovered trajectories, we show that physical plausibility is linearly decodable from diffusion transformer states across IntPhys and InfLevel, reaching around 81.27% average accuracy and outperforming dedicated representation-learning baselines such as V-JEPA and VideoMAE. Surprisingly, this signal is absent from the VAE latent input and emerges inside the denoising transformer itself, despite the model not being trained with a self-supervised predictive objective. These findings suggest that physically meaningful representations can arise as a byproduct of generative denoising.
• Abstract（参考訳）: 現代のビデオ拡散モデルは、ますます現実的で時間的に整合したビデオを生成し、候補世界シミュレーターとしての使用を動機付けている。 しかし、これらのモデルが物理的構造を内部的にエンコードしているのか、あるいはトレーニング中に見られる動きパターンを単に再現しているだけなのかは不明だ。 本研究では,映像拡散モデルを用いて,実映像に対応する潜在軌道を探索し,その物理的妥当性について検討する。 このようなトラジェクトリを得るために、学習速度場をノイズに遅延したクリーンビデオから後方に積分し、モデルの中間状態とアテンションマップにアクセスすることで、決定論的サンプリング過程をほぼ逆転する。 得られた軌道を用いて,IntPhysとInfLevelの拡散変圧器状態から物理プラウザビリティが線形に除去可能であることを示し,平均精度は81.27%に達し,V-JEPAやVideoMAEなどの専用表現学習ベースラインよりも優れていた。 驚いたことに、この信号はVAE潜時入力から外れており、自己監督された予測目標で訓練されていないモデルにもかかわらず、デノナイジング変圧器自体の内部に現れる。 これらの結果から, 身体的に有意な表現が生成的認知の副産物として生じる可能性が示唆された。

関連論文リスト

• Tempered Self-Similarity Alignment for Physically Plausible Video Generation [83.40337664171939]
  自己相似性損失は確率的対応に変化し、映像生成モデルを動的に変化する領域の視覚基盤モデルと対応付けるよう訓練する。 本手法は,映像生成における関係知識の伝達の有効性を検証し,多種多様な相互作用シナリオにおける物理的妥当性の大幅な向上を示す。
  論文  参考訳（メタデータ） (2026-05-24T09:28:05Z)
• Video Prediction of Dynamic Physical Simulations With Pixel-Space Spatiotemporal Transformers [3.951575888190684]
  本研究は,ビデオ予測のためのトランスフォーマー適応を簡易なエンド・ツー・エンド・アプローチで検討し,種々の自己時間的アテンションレイアウトを比較した。 本稿では,自動回帰映像予測のための簡易かつ効果的な変換器を提案し,連続した画素空間表現をビデオ予測水平線に適用する。
  論文  参考訳（メタデータ） (2025-10-23T17:58:45Z)
• LikePhys: Evaluating Intuitive Physics Understanding in Video Diffusion Models via Likelihood Preference [57.086932851733145]
  ビデオ拡散モデルにおける直感的な物理を評価するトレーニング不要な方法であるLikePhysを紹介した。 現在のビデオ拡散モデルにおける直観的物理理解のベンチマークを行う。 経験的結果は、現在のモデルが複雑でカオス的な力学に苦しむにもかかわらず、モデルキャパシティと推論設定スケールとしての物理理解の改善傾向が明らかであることを示している。
  論文  参考訳（メタデータ） (2025-10-13T15:19:07Z)
• TRAVL: A Recipe for Making Video-Language Models Better Judges of Physics Implausibility [70.24211591214528]
  ビデオ生成モデルは、浮動、テレポート、モーフィングのような直感的な物理法則に違反したシーケンスを生成する。 既存のビデオランゲージモデル(VLM)は、物理違反の特定に苦慮し、時間的および因果的推論における根本的な制限を明らかにしている。 我々は、バランスの取れたトレーニングデータセットと軌道認識型アテンションモジュールを組み合わせた微調整レシピTRAVLを導入し、モーションエンコーディングを改善する。 言語バイアスを除去し,視覚的時間的理解を分離する300本のビデオ(150本実写150本)のベンチマークであるImplausiBenchを提案する。
  論文  参考訳（メタデータ） (2025-10-08T21:03:46Z)
• Physics-Grounded Motion Forecasting via Equation Discovery for Trajectory-Guided Image-to-Video Generation [54.42523027597904]
  物理グラウンド映像予測のためのシンボル回帰と軌跡誘導映像(I2V)モデルを統合する新しいフレームワークを提案する。 提案手法は,入力ビデオから運動軌跡を抽出し,検索に基づく事前学習機構を用いて記号回帰を向上し,運動方程式を発見し,物理的に正確な将来の軌跡を予測する。
  論文  参考訳（メタデータ） (2025-07-09T13:28:42Z)
• FlowMo: Variance-Based Flow Guidance for Coherent Motion in Video Generation [51.110607281391154]
  FlowMoは、テキスト・ビデオ・モデルにおける動きコヒーレンスを高めるためのトレーニング不要のガイダンス手法である。 時間次元のパッチワイドな分散を測定して動きのコヒーレンスを推定し、サンプリング中にこの分散を動的に減少させるためにモデルを導く。
  論文  参考訳（メタデータ） (2025-06-01T19:55:33Z)
• Think Before You Diffuse: Infusing Physical Rules into Video Diffusion [55.046699347579455]
  実世界の動き、相互作用、ダイナミクスの複雑さは、データから物理を学ぶ際に大きな困難をもたらす。 DiffPhyは、トレーニング済みの動画拡散モデルを微調整することで、物理的に正確でリアルな映像生成を可能にする汎用的なフレームワークである。
  論文  参考訳（メタデータ） (2025-05-27T18:26:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。