論文の概要: Why Do Video Diffusion Models Violate Physics? Unveiling the Flaws in Attention Mechanisms
- arxiv url: http://arxiv.org/abs/2609.23658v1
- Date: Sun, 20 Sep 2026 14:09:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-22 20:29:00.905413
- Title: Why Do Video Diffusion Models Violate Physics? Unveiling the Flaws in Attention Mechanisms
- Title（参考訳）: ビデオ拡散モデルが物理を悪用する理由 : 注意機構の欠陥を解き明かす
- Abstract要約: 最先端のビデオ拡散モデルは、しばしば現実世界の物理法則に違反したコンテンツを生成する。
本稿では,テキスト・ビデオ拡散モデルの「動き計画」プロセスに関する最初の解釈可能性研究について述べる。
回転位置埋め込みの周波数を拡大する軽量なアーキテクチャ修正を提案する。
- 参考スコア（独自算出の注目度）: 13.063267974968921
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Despite impressive visual quality, state-of-the-art video diffusion models often generate content that violates real-world physical laws. While existing solutions rely on external priors or specialized data, we investigate the root cause by exploring the internal mechanisms of these models. Specifically, we present the first interpretability study on the ''motion planning'' process of text-to-video diffusion models, revealing how motion trajectories form during early denoising stages. Building upon the ''first shape, then details'' finding, we combine cross-attention trajectory patterns with causal head contributions to identify a specific subset of attention heads driving motion planning. Further, our self-attention analysis shows that Rotary Position Embedding (RoPE) induces excessive spatial attention decay. This causes early candidate regions to prematurely lock into physically implausible positions, suppressing reasonable trajectories in adjacent frames and triggering generation failure modes. To address this fundamental flaw, we propose a lightweight architectural modification that scales the frequency of RoPE across different denoising steps. This strategy reduces excessive attention decay, helping the model explore better candidate regions to establish coherent physical motion. Finally, training-free and training-based experiments confirm the effectiveness of our approach in enhancing the physical commonsense of generated videos.
- Abstract（参考訳）: 印象的な視覚的品質にもかかわらず、最先端のビデオ拡散モデルは、現実世界の物理法則に違反したコンテンツを生成することが多い。
既存のソリューションは外部の先行データや特殊なデータに依存しているが、これらのモデルの内部メカニズムを探索することで根本原因を解明する。
具体的には、テキストからビデオへの拡散モデルの「動き計画」過程に関する最初の解釈可能性研究を行い、初期の認知段階における動きの軌跡がどのように形成されるかを明らかにする。
本研究は,「第1形状, 詳細」の発見に基づいて, 横断的軌跡パターンと因果的頭部寄与とを組み合わせて, 運動計画を駆動する注意の特定のサブセットを同定する。
さらに, 自己注意分析の結果, Rotary Position Embedding (RoPE) は過度な空間的注意低下を引き起こすことが示された。
これにより、早期候補領域は、物理的に不明瞭な位置に早めにロックされ、隣接するフレームにおける合理的な軌跡が抑制され、生成障害モードが引き起こされる。
この根本的な欠陥に対処するため,我々は,RoPEの周波数を異なる段階に拡大する軽量なアーキテクチャ修正を提案する。
この戦略は過度な注意の減衰を減少させ、モデルがより優れた候補領域を探索し、一貫性のある物理運動を確立するのに役立つ。
最後に、トレーニングフリーおよびトレーニングベース実験により、生成したビデオの物理コモンセンスを高めるためのアプローチの有効性を確認した。
関連論文リスト
- DeforM: Reasoning-Guided Physics-Aware Video Generation via Spatial-Temporal Masking [46.68389408723078]
ビデオ生成モデルは高画質を実現するが、物理を意識したビデオを生成するのに苦労することが多い。
本稿では,物理臨界領域に焦点をあてる推論誘導映像生成フレームワークDeforMを提案する。
トレーニング不要なメカニズム解析のためのDeforM-Freeと、強力なトレーニングベースジェネレータとしてのDeforM-Injectionの2つの方法を開発した。
論文 参考訳（メタデータ） (2026-07-21T03:23:52Z) - SIFT: Self-Imagination Fine-Tuning for Physically Plausible Motion in Video Diffusion Models [53.82339966194578]
動きの絡み合い(英: Motion entanglement)は、カメラの動きや物体の動きのような独立した動き源の意図しない結合である。
本稿では,自作ビデオから学習できるSIFT(Self-Imagination Fine-Tuning)パラダイムを提案する。
論文 参考訳（メタデータ） (2026-06-26T05:39:40Z) - CausalMotion: Structured Physical Reasoning as Keyframe and Trajectory Guidance for Training-Free Video Generation [31.482087672315895]
textbfCausalMotionは、構造化中間表現を通じてビデオ生成に明示的な物理的推論を注入する。
我々の手法は、特に動的に集中したシナリオにおいて、物理的妥当性と時間的コヒーレンスを一貫して改善する。
論文 参考訳（メタデータ） (2026-06-12T09:57:01Z) - RealDiffusion: Physics-informed Attention for Multi-character Storybook Generation [31.320456668679554]
リアルディフュージョン(RealDiffusion)は、物語的ダイナミズムと物語的コヒーレンスを調和させる枠組みである。
熱拡散は、その配列に沿って隣接する特徴を平均する散逸前として機能する。
地域を意識したプロセスは、近くのモードを探索する摂動を排除し、ストーリーが変化とシーンの進化のポーズを維持するために崩壊を防ぐ。
論文 参考訳（メタデータ） (2026-05-12T10:39:45Z) - Demystifing Video Reasoning [71.53763299316041]
ビデオモデルにおける推論は、主に拡散認知のステップに沿って現れることを示す。
モデル性能に重要ないくつかの創発的推論行動を特定する。
これらの知見に触発され、私たちは概念実証としてトレーニングフリー戦略を提示した。
論文 参考訳（メタデータ） (2026-03-17T17:59:55Z) - Stable Video-Driven Portraits [52.008400639227034]
アニメーションは、ドライビングビデオから表現とポーズを再現することで、単一のソースイメージから写真リアルなビデオを生成することを目的としている。
拡散モデルを用いた最近の進歩は品質の向上を示しているが、弱い制御信号やアーキテクチャ上の制約によって制約されている。
本研究では, 眼, 鼻, 口などのマスク付き顔面領域を, 強力な動き制御手段として活用する新しい拡散型枠組みを提案する。
論文 参考訳（メタデータ） (2025-09-22T08:11:08Z) - Physics-Grounded Motion Forecasting via Equation Discovery for Trajectory-Guided Image-to-Video Generation [54.42523027597904]
物理グラウンド映像予測のためのシンボル回帰と軌跡誘導映像(I2V)モデルを統合する新しいフレームワークを提案する。
提案手法は,入力ビデオから運動軌跡を抽出し,検索に基づく事前学習機構を用いて記号回帰を向上し,運動方程式を発見し,物理的に正確な将来の軌跡を予測する。
論文 参考訳（メタデータ） (2025-07-09T13:28:42Z) - Frequency-Guided Diffusion Model with Perturbation Training for Skeleton-Based Video Anomaly Detection [43.49146665908238]
ビデオ異常検出(VAD)はコンピュータビジョンにおいて不可欠だが複雑なオープンセットタスクである。
摂動トレーニングを用いた新しい周波数誘導拡散モデルを提案する。
2次元離散コサイン変換(DCT)を用いて、高周波(局所)と低周波(球状)の運動成分を分離する。
論文 参考訳（メタデータ） (2024-12-04T05:43:53Z) - Diffusion Priors for Dynamic View Synthesis from Monocular Videos [59.42406064983643]
ダイナミックノベルビュー合成は、ビデオ内の視覚的コンテンツの時間的進化を捉えることを目的としている。
まず、ビデオフレーム上に予め訓練されたRGB-D拡散モデルをカスタマイズ手法を用いて微調整する。
動的および静的なニューラルレイディアンス場を含む4次元表現に、微調整されたモデルから知識を蒸留する。
論文 参考訳（メタデータ） (2024-01-10T23:26:41Z) - Motion-Excited Sampler: Video Adversarial Attack with Sparked Prior [63.11478060678794]
そこで本研究では,前もってモーションアウェアノイズを得るための効果的なモーションエキサイティングサンプリング手法を提案する。
より少ないクエリ数で様々なビデオ分類モデルを攻撃することができる。
論文 参考訳（メタデータ） (2020-03-17T10:54:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。