論文の概要: Understanding Attention Mechanism in Video Diffusion Models

• arxiv url: http://arxiv.org/abs/2504.12027v2
• Date: Thu, 17 Apr 2025 01:49:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-18 10:52:31.317279
• Title: Understanding Attention Mechanism in Video Diffusion Models
• Title（参考訳）: ビデオ拡散モデルにおける注意機構の理解
• Authors: Bingyan Liu, Chengyu Wang, Tongtong Su, Huan Ten, Jun Huang, Kailing Guo, Kui Jia,
• Abstract要約: 我々は,T2Vモデルの空間的および時間的注意ブロックの深い摂動解析を行う。 その結果,時間的・空間的な注意マップはビデオのタイミングやレイアウトだけでなく,合成ビデオの美的品質にも影響を及ぼすことがわかった。 本稿では,映像品質の向上とテキスト誘導映像編集を可能にする2つの方法を提案する。
• 参考スコア（独自算出の注目度）: 41.08683408629373
• License:
• Abstract: Text-to-video (T2V) synthesis models, such as OpenAI's Sora, have garnered significant attention due to their ability to generate high-quality videos from a text prompt. In diffusion-based T2V models, the attention mechanism is a critical component. However, it remains unclear what intermediate features are learned and how attention blocks in T2V models affect various aspects of video synthesis, such as image quality and temporal consistency. In this paper, we conduct an in-depth perturbation analysis of the spatial and temporal attention blocks of T2V models using an information-theoretic approach. Our results indicate that temporal and spatial attention maps affect not only the timing and layout of the videos but also the complexity of spatiotemporal elements and the aesthetic quality of the synthesized videos. Notably, high-entropy attention maps are often key elements linked to superior video quality, whereas low-entropy attention maps are associated with the video's intra-frame structure. Based on our findings, we propose two novel methods to enhance video quality and enable text-guided video editing. These methods rely entirely on lightweight manipulation of the attention matrices in T2V models. The efficacy and effectiveness of our methods are further validated through experimental evaluation across multiple datasets.
• Abstract（参考訳）: OpenAIのSoraのようなテキスト・ツー・ビデオ(T2V)合成モデルは、テキスト・プロンプトから高品質なビデオを生成する能力によって大きな注目を集めている。 拡散型T2Vモデルでは、注意機構が重要な要素である。 しかし、画像品質や時間的一貫性など、ビデオ合成の様々な側面にどのような特徴が学習され、T2Vモデルにおけるアテンションブロックがどのような影響を及ぼすかは、まだ不明である。 本稿では,情報理論を用いたT2Vモデルの空間的および時間的注意ブロックの深部摂動解析を行う。 その結果,時間的・空間的注意マップはビデオのタイミングやレイアウトだけでなく,時空間要素の複雑さや合成ビデオの美的品質にも影響を及ぼすことがわかった。 特に、高エントロピーのアテンションマップは、高エントロピーのアテンションマップは、高エントロピーのアテンションマップがビデオのフレーム内構造と関連しているのに対して、優れたビデオ品質に結びつく重要な要素であることが多い。 本研究は,映像品質の向上とテキスト誘導映像編集を可能にする2つの新しい手法を提案する。 これらの方法は、T2Vモデルにおける注意行列の軽量な操作に完全に依存している。 提案手法の有効性と有効性は,複数のデータセットにまたがる実験的評価によってさらに検証される。

関連論文リスト

• MAKIMA: Tuning-free Multi-Attribute Open-domain Video Editing via Mask-Guided Attention Modulation [55.101611012677616]
  拡散ベースのテキスト・トゥ・イメージ(T2I)モデルは,グローバルビデオ編集タスクにおいて顕著な結果を示した。 我々は、オープンドメインビデオ編集のための事前訓練されたT2Iモデル上に構築された、チューニング不要なMAEフレームワークであるMAKIMAを紹介する。
  論文  参考訳（メタデータ） (2024-12-28T02:36:51Z)
• VideoDirector: Precise Video Editing via Text-to-Video Models [45.53826541639349]
  現在のビデオ編集法は、時間的コヒーレンス生成能力を欠くテキスト・ツー・ビデオ(T2V)モデルに依存している。 本稿では、より正確なピボットインバージョンを実現するために、時空間デカップリングガイダンス(STDG)と複数フレームのヌルテキスト最適化戦略を提案する。 実験結果から,本手法はT2Vモデルの強力な時間生成能力を効果的に活用できることが示唆された。
  論文  参考訳（メタデータ） (2024-11-26T16:56:53Z)
• ByTheWay: Boost Your Text-to-Video Generation Model to Higher Quality in a Training-free Way [72.1984861448374]
  ByTheWayは、追加のパラメータやメモリ増設、サンプリング時間を導入することなく、テキスト・ビデオ生成の品質を向上させるためのトレーニング不要の方法である。 様々なデコーダブロックにまたがる時間的アテンションマップ間の差異を低減することにより、生成されたビデオの構造的妥当性と時間的一貫性を向上させる。 地図のエネルギーを増幅することで、運動の大きさと豊かさを高める。
  論文  参考訳（メタデータ） (2024-10-08T17:56:33Z)
• VideoGuide: Improving Video Diffusion Models without Training Through a Teacher's Guide [48.22321420680046]
  VideoGuideは、事前訓練されたテキスト・ツー・ビデオ(T2V)モデルの時間的一貫性を高める新しいフレームワークである。 ガイドモデルの復調標本をサンプリングモデルの復調過程に補間することにより、時間的品質を向上させる。 提案手法は時間的一貫性と画像の忠実度を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-10-06T05:46:17Z)
• VSTAR: Generative Temporal Nursing for Longer Dynamic Video Synthesis [18.806249040835624]
  本稿では,時間的ダイナミクスの制御を改善するために,時間的時間的看護(GTN, Generative Temporal Nursing, GTN)の概念を導入する。 提案手法が既存のオープンソースT2Vモデルよりも長めで視覚的に魅力的なビデオを生成する場合の優位性を実験的に示す。
  論文  参考訳（メタデータ） (2024-03-20T10:58:58Z)
• Hierarchical Spatio-temporal Decoupling for Text-to-Video Generation [49.298187741014345]
  テクスト・ツー・ビデオ生成(T2V)の複雑さの増大につながる空間的内容と時間的ダイナミクスを相互に結合する現在の方法 ビデオの空間的要因と時間的要因を2つの視点から分離することで性能を向上する拡散モデルに基づくHiGenを提案する。
  論文  参考訳（メタデータ） (2023-12-07T17:59:07Z)
• Swap Attention in Spatiotemporal Diffusions for Text-to-Video Generation [55.36617538438858]
  本研究では,空間的知覚と時間的知覚の相互作用を強化する新しいアプローチを提案する。 我々はHD-VG-130Mという大規模かつオープンソースのビデオデータセットをキュレートする。
  論文  参考訳（メタデータ） (2023-05-18T11:06:15Z)
• Make-A-Video: Text-to-Video Generation without Text-Video Data [69.20996352229422]
  Make-A-Videoは、テキスト・トゥ・イメージ(T2I)生成における最新の進歩をテキスト・トゥ・ビデオ(T2V)に変換するアプローチである。 我々は,新しい空間時空間モジュールを用いたT2Iモデル上に構築する,シンプルで効果的な手法を設計する。 空間的および時間的解像度、テキストへの忠実さ、品質など、あらゆる面で、Make-A-Videoは、テキスト・ビデオ生成における新しい最先端を定めている。
  論文  参考訳（メタデータ） (2022-09-29T13:59:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。