論文の概要: FreeSwim: Revisiting Sliding-Window Attention Mechanisms for Training-Free Ultra-High-Resolution Video Generation

• arxiv url: http://arxiv.org/abs/2511.14712v1
• Date: Tue, 18 Nov 2025 17:56:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-19 16:23:53.247691
• Title: FreeSwim: Revisiting Sliding-Window Attention Mechanisms for Training-Free Ultra-High-Resolution Video Generation
• Title（参考訳）: FreeSwim: トレーニング不要な超高解像度ビデオ生成のためのスライディング・ウィンドウ注意機構の再検討
• Authors: Yunfeng Wu, Jiayi Song, Zhenxiong Tan, Zihao He, Songhua Liu,
• Abstract要約: そこで本研究では,ビデオ拡散変換器をネイティブスケールで事前学習し,高解像度映像を合成するトレーニングフリーな手法を提案する。 トレーニング不要のパラダイムにおいて,細かな視覚的詳細と高効率の超高精細映像を提供する。
• 参考スコア（独自算出の注目度）: 33.76347063890194
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The quadratic time and memory complexity of the attention mechanism in modern Transformer based video generators makes end-to-end training for ultra high resolution videos prohibitively expensive. Motivated by this limitation, we introduce a training-free approach that leverages video Diffusion Transformers pretrained at their native scale to synthesize higher resolution videos without any additional training or adaptation. At the core of our method lies an inward sliding window attention mechanism, which originates from a key observation: maintaining each query token's training scale receptive field is crucial for preserving visual fidelity and detail. However, naive local window attention, unfortunately, often leads to repetitive content and exhibits a lack of global coherence in the generated results. To overcome this challenge, we devise a dual-path pipeline that backs up window attention with a novel cross-attention override strategy, enabling the semantic content produced by local attention to be guided by another branch with a full receptive field and, therefore, ensuring holistic consistency. Furthermore, to improve efficiency, we incorporate a cross-attention caching strategy for this branch to avoid the frequent computation of full 3D attention. Extensive experiments demonstrate that our method delivers ultra-high-resolution videos with fine-grained visual details and high efficiency in a training-free paradigm. Meanwhile, it achieves superior performance on VBench, even compared to training-based alternatives, with competitive or improved efficiency. Codes are available at: https://github.com/WillWu111/FreeSwim
• Abstract（参考訳）: 現代のTransformerベースのビデオジェネレータにおける注意機構の二次的時間とメモリの複雑さは、超高解像度ビデオのエンドツーエンドトレーニングを違法に高価にする。 この制限により、本研究では、動画拡散変換器を母国規模で事前学習し、追加のトレーニングや適応なしに高解像度映像を合成する訓練不要な手法を導入する。 問合せトークンのトレーニングスケールの受容場を維持することは、視覚的忠実さと詳細性を維持するのに不可欠である。 しかし、しかしながら、素直なローカルウィンドウの注意は、しばしば繰り返しコンテンツをもたらし、生成された結果にグローバルな一貫性の欠如を示す。 この課題を克服するために、窓の注意を新しいクロスアテンションオーバライド戦略でバックアップするデュアルパスパイプラインを考案し、ローカルアテンションによって生成されたセマンティックコンテンツが、完全に受容領域を持つ別のブランチによってガイドされ、従って全体的整合性を確保する。 さらに,効率を向上させるために,このブランチにクロスアテンションキャッシング戦略を導入し,フル3次元注意の頻繁な計算を回避する。 広汎な実験により,本手法は訓練不要のパラダイムにおいて,細かな視覚的詳細と高効率の超高精細映像を提供することを示した。 一方、VBenchでは、トレーニングベースの代替品と比較しても、競争力や効率の向上など、優れたパフォーマンスを実現している。 コードは、https://github.com/WillWu111/FreeSwimで入手できる。

関連論文リスト

• UltraGen: High-Resolution Video Generation with Hierarchical Attention [62.99161115650818]
  UltraGenは、(i)効率的で(i)ネイティブな高解像度ビデオ合成を可能にする、新しいビデオ生成フレームワークである。 我々は,UltraGenが事前学習した低解像度ビデオモデルを1080P,さらに4K解像度に効果的に拡張できることを実証した。
  論文  参考訳（メタデータ） (2025-10-21T16:23:21Z)
• MoSiC: Optimal-Transport Motion Trajectory for Dense Self-Supervised Learning [66.53533434848369]
  密集した表現を学習する動き誘導型自己学習フレームワークを提案する。 6つの画像およびビデオデータセットと4つの評価ベンチマークにおいて、最先端を1%から6%改善する。
  論文  参考訳（メタデータ） (2025-06-10T11:20:32Z)
• ViaRL: Adaptive Temporal Grounding via Visual Iterated Amplification Reinforcement Learning [68.76048244253582]
  ビデオ理解におけるフレーム選択の最適化にルールベース強化学習(RL)を利用する最初のフレームワークであるViaRLを紹介する。 ViaRLは、下流モデルの応答精度を報奨信号として利用し、試行錯誤によってフレームセレクタを訓練する。 ViaRLは、多様なビデオ理解タスクに対して、時間的基盤性能と堅牢な一般化を一貫して提供します。
  論文  参考訳（メタデータ） (2025-05-21T12:29:40Z)
• Ada-VE: Training-Free Consistent Video Editing Using Adaptive Motion Prior [13.595032265551184]
  ビデオ間合成は、キャラクタ一貫性の維持、スムーズな時間遷移、高速動作時の視覚的品質の維持において大きな課題となる。 本稿では,冗長計算を選択的に削減する適応型動き誘導型クロスフレームアテンション機構を提案する。 これにより、同じ計算予算内でより多くのフレームにクロスフレームの注意を向けることができる。
  論文  参考訳（メタデータ） (2024-06-07T12:12:25Z)
• Video Frame Interpolation Transformer [86.20646863821908]
  本稿では,トランスフォーマーをベースとした動画フレームワークを提案し,コンテンツ認識集約の重み付けと,自己注意操作による長距離依存を考慮した。 グローバルな自己注意の計算コストが高くなるのを避けるため、ビデオに局所的注意の概念を導入する。 さらに,トランスフォーマーの可能性を完全に実現するためのマルチスケール・フレーム・スキームを開発した。
  論文  参考訳（メタデータ） (2021-11-27T05:35:10Z)
• An Efficient Recurrent Adversarial Framework for Unsupervised Real-Time Video Enhancement [132.60976158877608]
  対比ビデオの例から直接学習する効率的な対比ビデオ強化フレームワークを提案する。 特に,空間的情報と時間的情報の暗黙的統合のための局所的モジュールとグローバルモジュールからなる新しい再帰的セルを導入する。 提案する設計では,フレーム間の情報伝達を効率的に行うことができ,複雑なネットワークの必要性を低減できる。
  論文  参考訳（メタデータ） (2020-12-24T00:03:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。