論文の概要: Re-ttention: Ultra Sparse Visual Generation via Attention Statistical Reshape

• arxiv url: http://arxiv.org/abs/2505.22918v2
• Date: Fri, 30 May 2025 17:09:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-02 12:43:13.144457
• Title: Re-ttention: Ultra Sparse Visual Generation via Attention Statistical Reshape
• Title（参考訳）: Re-ttention: 注意的統計的再構成による超スパース視覚生成
• Authors: Ruichen Chen, Keith G. Mills, Liyao Jiang, Chao Gao, Di Niu,
• Abstract要約: 大きなボトルネックは、複雑性が解像度とビデオ長で2倍にスケールする注意機構である。 既存の技術は、非常に高い空間レベルにおける視覚的品質の維持に失敗し、無視できない計算オーバーヘッドを発生させる可能性がある。 本稿では,視覚生成モデルに非常に注意を払わせるRe-ttentionを提案する。
• 参考スコア（独自算出の注目度）: 23.01286982392074
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion Transformers (DiT) have become the de-facto model for generating high-quality visual content like videos and images. A huge bottleneck is the attention mechanism where complexity scales quadratically with resolution and video length. One logical way to lessen this burden is sparse attention, where only a subset of tokens or patches are included in the calculation. However, existing techniques fail to preserve visual quality at extremely high sparsity levels and might even incur non-negligible compute overheads. % To address this concern, we propose Re-ttention, which implements very high sparse attention for visual generation models by leveraging the temporal redundancy of Diffusion Models to overcome the probabilistic normalization shift within the attention mechanism. Specifically, Re-ttention reshapes attention scores based on the prior softmax distribution history in order to preserve the visual quality of the full quadratic attention at very high sparsity levels. % Experimental results on T2V/T2I models such as CogVideoX and the PixArt DiTs demonstrate that Re-ttention requires as few as 3.1\% of the tokens during inference, outperforming contemporary methods like FastDiTAttn, Sparse VideoGen and MInference. Further, we measure latency to show that our method can attain over 45\% end-to-end % and over 92\% self-attention latency reduction on an H100 GPU at negligible overhead cost. Code available online here: \href{https://github.com/cccrrrccc/Re-ttention}{https://github.com/cccrrrccc/Re-ttention}
• Abstract（参考訳）: Diffusion Transformer (DiT) はビデオや画像などの高品質なビジュアルコンテンツを生成するデファクトモデルとなっている。 大きなボトルネックは、複雑性が解像度とビデオ長で2倍にスケールする注意機構である。 この負担を軽減する論理的な方法の1つは、計算にトークンやパッチのサブセットしか含まれない、まばらな注意である。 しかし、既存の技術は、非常に高い空間レベルで視覚的品質を維持することができず、無視できない計算オーバーヘッドを発生させるかもしれない。 %) この問題に対処するために, 拡散モデルの時間的冗長性を活用して, 注意機構内の確率的正規化シフトを克服し, 視覚モデルに対して極めて疎度な注意を喚起するRe-ttentionを提案する。 具体的には,従来のソフトマックス分布履歴に基づいて注意点を再現し,非常に高い空間レベルのフル2次注意点の視覚的品質を維持する。 0.1% CogVideoXやPixArt DiTsのようなT2V/T2Iモデルの実験結果から、再保持は推論中にトークンの3.1\%しか必要とせず、FastDiTAttn、Sparse VideoGen、MInferenceといった現代の手法よりも優れていることが示された。 さらに,本手法は,H100 GPUにおいて,55%以上のエンド・ツー・エンド,92パーセント以上の自己アテンション遅延を無視できるオーバヘッドコストで低減可能であることを示す。 https://github.com/cccrrrccc/Re-ttention}{https://github.com/cccrrrccc/Re-ttention}

関連論文リスト

• RainFusion: Adaptive Video Generation Acceleration via Multi-Dimensional Visual Redundancy [7.196471805257555]
  RainFusionは、ビデオ品質を保ちながら注意計算を加速するために、視覚データに固有の空間性を利用する。 提案するbf RainFusionは,最先端の3D動画生成モデルにシームレスに統合可能なプラグアンドプレイ方式である。
  論文  参考訳（メタデータ） (2025-05-27T11:15:02Z)
• FastCar: Cache Attentive Replay for Fast Auto-Regressive Video Generation on the Edge [60.000984252907195]
  自動回帰(AR)モデルは、サンプリング効率が優れているため、近年、視覚生成タスクにおいて有望であることが示されている。 ビデオ生成は、コヒーレントな時間フレームを生成するために、かなり多くのトークンを必要とする。 我々は,時間的冗長性を探究して,ARビデオ生成のデコードフェーズを高速化する textbfFastCar フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-17T05:00:39Z)
• DraftAttention: Fast Video Diffusion via Low-Resolution Attention Guidance [43.423240627266644]
  拡散変換器を用いたビデオ生成モデル(DiTs)は近年,その優れた生成品質に注目が集まっている。 しかしながら、その計算コストは、ボトルネック注意だけで、全体の80%以上の遅延の原因となっている。 本稿では,GPUに動的に注意を向けたビデオ拡散変換器の高速化のためのトレーニングフリーフレームワークであるDraftAttentionを提案する。
  論文  参考訳（メタデータ） (2025-05-17T04:34:34Z)
• Training-free and Adaptive Sparse Attention for Efficient Long Video Generation [31.615453637053793]
  Diffusion Transformers (DiTs) による高忠実度長ビデオの生成は、しばしば大きな遅延によって妨げられる。 本稿では,最初の動的パターンとオンライン精密検索スパースアテンション手法であるAdaSpaを提案する。 AdaSpaは適応的なプラグアンドプレイソリューションとして実装されており、既存のDiTとシームレスに統合することができる。
  論文  参考訳（メタデータ） (2025-02-28T14:11:20Z)
• Improving the Diffusability of Autoencoders [54.920783089085035]
  高品質な画像やビデオを生成するための主要なアプローチとして、潜伏拡散モデルが登場している。 我々は、現代のオートエンコーダのスペクトル分析を行い、その潜在空間における不規則な高周波成分を同定する。 我々は、この高周波成分が拡散合成プロセスの粗大な微細な性質に干渉し、生成品質を阻害する仮説を立てた。
  論文  参考訳（メタデータ） (2025-02-20T18:45:44Z)
• SIGMA:Sinkhorn-Guided Masked Video Modeling [69.31715194419091]
  SIGMA (Sinkhorn-guided Masked Video Modelling) は、新しいビデオ事前学習法である。 時空管の特徴を,限られた数の学習可能なクラスタに均等に分散する。 10個のデータセットによる実験結果から,より高性能で時間的,堅牢な映像表現を学習する上で,SIGMAの有効性が検証された。
  論文  参考訳（メタデータ） (2024-07-22T08:04:09Z)
• Lean Attention: Hardware-Aware Scalable Attention Mechanism for the Decode-Phase of Transformers [4.674454841332859]
  トランスフォーマーベースのモデルは、自然言語処理の最も広く使われているアーキテクチャの1つとして登場した。 これらの巨大なモデルはメモリが空腹で、最先端のAIアクセラレータでも大きな推論レイテンシが生じる。 本稿ではトークン生成フェーズの自己認識をスケーラブルに計算する手法であるLeanAttentionを提案する。
  論文  参考訳（メタデータ） (2024-05-17T00:52:39Z)
• Scalable Neural Video Representations with Learnable Positional Features [73.51591757726493]
  我々は,学習可能な位置特徴(NVP)を用いて,映像を潜時符号として効果的に再生するニューラル表現の訓練方法を示す。 一般的なUVGベンチマークにおけるNVPの優位性を実証し,先行技術と比較して,NVPは2倍の速度(5分以内)で走行するだけでなく,符号化品質も34.07rightarrow$34.57(PSNR測定値で測定)に上回っている。
  論文  参考訳（メタデータ） (2022-10-13T08:15:08Z)
• Scalable Visual Transformers with Hierarchical Pooling [61.05787583247392]
  本稿では,視覚的トークンを徐々にプールしてシーケンス長を縮小する階層的ビジュアルトランスフォーマ(hvt)を提案する。 計算の複雑さを増すことなく、深さ/幅/解像度/パッチサイズの寸法をスケールすることで、大きなメリットをもたらします。 当社のHVTはImageNetとCIFAR-100データセットの競合ベースラインを上回っています。
  論文  参考訳（メタデータ） (2021-03-19T03:55:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。