論文の概要: EDiT: Efficient Diffusion Transformers with Linear Compressed Attention

• arxiv url: http://arxiv.org/abs/2503.16726v1
• Date: Thu, 20 Mar 2025 21:58:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-24 14:57:58.383525
• Title: EDiT: Efficient Diffusion Transformers with Linear Compressed Attention
• Title（参考訳）: EDiT:リニア圧縮アテンションを有する効率的な拡散変換器
• Authors: Philipp Becker, Abhinav Mehrotra, Ruchika Chavhan, Malcolm Chadwick, Luca Morreale, Mehdi Noroozi, Alberto Gil Ramos, Sourav Bhattacharya,
• Abstract要約: DiTの注意の2次スケーリング特性は、高解像度の画像生成や限られたリソースを持つデバイスを妨げます。 これらの効率ボトルネックを軽減するために,効率的な拡散変換器(EDiT)を導入する。 PixArt-Sigma(Conventional DiT)とStable Diffusion 3.5-Medium(MM-DiT)に統合することで,EDiTおよびMM-EDiTアーキテクチャの有効性を示す。
• 参考スコア（独自算出の注目度）: 11.36660486878447
• License:
• Abstract: Diffusion Transformers (DiTs) have emerged as a leading architecture for text-to-image synthesis, producing high-quality and photorealistic images. However, the quadratic scaling properties of the attention in DiTs hinder image generation with higher resolution or on devices with limited resources. This work introduces an efficient diffusion transformer (EDiT) to alleviate these efficiency bottlenecks in conventional DiTs and Multimodal DiTs (MM-DiTs). First, we present a novel linear compressed attention method that uses a multi-layer convolutional network to modulate queries with local information while keys and values are spatially aggregated. Second, we formulate a hybrid attention scheme for multi-modal inputs that combines linear attention for image-to-image interactions and standard scaled dot-product attention for interactions involving prompts. Merging these two approaches leads to an expressive, linear-time Multimodal Efficient Diffusion Transformer (MM-EDiT). We demonstrate the effectiveness of the EDiT and MM-EDiT architectures by integrating them into PixArt-Sigma(conventional DiT) and Stable Diffusion 3.5-Medium (MM-DiT), achieving up to 2.2x speedup with comparable image quality after distillation.
• Abstract（参考訳）: Diffusion Transformers (DiTs) はテキストと画像の合成において主要なアーキテクチャとして登場し、高品質でフォトリアリスティックな画像を生成する。 しかし、DiTの注意の2次スケーリング特性は、高解像度の画像生成や限られたリソースを持つデバイスを妨げている。 本研究は,従来のDiTとMultimodal DiT(MM-DiT)の効率ボトルネックを軽減するために,効率的な拡散変圧器(EDiT)を導入する。 まず,鍵と値が空間的に集約されている間,局所的な情報でクエリを変調する多層畳み込みネットワークを用いた新しい線形圧縮型アテンション手法を提案する。 第2に、画像と画像の相互作用に対する線形の注意と、プロンプトを含む相互作用に対する標準スケールのドット-積の注意を組み合わせたマルチモーダル入力に対するハイブリッドな注意スキームを定式化する。 これら2つのアプローチを統合することで、線形時間多モード効率拡散変換器(MM-EDiT)が実現される。 EDiTおよびMM-EDiTアーキテクチャの有効性をPixArt-Sigma(Conventional DiT)とStable Diffusion 3.5-Medium(MM-DiT)に統合し,蒸留後の画像品質に匹敵する2.2倍の高速化を実現した。

関連論文リスト

• Layer- and Timestep-Adaptive Differentiable Token Compression Ratios for Efficient Diffusion Transformers [55.87192133758051]
  Diffusion Transformer (DiTs)は、最先端(SOTA)画像生成の品質を達成したが、レイテンシとメモリ非効率に悩まされている。 圧縮率の異なる動的DiT推論フレームワークであるDiffRatio-MoDを提案する。
  論文  参考訳（メタデータ） (2024-12-22T02:04:17Z)
• OminiControl: Minimal and Universal Control for Diffusion Transformer [68.3243031301164]
  我々は,Diffusion Transformer(DiT)アーキテクチャに画像条件をどのように統合するかを再考する,新しいアプローチであるOminiControlを提案する。 OminiControlは3つの重要なイノベーションを通じて、これらの制限に対処する。
  論文  参考訳（メタデータ） (2024-11-22T17:55:15Z)
• Efficient Diffusion Transformer with Step-wise Dynamic Attention Mediators [83.48423407316713]
  本稿では,クエリとキーを別々に扱うために,追加の仲介者トークンを組み込んだ新しい拡散トランスフォーマーフレームワークを提案する。 本モデルでは, 正確な非曖昧な段階を呈し, 詳細に富んだ段階へと徐々に遷移する。 本手法は,最近のSiTと統合した場合に,最先端のFIDスコア2.01を達成する。
  論文  参考訳（メタデータ） (2024-08-11T07:01:39Z)
• MDT-A2G: Exploring Masked Diffusion Transformers for Co-Speech Gesture Generation [44.74056930805525]
  MDT-A2Gと呼ばれる音声合成のための新しいMasked Diffusion Transformerを提案する。 このモデルは、シーケンスジェスチャ間の時間的関係学習を強化するために特別に設計されたマスクモデリングスキームを用いる。 実験の結果,MDT-A2Gはジェスチャ生成に優れ,従来の拡散変圧器よりも6ドル以上高速な学習速度を有することがわかった。
  論文  参考訳（メタデータ） (2024-08-06T17:29:01Z)
• DiffiT: Diffusion Vision Transformers for Image Generation [88.08529836125399]
  ViT(Vision Transformer)は、特に認識タスクにおいて、強力なモデリング機能とスケーラビリティを実証している。 拡散型生成学習におけるViTの有効性について検討し、拡散ビジョン変換器(DiffiT)と呼ばれる新しいモデルを提案する。 DiffiTはパラメータ効率が大幅に向上した高忠実度画像を生成するのに驚くほど効果的である。
  論文  参考訳（メタデータ） (2023-12-04T18:57:01Z)
• Dual-Stream Attention Transformers for Sewer Defect Classification [2.5499055723658097]
  効率的な下水道欠陥分類のためのRGBおよび光フロー入力を処理するデュアルストリーム・ビジョン・トランスフォーマアーキテクチャを提案する。 私たちのキーとなるアイデアは、RGBとモーションストリームの相補的な強みを活用するために、自己注意の正則化を使用することです。 自己注意型レギュレータによる動作キューの活用により、RGBアテンションマップの整列と強化を行い、ネットワークが関連する入力領域に集中できるようにする。
  論文  参考訳（メタデータ） (2023-11-07T02:31:51Z)
• Dual Aggregation Transformer for Image Super-Resolution [92.41781921611646]
  画像SRのための新しいトランスモデルDual Aggregation Transformerを提案する。 DATは、ブロック間およびブロック内二重方式で、空間次元とチャネル次元にまたがる特徴を集約する。 我々のDATは現在の手法を超越している。
  論文  参考訳（メタデータ） (2023-08-07T07:39:39Z)
• TFill: Image Completion via a Transformer-Based Architecture [69.62228639870114]
  画像補完を無方向性シーケンス対シーケンス予測タスクとして扱うことを提案する。 トークン表現には,小かつ重複しないRFを持つ制限型CNNを用いる。 第2フェーズでは、可視領域と発生領域の外観整合性を向上させるために、新しい注意認識層(aal)を導入する。
  論文  参考訳（メタデータ） (2021-04-02T01:42:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。