論文の概要: Fast Sampling Through The Reuse Of Attention Maps In Diffusion Models

• arxiv url: http://arxiv.org/abs/2401.01008v2
• Date: Fri, 24 May 2024 16:23:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-27 23:26:50.629430
• Title: Fast Sampling Through The Reuse Of Attention Maps In Diffusion Models
• Title（参考訳）: 拡散モデルにおける注意マップの再利用による高速サンプリング
• Authors: Rosco Hunter, Łukasz Dudziak, Mohamed S. Abdelfattah, Abhinav Mehrotra, Sourav Bhattacharya, Hongkai Wen,
• Abstract要約: テキストと画像の拡散モデルは、フレキシブルでリアルな画像合成のための前例のない能力を示している。 これらのモデルは、時間を要するサンプリング手順に依存しており、レイテンシの削減を動機付けている。 我々のアプローチは、再訓練、微調整、知識蒸留なしに、直接遅延を減らそうとしている。 我々は,これらの再利用戦略と同等のレイテンシの少数のサンプリング手順を経験的に比較し,再利用が元の高遅延拡散モデルにより生成された画像に近い画像を生成することを発見した。
• 参考スコア（独自算出の注目度）: 11.257468339231362
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Text-to-image diffusion models have demonstrated unprecedented capabilities for flexible and realistic image synthesis. Nevertheless, these models rely on a time-consuming sampling procedure, which has motivated attempts to reduce their latency. When improving efficiency, researchers often use the original diffusion model to train an additional network designed specifically for fast image generation. In contrast, our approach seeks to reduce latency directly, without any retraining, fine-tuning, or knowledge distillation. In particular, we find the repeated calculation of attention maps to be costly yet redundant, and instead suggest reusing them during sampling. Our specific reuse strategies are based on ODE theory, which implies that the later a map is reused, the smaller the distortion in the final image. We empirically compare these reuse strategies with few-step sampling procedures of comparable latency, finding that reuse generates images that are closer to those produced by the original high-latency diffusion model.
• Abstract（参考訳）: テキストと画像の拡散モデルは、フレキシブルでリアルな画像合成のための前例のない能力を示している。 それでもこれらのモデルは、レイテンシの削減に動機づけられた、時間を要するサンプリング手順に依存している。 効率を改善するために、研究者はしばしば元の拡散モデルを使用して、高速な画像生成のために設計された追加のネットワークを訓練する。 対照的に、我々のアプローチは、再訓練、微調整、知識蒸留なしに、直接遅延を減らそうとしている。 特に、注意マップの繰り返し計算はコストがかかるが冗長であり、サンプリング時に再利用することを推奨する。 我々の具体的な再利用戦略はODE理論に基づいており、後者の写像が再利用されると最終像の歪みが小さくなることを意味する。 我々は,これらの再利用戦略と同等のレイテンシの少数のサンプリング手順を経験的に比較し,再利用が元の高遅延拡散モデルにより生成された画像に近い画像を生成することを発見した。

関連論文リスト

• Lossy Image Compression with Foundation Diffusion Models [10.407650300093923]
  本研究は,拡散を用いた量子化誤差の除去をデノナイジングタスクとして定式化し,送信された遅延画像の損失情報を復元する。 このアプローチによって、完全な拡散生成プロセスの10%未満の実行が可能になり、バックボーンにアーキテクチャ的な変更は不要になります。
  論文  参考訳（メタデータ） (2024-04-12T16:23:42Z)
• ReNoise: Real Image Inversion Through Iterative Noising [62.96073631599749]
  本研究では,操作数を増やすことなく,高い品質と操作率の逆転法を導入し,再現精度を向上する。 我々は,近年の高速化拡散モデルを含む様々なサンプリングアルゴリズムとモデルを用いて,Renoise手法の性能を評価する。
  論文  参考訳（メタデータ） (2024-03-21T17:52:08Z)
• Efficient Diffusion Model for Image Restoration by Residual Shifting [63.02725947015132]
  本研究では,画像復元のための新しい,効率的な拡散モデルを提案する。 提案手法は,推論中の後処理の高速化を回避し,関連する性能劣化を回避する。 提案手法は,3つの古典的IRタスクにおける現在の最先端手法よりも優れた,あるいは同等の性能を実現する。
  論文  参考訳（メタデータ） (2024-03-12T05:06:07Z)
• Low-Light Image Enhancement with Wavelet-based Diffusion Models [50.632343822790006]
  拡散モデルは画像復元作業において有望な結果を得たが、時間を要する、過剰な計算資源消費、不安定な復元に悩まされている。 本稿では,DiffLLと呼ばれる高能率かつ高能率な拡散型低光画像強調手法を提案する。
  論文  参考訳（メタデータ） (2023-06-01T03:08:28Z)
• Deceptive-NeRF/3DGS: Diffusion-Generated Pseudo-Observations for High-Quality Sparse-View Reconstruction [60.52716381465063]
  我々は,限られた入力画像のみを用いて,スパースビュー再構成を改善するために,Deceptive-NeRF/3DGSを導入した。 具体的には,少数視点再構成によるノイズ画像から高品質な擬似観測へ変換する,偽拡散モデルを提案する。 本システムでは,拡散生成擬似観測をトレーニング画像集合に徐々に組み込んで,スパース入力観測を5倍から10倍に高めている。
  論文  参考訳（メタデータ） (2023-05-24T14:00:32Z)
• ReDi: Efficient Learning-Free Diffusion Inference via Trajectory Retrieval [68.7008281316644]
  ReDiは学習不要なRetrievalベースの拡散サンプリングフレームワークである。 ReDi はモデル推論効率を 2 倍高速化することを示した。
  論文  参考訳（メタデータ） (2023-02-05T03:01:28Z)
• Come-Closer-Diffuse-Faster: Accelerating Conditional Diffusion Models for Inverse Problems through Stochastic Contraction [31.61199061999173]
  拡散モデルには重要な欠点がある。純粋なガウスノイズから画像を生成するために数千ステップの反復を必要とするため、サンプリングが本質的に遅い。 ガウスノイズから始めることは不要であることを示す。代わりに、より優れた初期化を伴う単一前方拡散から始めると、逆条件拡散におけるサンプリングステップの数を大幅に減少させる。 ComeCloser-DiffuseFaster (CCDF)と呼ばれる新しいサンプリング戦略は、逆問題に対する既存のフィードフォワードニューラルネットワークアプローチが拡散モデルと相乗的に組み合わせられる方法について、新たな洞察を明らかにしている。
  論文  参考訳（メタデータ） (2021-12-09T04:28:41Z)
• Deblurring via Stochastic Refinement [85.42730934561101]
  条件付き拡散モデルに基づくブラインドデブロアリングのための代替フレームワークを提案する。 提案手法は,PSNRなどの歪み指標の点で競合する。
  論文  参考訳（メタデータ） (2021-12-05T04:36:09Z)
• Inverting Adversarially Robust Networks for Image Synthesis [37.927552662984034]
  本稿では,特徴反転モデルの知覚的プリミティブとしてロバスト表現を用いることを提案する。 画像として頑健な表現を採用することにより,CNNに基づく特徴反転モデルの再構成精度が大幅に向上することを示す。 そこで本研究では,ロバストな表現に基づく符号化復号ネットワークを提案し,異常検出,スタイル転送,画像復号化などの応用にその利点を示す。
  論文  参考訳（メタデータ） (2021-06-13T05:51:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。