論文の概要: Smoothed Energy Guidance: Guiding Diffusion Models with Reduced Energy Curvature of Attention

• arxiv url: http://arxiv.org/abs/2408.00760v2
• Date: Tue, 1 Oct 2024 01:04:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-08 13:29:21.857064
• Title: Smoothed Energy Guidance: Guiding Diffusion Models with Reduced Energy Curvature of Attention
• Title（参考訳）: 平滑なエネルギー誘導:注意のエネルギー曲率を低減した拡散モデルの誘導
• Authors: Susung Hong,
• Abstract要約: 条件付き拡散モデルは、視覚コンテンツ生成において顕著な成功を収めている。 非条件ガイダンスを拡張しようとする最近の試みはテクニックに依存しており、その結果、最適以下の生成品質が得られる。 Smoothed Energy Guidance (SEG) を提案する。
• 参考スコア（独自算出の注目度）: 0.7770029179741429
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Conditional diffusion models have shown remarkable success in visual content generation, producing high-quality samples across various domains, largely due to classifier-free guidance (CFG). Recent attempts to extend guidance to unconditional models have relied on heuristic techniques, resulting in suboptimal generation quality and unintended effects. In this work, we propose Smoothed Energy Guidance (SEG), a novel training- and condition-free approach that leverages the energy-based perspective of the self-attention mechanism to enhance image generation. By defining the energy of self-attention, we introduce a method to reduce the curvature of the energy landscape of attention and use the output as the unconditional prediction. Practically, we control the curvature of the energy landscape by adjusting the Gaussian kernel parameter while keeping the guidance scale parameter fixed. Additionally, we present a query blurring method that is equivalent to blurring the entire attention weights without incurring quadratic complexity in the number of tokens. In our experiments, SEG achieves a Pareto improvement in both quality and the reduction of side effects. The code is available at https://github.com/SusungHong/SEG-SDXL.
• Abstract（参考訳）: 条件付き拡散モデルは、視覚コンテンツ生成において顕著な成功を示し、主に分類器フリーガイダンス(CFG)によって、様々な領域にわたる高品質なサンプルを生成する。 非条件モデルへのガイダンスを拡張しようとする最近の試みは、ヒューリスティックな手法に依存しており、その結果、最適以下の生成品質と意図しない効果をもたらす。 本研究では, 自己認識機構のエネルギー的視点を利用して画像生成を促進する, 新たな訓練・条件なし手法であるSmoothed Energy Guidance (SEG)を提案する。 自己注意のエネルギーを定義することにより、注意のエネルギー景観の曲率を減らし、その出力を無条件予測として利用する方法を提案する。 実際に、誘導スケールパラメータを固定しながらガウスのカーネルパラメータを調整することにより、エネルギーランドスケープの曲率を制御する。 さらに,トークン数の2次複雑さを生じさせることなく,注目重量全体をぼかすようなクエリのぼかし手法を提案する。 実験では,SEGは品質と副作用の低減の両方においてパレートの改善を実現している。 コードはhttps://github.com/SusungHong/SEG-SDXLで公開されている。

関連論文リスト

• SeaDAG: Semi-autoregressive Diffusion for Conditional Directed Acyclic Graph Generation [83.52157311471693]
  方向性非巡回グラフ(DAG)の条件生成のための半自己回帰拡散モデルSeaDAGを紹介する。 グローバルグラフ構造を欠いた従来の自己回帰生成とは異なり,本手法は拡散ステップ毎に完全なグラフ構造を保持する。 本研究では,現実的なDAGを生成する拡散モデルの能力を高めるために,条件損失を伴うグラフ条件学習を明示的に訓練する。
  論文  参考訳（メタデータ） (2024-10-21T15:47:03Z)
• Minimizing Energy Costs in Deep Learning Model Training: The Gaussian Sampling Approach [11.878350833222711]
  ガウス分布からの勾配更新をサンプリングするために, em GradSamp という手法を提案する。 Em GradSampは、勾配の合理化だけでなく、エポック全体のスキップを可能にし、全体的な効率を向上させる。 我々は、標準CNNとトランスフォーマーベースモデルの多種多様なセットにまたがって、我々の仮説を厳格に検証する。
  論文  参考訳（メタデータ） (2024-06-11T15:01:20Z)
• Spectrum-Aware Parameter Efficient Fine-Tuning for Diffusion Models [73.88009808326387]
  生成モデルのための新しいスペクトル対応適応フレームワークを提案する。 本手法は,事前学習した重みの特異値とその基底ベクトルを調節する。 本稿では,計算効率と表現能力のバランスをとるスペクトルオーソ分解適応(SODA)を提案する。
  論文  参考訳（メタデータ） (2024-05-31T17:43:35Z)
• Mitigating Over-Smoothing and Over-Squashing using Augmentations of Forman-Ricci Curvature [1.1126342180866644]
  スケーラブルな曲率表記法であるAFRC(Augmented Forman-Ricci curvature)に基づく書き換え手法を提案する。 AFRCはメッセージパッシングGNNにおける過剰なスムースと過剰なスキャッシング効果を効果的に特徴付ける。
  論文  参考訳（メタデータ） (2023-09-17T21:43:18Z)
• Unifying over-smoothing and over-squashing in graph neural networks: A physics informed approach and beyond [45.370565281567984]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データの機械学習における主要なアプローチの1つである。 過密化、過密化、限られた表現力といった重要な計算課題は、GNNの性能に影響を与え続けている。 本稿では,マルチスケールヒートカーネルベースGNN (MHKG) を導入し,多様なフィルタ関数がノード特性に与える影響について検討する。
  論文  参考訳（メタデータ） (2023-09-06T06:22:18Z)
• Controlling Text-to-Image Diffusion by Orthogonal Finetuning [74.21549380288631]
  そこで本研究では,テキストから画像への拡散モデルを下流タスクに適用するための原理的な微調整手法であるorthogonal Finetuning(OFT)を提案する。 既存の方法とは異なり、OFTは単位超球上の対のニューロン関係を特徴付ける超球面エネルギーを確実に保存することができる。 我々のOFTフレームワークは、生成品質と収束速度において既存の手法よりも優れていることを実証的に示す。
  論文  参考訳（メタデータ） (2023-06-12T17:59:23Z)
• Low-Light Image Enhancement with Wavelet-based Diffusion Models [50.632343822790006]
  拡散モデルは画像復元作業において有望な結果を得たが、時間を要する、過剰な計算資源消費、不安定な復元に悩まされている。 本稿では,DiffLLと呼ばれる高能率かつ高能率な拡散型低光画像強調手法を提案する。
  論文  参考訳（メタデータ） (2023-06-01T03:08:28Z)
• Conditional Denoising Diffusion for Sequential Recommendation [62.127862728308045]
  GAN(Generative Adversarial Networks)とVAE(VAE)の2つの顕著な生成モデル GANは不安定な最適化に苦しむ一方、VAEは後続の崩壊と過度に平らな世代である。 本稿では,シーケンスエンコーダ,クロスアテンティブデノナイジングデコーダ,ステップワイズディフューザを含む条件付きデノナイジング拡散モデルを提案する。
  論文  参考訳（メタデータ） (2023-04-22T15:32:59Z)
• AEGD: Adaptive Gradient Descent with Energy [0.0]
  本研究では, 1次勾配非エネルギー目的関数変数に対する新しいアルゴリズムである AEGD を提案する。 非エネルギー収束と所望の小さなステップサイズの両方に対してエネルギー依存型AEGDを示す。
  論文  参考訳（メタデータ） (2020-10-10T22:17:27Z)
• Targeted free energy estimation via learned mappings [66.20146549150475]
  自由エネルギー摂動 (FEP) は60年以上前にズワンツィヒによって自由エネルギー差を推定する方法として提案された。 FEPは、分布間の十分な重複の必要性という厳しい制限に悩まされている。 目標自由エネルギー摂動(Targeted Free Energy Perturbation)と呼ばれるこの問題を緩和するための1つの戦略は、オーバーラップを増やすために構成空間の高次元マッピングを使用する。
  論文  参考訳（メタデータ） (2020-02-12T11:10:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。