論文の概要: Guided Diffusion from Self-Supervised Diffusion Features

• arxiv url: http://arxiv.org/abs/2312.08825v1
• Date: Thu, 14 Dec 2023 11:19:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-15 22:47:15.520455
• Title: Guided Diffusion from Self-Supervised Diffusion Features
• Title（参考訳）: 自己監督拡散特徴からの誘導拡散
• Authors: Vincent Tao Hu, Yunlu Chen, Mathilde Caron, Yuki M. Asano, Cees G. M. Snoek, Bjorn Ommer
• Abstract要約: ガイダンスは拡散モデルにおいて重要な概念として機能するが、その効果は追加のデータアノテーションや事前学習の必要性によって制限されることが多い。 本稿では,拡散モデルからガイダンスを抽出するフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 49.78673164423208
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Guidance serves as a key concept in diffusion models, yet its effectiveness is often limited by the need for extra data annotation or classifier pretraining. That is why guidance was harnessed from self-supervised learning backbones, like DINO. However, recent studies have revealed that the feature representation derived from diffusion model itself is discriminative for numerous downstream tasks as well, which prompts us to propose a framework to extract guidance from, and specifically for, diffusion models. Our research has yielded several significant contributions. Firstly, the guidance signals from diffusion models are on par with those from class-conditioned diffusion models. Secondly, feature regularization, when based on the Sinkhorn-Knopp algorithm, can further enhance feature discriminability in comparison to unconditional diffusion models. Thirdly, we have constructed an online training approach that can concurrently derive guidance from diffusion models for diffusion models. Lastly, we have extended the application of diffusion models along the constant velocity path of ODE to achieve a more favorable balance between sampling steps and fidelity. The performance of our methods has been outstanding, outperforming related baseline comparisons in large-resolution datasets, such as ImageNet256, ImageNet256-100 and LSUN-Churches. Our code will be released.
• Abstract（参考訳）: ガイダンスは拡散モデルにおいて重要な概念であるが、その有効性は追加のデータアノテーションや分類器事前訓練の必要性によって制限されることが多い。 だからこそ、DINOのような自己教師型学習のバックボーンから指導を受けたのです。 しかし,近年の研究では,拡散モデル自体から派生した特徴表現が下流タスクにおいても識別可能であることが判明し,拡散モデルから,特に拡散モデルからガイダンスを抽出する枠組みを提案する。 私たちの研究はいくつかの重要な貢献をもたらした。 第一に、拡散モデルからの誘導信号は、クラス条件の拡散モデルと同等である。 第二に、Sinkhorn-Knoppアルゴリズムに基づく特徴正規化は、非条件拡散モデルと比較して特徴の識別性をさらに高めることができる。 第3に,拡散モデルの拡散モデルから指導を同時導出できるオンライン学習手法を構築した。 最後に, 拡散モデルの適用範囲をODEの一定速度経路に沿って拡張し, サンプリングステップと忠実度とのバランスをより良好にする。 imagenet256, imagenet256-100,lsun-churchesなどの大規模解像度データセットにおけるベースライン比較を上回っている。 私たちのコードはリリースされます。

関連論文リスト

• Plug-and-Play Diffusion Distillation [14.359953671470242]
  誘導拡散モデルのための新しい蒸留手法を提案する。 オリジナルのテキスト・ツー・イメージモデルが凍結されている間、外部の軽量ガイドモデルがトレーニングされる。 提案手法は,クラス化なしガイド付きラテント空間拡散モデルの推論をほぼ半減することを示す。
  論文  参考訳（メタデータ） (2024-06-04T04:22:47Z)
• An Overview of Diffusion Models: Applications, Guided Generation, Statistical Rates and Optimization [59.63880337156392]
  拡散モデルはコンピュータビジョン、オーディオ、強化学習、計算生物学において大きな成功を収めた。 経験的成功にもかかわらず、拡散モデルの理論は非常に限定的である。 本稿では,前向きな理論や拡散モデルの手法を刺激する理論的露光について述べる。
  論文  参考訳（メタデータ） (2024-04-11T14:07:25Z)
• Training Class-Imbalanced Diffusion Model Via Overlap Optimization [55.96820607533968]
  実世界のデータセットで訓練された拡散モデルは、尾クラスの忠実度が劣ることが多い。 拡散モデルを含む深い生成モデルは、豊富な訓練画像を持つクラスに偏りがある。 本研究では,異なるクラスに対する合成画像の分布の重複を最小限に抑えるために,コントラスト学習に基づく手法を提案する。
  論文  参考訳（メタデータ） (2024-02-16T16:47:21Z)
• Diff-Instruct: A Universal Approach for Transferring Knowledge From Pre-trained Diffusion Models [77.83923746319498]
  本稿では,任意の生成モデルの学習を指導するDiff-Instructというフレームワークを提案する。 Diff-Instructは、最先端の単一ステップ拡散モデルであることを示す。 GANモデルの精製実験により、Diff-InstructはGANモデルの事前訓練されたジェネレータを一貫して改善できることが示されている。
  論文  参考訳（メタデータ） (2023-05-29T04:22:57Z)
• Towards Controllable Diffusion Models via Reward-Guided Exploration [15.857464051475294]
  強化学習(RL)による拡散モデルの学習段階を導く新しい枠組みを提案する。 RLは、政策そのものではなく、指数スケールの報酬に比例したペイオフ分布からのサンプルによる政策勾配を計算することができる。 3次元形状と分子生成タスクの実験は、既存の条件拡散モデルよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2023-04-14T13:51:26Z)
• Unifying Diffusion Models' Latent Space, with Applications to CycleDiffusion and Guidance [95.12230117950232]
  関係領域で独立に訓練された2つの拡散モデルから共通潜時空間が現れることを示す。 テキスト・画像拡散モデルにCycleDiffusionを適用することで、大規模なテキスト・画像拡散モデルがゼロショット画像・画像拡散エディタとして使用できることを示す。
  論文  参考訳（メタデータ） (2022-10-11T15:53:52Z)
• A Survey on Generative Diffusion Model [75.93774014861978]
  拡散モデルは、深層生成モデルの新たなクラスである。 時間を要する反復生成過程や高次元ユークリッド空間への閉じ込めなど、いくつかの制限がある。 本調査では,拡散モデルの向上を目的とした高度な手法を多数提示する。
  論文  参考訳（メタデータ） (2022-09-06T16:56:21Z)
• Non-Uniform Diffusion Models [0.8602553195689513]
  非一様拡散は、マルチスケール正規化フローと似た構造を持つマルチスケール拡散モデルをもたらすことを示す。 実験により, 同一あるいは少ないトレーニング時間において, マルチスケール拡散モデルでは, 標準均一拡散モデルよりも優れたFIDスコアが得られることがわかった。 また, 非一様拡散は, 条件付きスコア関数に対して, 最先端の条件付きデノナイジング推定器と同等の性能を達成するための新しい推定器となることを示す。
  論文  参考訳（メタデータ） (2022-07-20T09:59:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。