論文の概要: Suppress Content Shift: Better Diffusion Features via Off-the-Shelf Generation Techniques

• arxiv url: http://arxiv.org/abs/2410.06719v3
• Date: Fri, 18 Oct 2024 06:39:27 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-01 04:00:11.265575
• Title: Suppress Content Shift: Better Diffusion Features via Off-the-Shelf Generation Techniques
• Title（参考訳）: Suppress Content Shift: オフザシェルフ生成技術による拡散特性の改善
• Authors: Benyuan Meng, Qianqian Xu, Zitai Wang, Zhiyong Yang, Xiaochun Cao, Qingming Huang,
• Abstract要約: 拡散機能は、コンテンツシフトと呼ばれる隠れた、普遍的な現象によって妨げられていることがわかりました。 本稿では,拡散モデルに固有の特徴として内容変化の原因を見いだし,拡散特性にこの現象が存在することを示唆する。 本稿では,本手法の有効性を効果的に評価し,提案手法の実装を行うための実践的ガイドラインであるGATEを提案する。
• 参考スコア（独自算出の注目度）: 119.02857688205295
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion models are powerful generative models, and this capability can also be applied to discrimination. The inner activations of a pre-trained diffusion model can serve as features for discriminative tasks, namely, diffusion feature. We discover that diffusion feature has been hindered by a hidden yet universal phenomenon that we call content shift. To be specific, there are content differences between features and the input image, such as the exact shape of a certain object. We locate the cause of content shift as one inherent characteristic of diffusion models, which suggests the broad existence of this phenomenon in diffusion feature. Further empirical study also indicates that its negative impact is not negligible even when content shift is not visually perceivable. Hence, we propose to suppress content shift to enhance the overall quality of diffusion features. Specifically, content shift is related to the information drift during the process of recovering an image from the noisy input, pointing out the possibility of turning off-the-shelf generation techniques into tools for content shift suppression. We further propose a practical guideline named GATE to efficiently evaluate the potential benefit of a technique and provide an implementation of our methodology. Despite the simplicity, the proposed approach has achieved superior results on various tasks and datasets, validating its potential as a generic booster for diffusion features. Our code is available at https://github.com/Darkbblue/diffusion-content-shift.
• Abstract（参考訳）: 拡散モデルは強力な生成モデルであり、この能力は識別にも適用できる。 事前訓練された拡散モデルの内的活性化は、識別的タスク、すなわち拡散機能の特徴として機能する。 拡散の特徴は、コンテンツシフトと呼ばれる隠れた、普遍的な現象によって妨げられていることがわかりました。 具体的に言うと、ある物体の正確な形状など、特徴と入力画像の間には内容の違いがある。 本稿では,拡散モデルに固有の特徴として内容変化の原因を見いだし,拡散特性におけるこの現象の広範な存在を示唆する。 さらに実験的研究は、コンテンツシフトが視覚的に知覚できない場合でも、その負の影響は無視できないことを示唆している。 そこで本研究では,拡散特性の全体的な品質を高めるため,コンテンツシフトを抑制することを提案する。 具体的には、ノイズの多い入力からイメージを復元する過程で、コンテンツシフトは情報ドリフトと関連し、オフザシェルフ生成技術がコンテンツシフト抑制のツールになる可能性を指摘した。 さらに,本手法の有効性を効果的に評価し,提案手法の実装を行うための実用的なガイドラインであるGATEを提案する。 単純さにもかかわらず、提案手法は様々なタスクやデータセットにおいて優れた結果をもたらし、拡散機能のための汎用的なブースターとしての可能性を検証している。 私たちのコードはhttps://github.com/Darkbblue/diffusion-content-shiftで利用可能です。

関連論文リスト

• $\textit{Revelio}$: Interpreting and leveraging semantic information in diffusion models [10.68914376295842]
  様々なレイヤで表現されるリッチな視覚的意味情報と,異なる拡散アーキテクチャの時間ステップについて検討する。 k-スパースオートエンコーダ(k-SAE)を利用した単意味的解釈可能な特徴を明らかにする。 既成拡散モデルの特徴量に対する軽量分類器を用いた移動学習による機械的解釈について検討する。
  論文  参考訳（メタデータ） (2024-11-23T03:54:22Z)
• Guided Diffusion from Self-Supervised Diffusion Features [49.78673164423208]
  ガイダンスは拡散モデルにおいて重要な概念として機能するが、その効果は追加のデータアノテーションや事前学習の必要性によって制限されることが多い。 本稿では,拡散モデルからガイダンスを抽出するフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-14T11:19:11Z)
• Smooth Diffusion: Crafting Smooth Latent Spaces in Diffusion Models [82.8261101680427]
  滑らかな潜伏空間は、入力潜伏空間上の摂動が出力画像の定常的な変化に対応することを保証している。 この特性は、画像の反転、反転、編集を含む下流タスクにおいて有益である。 スムース拡散(Smooth Diffusion, Smooth Diffusion)は, 高速かつスムーズな拡散モデルである。
  論文  参考訳（メタデータ） (2023-12-07T16:26:23Z)
• Eliminating Lipschitz Singularities in Diffusion Models [51.806899946775076]
  拡散モデルは、時間ステップの零点付近で無限のリプシッツをしばしば表すことを示す。 これは、積分演算に依存する拡散過程の安定性と精度に脅威をもたらす。 我々はE-TSDMと呼ばれる新しい手法を提案し、これは0に近い拡散モデルのリプシッツを除去する。
  論文  参考訳（メタデータ） (2023-06-20T03:05:28Z)
• InfoDiffusion: Representation Learning Using Information Maximizing Diffusion Models [35.566528358691336]
  InfoDiffusionは低次元潜伏変数を持つ拡散モデルを拡張するアルゴリズムである。 情報拡散は、観測された変数と隠れた変数の相互情報に規則化された学習目標に依存する。 インフォディフュージョンは、最先端の生成的およびコントラスト的手法と競合する非絡み合いおよび人間解釈可能な潜在表現を学習する。
  論文  参考訳（メタデータ） (2023-06-14T21:48:38Z)
• Diffusion in Diffusion: Cyclic One-Way Diffusion for Text-Vision-Conditioned Generation [11.80682025950519]
  本研究では,拡散(機械学習)特性の拡散(物理学)について検討する。 拡散現象の方向を制御するために,循環一流拡散法(COW)を提案する。 本手法は,タスクニーズを理解するための新しい視点を提供し,より広い範囲のカスタマイズシナリオに適用可能である。
  論文  参考訳（メタデータ） (2023-06-14T05:25:06Z)
• Your Diffusion Model is Secretly a Zero-Shot Classifier [90.40799216880342]
  大規模テキスト・画像拡散モデルからの密度推定をゼロショット分類に活用できることを示す。 分類に対する我々の生成的アプローチは、様々なベンチマークで強い結果が得られる。 我々の結果は、下流タスクにおける差別的モデルよりも生成的な利用に向けての一歩である。
  論文  参考訳（メタデータ） (2023-03-28T17:59:56Z)
• Diffusion-GAN: Training GANs with Diffusion [135.24433011977874]
  GAN(Generative Adversarial Network)は、安定してトレーニングすることが難しい。 フォワード拡散チェーンを利用してインスタンスノイズを生成する新しいGANフレームワークであるDiffusion-GANを提案する。 我々は,Diffusion-GANにより,最先端のGANよりも高い安定性とデータ効率で,よりリアルな画像を生成することができることを示す。
  論文  参考訳（メタデータ） (2022-06-05T20:45:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。