論文の概要: Unveiling Concept Attribution in Diffusion Models

• arxiv url: http://arxiv.org/abs/2412.02542v2
• Date: Wed, 12 Mar 2025 09:02:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-13 15:37:08.678090
• Title: Unveiling Concept Attribution in Diffusion Models
• Title（参考訳）: 拡散モデルにおける解離概念の寄与
• Authors: Quang H. Nguyen, Hoang Phan, Khoa D. Doan,
• Abstract要約: 拡散モデルは、テキストプロンプトから現実的で高品質な画像を生成する際、顕著な能力を示した。 近年の研究では、他のレイヤがターゲット概念にどのように貢献するかを示すことなく、知識保存層を生成モデルにローカライズするために因果トレースを採用している。 成分属性を用いた拡散モデルを分解し,概念生成における各成分の重要性を体系的に明らかにする。
• 参考スコア（独自算出の注目度）: 7.974430263940756
• License:
• Abstract: Diffusion models have shown remarkable abilities in generating realistic and high-quality images from text prompts. However, a trained model remains largely black-box; little do we know about the roles of its components in exhibiting a concept such as objects or styles. Recent works employ causal tracing to localize knowledge-storing layers in generative models without showing how other layers contribute to the target concept. In this work, we approach diffusion models' interpretability problem from a more general perspective and pose a question: \textit{``How do model components work jointly to demonstrate knowledge?''}. To answer this question, we decompose diffusion models using component attribution, systematically unveiling the importance of each component (specifically the model parameter) in generating a concept. The proposed framework, called \textbf{C}omponent \textbf{A}ttribution for \textbf{D}iffusion Model (CAD), discovers the localization of concept-inducing (positive) components, while interestingly uncovers another type of components that contribute negatively to generating a concept, which is missing in the previous knowledge localization work. Based on this holistic understanding of diffusion models, we introduce two fast, inference-time model editing algorithms, CAD-Erase and CAD-Amplify; in particular, CAD-Erase enables erasure and CAD-Amplify allows amplification of a generated concept by ablating the positive and negative components, respectively, while retaining knowledge of other concepts. Extensive experimental results validate the significance of both positive and negative components pinpointed by our framework, demonstrating the potential of providing a complete view of interpreting generative models. Our code is available \href{https://github.com/mail-research/CAD-attribution4diffusion}{here}.
• Abstract（参考訳）: 拡散モデルは、テキストプロンプトから現実的で高品質な画像を生成する際、顕著な能力を示した。 しかし、トレーニングされたモデルは、ほとんどブラックボックスのままであり、オブジェクトやスタイルのような概念を示す際に、そのコンポーネントの役割についてはほとんど知られていない。 近年の研究では、他のレイヤがターゲット概念にどのように貢献するかを示すことなく、知識保存層を生成モデルにローカライズするために因果トレースを採用している。 本研究では,拡散モデルの解釈可能性問題に対して,より一般的な視点からアプローチし,次のような疑問を提起する。 そこで我々は,各成分(特にモデルパラメータ)の重要性を体系的に明らかにし,成分属性を用いた拡散モデルを分解する。 提案したフレームワークは、 \textbf{C}omponent \textbf{A}ttribution for \textbf{D}iffusion Model (CAD) と呼ばれ、概念誘導(陽性)コンポーネントの局所化を発見し、また興味深いことに、概念の生成に負の寄与する別のタイプのコンポーネントを発見できる。 CAD-Erase と CAD-Amplify の2つの高速な推論時間モデル編集アルゴリズムを導入し、特にCAD-Erase は消去を可能にし、CAD-Amplify は正成分と負成分を区別して生成概念の増幅を可能にする。 大規模実験により,本フレームワークが示す正成分と負成分の両方の重要性が検証され,生成モデルを完全に解釈できる可能性が示された。 私たちのコードは href{https://github.com/mail-research/CAD-attribution4diffusion}{here} で利用可能です。

関連論文リスト

• Scaling Concept With Text-Guided Diffusion Models [53.80799139331966]
  概念を置き換える代わりに、概念自体を強化するか、あるいは抑圧できるだろうか? ScalingConceptは、分解された概念を、新しい要素を導入することなく、実際の入力でスケールアップまたはスケールダウンする、シンプルで効果的な方法である。 さらに重要なのは、ScalingConceptは画像とオーディオドメインにまたがる様々な新しいゼロショットアプリケーションを可能にすることだ。
  論文  参考訳（メタデータ） (2024-10-31T17:09:55Z)
• Human-Object Interaction Detection Collaborated with Large Relation-driven Diffusion Models [65.82564074712836]
  テキストと画像の拡散モデルに光を流す新しいHOI検出器であるDIFfusionHOIを紹介する。 まず、埋め込み空間における人間と物体の関係パターンの表現をインバージョンベースで学習する戦略を考案する。 これらの学習された関係埋め込みはテキストのプロンプトとして機能し、スタイア拡散モデルが特定の相互作用を記述する画像を生成する。
  論文  参考訳（メタデータ） (2024-10-26T12:00:33Z)
• How to Blend Concepts in Diffusion Models [48.68800153838679]
  近年の手法は複数の潜在表現とその関連性を利用しており、この研究はさらに絡み合っている。 我々のゴールは、潜在空間における操作が根底にある概念にどのように影響するかを理解することです。 我々の結論は、宇宙操作によるブレンドの概念は可能であるが、最良の戦略はブレンドの文脈に依存する。
  論文  参考訳（メタデータ） (2024-07-19T13:05:57Z)
• Concept Arithmetics for Circumventing Concept Inhibition in Diffusion Models [58.065255696601604]
  拡散モデルの合成特性を使い、単一の画像生成において複数のプロンプトを利用することができる。 本論では, 画像生成の可能なすべてのアプローチを, 相手が適用可能な拡散モデルで検討することが重要であると論じる。
  論文  参考訳（メタデータ） (2024-04-21T16:35:16Z)
• Attributing Learned Concepts in Neural Networks to Training Data [5.930268338525991]
  コンバージェンス(収束)の証拠として,概念の上位1万個の画像を取り除き,モデルの再トレーニングを行うと,ネットワーク内の概念の位置が変化しない。 このことは、概念の発達を知らせる特徴が、概念形成の堅牢さを暗示して、その先例にまたがるより拡散した方法で広がることを示唆している。
  論文  参考訳（メタデータ） (2023-10-04T20:26:59Z)
• The Hidden Language of Diffusion Models [70.03691458189604]
  本稿では,テキスト概念の内部表現を拡散モデルで解釈する新しい手法であるConceptorを提案する。 概念間の驚くべき視覚的つながりは、それらのテキスト意味論を超越している。 我々はまた、模範的、偏見、名高い芸術様式、あるいは複数の意味の同時融合に依存する概念も発見する。
  論文  参考訳（メタデータ） (2023-06-01T17:57:08Z)
• Ered: Enhanced Text Representations with Entities and Descriptions [5.977668609935748]
  外部知識(エンティティやエンティティ記述など)は、人間がテキストを理解するのに役立つ。 本稿では、微調整段階において、エンティティとエンティティ記述の両方を明示的に含意することを目的としている。 我々は4つの知識指向タスクと2つの共通タスクについて実験を行い、その結果、いくつかのデータセットで新たな最先端を達成できた。
  論文  参考訳（メタデータ） (2022-08-18T16:51:16Z)
• Translational Concept Embedding for Generalized Compositional Zero-shot Learning [73.60639796305415]
  一般合成ゼロショット学習は、ゼロショット方式で属性オブジェクト対の合成概念を学習する手段である。 本稿では,これら2つの課題を統一的なフレームワークで解決するために,翻訳概念の埋め込み(translational concept embedded)という新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2021-12-20T21:27:51Z)
• Relation-aware Compositional Zero-shot Learning for Attribute-Object Pair Recognition [17.464548471883948]
  本稿では,複合属性オブジェクトの概念を用いた画像認識モデルを提案する。 属性オブジェクトペアを構成するプリミティブな概念に対して,リッチで堅牢な特徴を学習するために必要な3つの重要な特性について検討する。 モデルが合成概念に偏りを生じないようにし,属性とオブジェクト間の絡み合いを低減するため,ブロック機構を提案する。
  論文  参考訳（メタデータ） (2021-08-10T11:23:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。