論文の概要: Unveiling Concept Attribution in Diffusion Models

• arxiv url: http://arxiv.org/abs/2412.02542v2
• Date: Wed, 12 Mar 2025 09:02:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-13 21:17:52.415363
• Title: Unveiling Concept Attribution in Diffusion Models
• Title（参考訳）: 拡散モデルにおける解離概念の寄与
• Authors: Quang H. Nguyen, Hoang Phan, Khoa D. Doan,
• Abstract要約: 拡散モデルは、テキストプロンプトから現実的で高品質な画像を生成する際、顕著な能力を示した。 近年の研究では、他のレイヤがターゲット概念にどのように貢献するかを示すことなく、知識保存層を生成モデルにローカライズするために因果トレースを採用している。 成分属性を用いた拡散モデルを分解し,概念生成における各成分の重要性を体系的に明らかにする。
• 参考スコア（独自算出の注目度）: 7.974430263940756
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion models have shown remarkable abilities in generating realistic and high-quality images from text prompts. However, a trained model remains largely black-box; little do we know about the roles of its components in exhibiting a concept such as objects or styles. Recent works employ causal tracing to localize knowledge-storing layers in generative models without showing how other layers contribute to the target concept. In this work, we approach diffusion models' interpretability problem from a more general perspective and pose a question: \textit{``How do model components work jointly to demonstrate knowledge?''}. To answer this question, we decompose diffusion models using component attribution, systematically unveiling the importance of each component (specifically the model parameter) in generating a concept. The proposed framework, called \textbf{C}omponent \textbf{A}ttribution for \textbf{D}iffusion Model (CAD), discovers the localization of concept-inducing (positive) components, while interestingly uncovers another type of components that contribute negatively to generating a concept, which is missing in the previous knowledge localization work. Based on this holistic understanding of diffusion models, we introduce two fast, inference-time model editing algorithms, CAD-Erase and CAD-Amplify; in particular, CAD-Erase enables erasure and CAD-Amplify allows amplification of a generated concept by ablating the positive and negative components, respectively, while retaining knowledge of other concepts. Extensive experimental results validate the significance of both positive and negative components pinpointed by our framework, demonstrating the potential of providing a complete view of interpreting generative models. Our code is available \href{https://github.com/mail-research/CAD-attribution4diffusion}{here}.
• Abstract（参考訳）: 拡散モデルは、テキストプロンプトから現実的で高品質な画像を生成する際、顕著な能力を示した。 しかし、トレーニングされたモデルは、ほとんどブラックボックスのままであり、オブジェクトやスタイルのような概念を示す際に、そのコンポーネントの役割についてはほとんど知られていない。 近年の研究では、他のレイヤがターゲット概念にどのように貢献するかを示すことなく、知識保存層を生成モデルにローカライズするために因果トレースを採用している。 本研究では,拡散モデルの解釈可能性問題に対して,より一般的な視点からアプローチし,次のような疑問を提起する。 そこで我々は,各成分(特にモデルパラメータ)の重要性を体系的に明らかにし,成分属性を用いた拡散モデルを分解する。 提案したフレームワークは、 \textbf{C}omponent \textbf{A}ttribution for \textbf{D}iffusion Model (CAD) と呼ばれ、概念誘導(陽性)コンポーネントの局所化を発見し、また興味深いことに、概念の生成に負の寄与する別のタイプのコンポーネントを発見できる。 CAD-Erase と CAD-Amplify の2つの高速な推論時間モデル編集アルゴリズムを導入し、特にCAD-Erase は消去を可能にし、CAD-Amplify は正成分と負成分を区別して生成概念の増幅を可能にする。 大規模実験により,本フレームワークが示す正成分と負成分の両方の重要性が検証され,生成モデルを完全に解釈できる可能性が示された。 私たちのコードは href{https://github.com/mail-research/CAD-attribution4diffusion}{here} で利用可能です。

関連論文リスト

• Fine-Grained Erasure in Text-to-Image Diffusion-based Foundation Models [56.35484513848296]
  FADE(Fine grained Attenuation for Diffusion Erasure)は、テキストから画像への生成モデルのための非学習アルゴリズムである。 関連する概念に最小限の影響で目標概念を排除し、最先端の手法よりも保持性能が12%向上した。
  論文  参考訳（メタデータ） (2025-03-25T15:49:48Z)
• Concept Layers: Enhancing Interpretability and Intervenability via LLM Conceptualization [2.163881720692685]
  本稿では,概念層をアーキテクチャに組み込むことにより,解釈可能性とインターベンタビリティを既存モデルに組み込む新しい手法を提案する。 我々のアプローチは、モデルの内部ベクトル表現を、再構成してモデルにフィードバックする前に、概念的で説明可能なベクトル空間に投影する。 複数のタスクにまたがるCLを評価し、本来のモデルの性能と合意を維持しつつ、意味のある介入を可能にしていることを示す。
  論文  参考訳（メタデータ） (2025-02-19T11:10:19Z)
• Scaling Concept With Text-Guided Diffusion Models [53.80799139331966]
  概念を置き換える代わりに、概念自体を強化するか、あるいは抑圧できるだろうか? ScalingConceptは、分解された概念を、新しい要素を導入することなく、実際の入力でスケールアップまたはスケールダウンする、シンプルで効果的な方法である。 さらに重要なのは、ScalingConceptは画像とオーディオドメインにまたがる様々な新しいゼロショットアプリケーションを可能にすることだ。
  論文  参考訳（メタデータ） (2024-10-31T17:09:55Z)
• Human-Object Interaction Detection Collaborated with Large Relation-driven Diffusion Models [65.82564074712836]
  テキストと画像の拡散モデルに光を流す新しいHOI検出器であるDIFfusionHOIを紹介する。 まず、埋め込み空間における人間と物体の関係パターンの表現をインバージョンベースで学習する戦略を考案する。 これらの学習された関係埋め込みはテキストのプロンプトとして機能し、スタイア拡散モデルが特定の相互作用を記述する画像を生成する。
  論文  参考訳（メタデータ） (2024-10-26T12:00:33Z)
• ProtoS-ViT: Visual foundation models for sparse self-explainable classifications [0.6249768559720122]
  プロトタイプネットワークは、概念の線形和に基づいて本質的に説明可能なモデルを構築することを目的としている。 この研究はまず、現在の原型ネットワークにおける欠点を識別できる量的および質的なメトリクスの広範なセットを提案する。 その後、コンパクトな説明を提供する新しいアーキテクチャを導入し、説明品質の観点から現在の原型モデルより優れている。
  論文  参考訳（メタデータ） (2024-06-14T13:36:30Z)
• Advancing Ante-Hoc Explainable Models through Generative Adversarial Networks [24.45212348373868]
  本稿では,視覚的分類タスクにおけるモデル解釈可能性と性能を向上させるための新しい概念学習フレームワークを提案する。 本手法では, 教師なし説明生成器を一次分類器ネットワークに付加し, 対角訓練を利用する。 この研究は、タスク整合概念表現を用いた本質的に解釈可能なディープビジョンモデルを構築するための重要なステップを示す。
  論文  参考訳（メタデータ） (2024-01-09T16:16:16Z)
• Attributing Learned Concepts in Neural Networks to Training Data [5.930268338525991]
  コンバージェンス(収束)の証拠として,概念の上位1万個の画像を取り除き,モデルの再トレーニングを行うと,ネットワーク内の概念の位置が変化しない。 このことは、概念の発達を知らせる特徴が、概念形成の堅牢さを暗示して、その先例にまたがるより拡散した方法で広がることを示唆している。
  論文  参考訳（メタデータ） (2023-10-04T20:26:59Z)
• The Hidden Language of Diffusion Models [70.03691458189604]
  本稿では,テキスト概念の内部表現を拡散モデルで解釈する新しい手法であるConceptorを提案する。 概念間の驚くべき視覚的つながりは、それらのテキスト意味論を超越している。 我々はまた、模範的、偏見、名高い芸術様式、あるいは複数の意味の同時融合に依存する概念も発見する。
  論文  参考訳（メタデータ） (2023-06-01T17:57:08Z)
• Reduce, Reuse, Recycle: Compositional Generation with Energy-Based Diffusion Models and MCMC [102.64648158034568]
  拡散モデルは、多くの領域において、生成モデリングの一般的なアプローチとなっている。 本稿では,新しい構成演算子の利用を可能にする拡散モデルのエネルギーベースパラメータ化を提案する。 これらのサンプルは、幅広い問題にまたがって構成生成の顕著な改善につながっている。
  論文  参考訳（メタデータ） (2023-02-22T18:48:46Z)
• Compositional Visual Generation with Composable Diffusion Models [80.75258849913574]
  拡散モデルを用いた構成生成のための代替的な構造的アプローチを提案する。 画像は拡散モデルの集合を構成することで生成され、それぞれが画像の特定のコンポーネントをモデル化する。 提案手法は, トレーニングで見られるものよりもはるかに複雑なシーンを, テスト時に生成することができる。
  論文  参考訳（メタデータ） (2022-06-03T17:47:04Z)
• Translational Concept Embedding for Generalized Compositional Zero-shot Learning [73.60639796305415]
  一般合成ゼロショット学習は、ゼロショット方式で属性オブジェクト対の合成概念を学習する手段である。 本稿では,これら2つの課題を統一的なフレームワークで解決するために,翻訳概念の埋め込み(translational concept embedded)という新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2021-12-20T21:27:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。