論文の概要: Unveiling Concept Attribution in Diffusion Models

• arxiv url: http://arxiv.org/abs/2412.02542v1
• Date: Tue, 03 Dec 2024 16:34:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 21:11:23.048863
• Title: Unveiling Concept Attribution in Diffusion Models
• Title（参考訳）: 拡散モデルにおける解離概念の寄与
• Authors: Quang H. Nguyen, Hoang Phan, Khoa D. Doan,
• Abstract要約: トレーニングされたモデルはブラックボックスのままで、オブジェクトやスタイルといった概念を示す上でのコンポーネントの役割についてはほとんど分かっていません。 最近の研究では、それらの層がターゲットの概念にどのように貢献するかを示すことなく、生成モデルに知識を格納するレイヤをローカライズするために因果トレースを採用している。 拡散モデルを分解するためにコンポーネント属性を適用し、コンポーネントが概念にどのように貢献するかを明らかにする。
• 参考スコア（独自算出の注目度）: 7.974430263940756
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion models have shown remarkable abilities in generating realistic and high-quality images from text prompts. However, a trained model remains black-box; little do we know about the role of its components in exhibiting a concept such as objects or styles. Recent works employ causal tracing to localize layers storing knowledge in generative models without showing how those layers contribute to the target concept. In this work, we approach the model interpretability problem from a more general perspective and pose a question: \textit{``How do model components work jointly to demonstrate knowledge?''}. We adapt component attribution to decompose diffusion models, unveiling how a component contributes to a concept. Our framework allows effective model editing, in particular, we can erase a concept from diffusion models by removing positive components while remaining knowledge of other concepts. Surprisingly, we also show there exist components that contribute negatively to a concept, which has not been discovered in the knowledge localization approach. Experimental results confirm the role of positive and negative components pinpointed by our framework, depicting a complete view of interpreting generative models. Our code is available at \url{https://github.com/mail-research/CAD-attribution4diffusion}
• Abstract（参考訳）: 拡散モデルは、テキストプロンプトから現実的で高品質な画像を生成する際、顕著な能力を示した。 しかし、トレーニングされたモデルはブラックボックスのままであり、オブジェクトやスタイルといった概念を示す上でのコンポーネントの役割についてはほとんど分かっていません。 最近の研究では、それらの層がターゲットの概念にどのように貢献するかを示すことなく、生成モデルに知識を格納するレイヤをローカライズするために因果トレースを採用している。 本稿では,より一般的な視点からモデル解釈可能性問題にアプローチし,次のような疑問を提起する。 拡散モデルを分解するためにコンポーネント属性を適用し、コンポーネントが概念にどのように貢献するかを明らかにする。 我々のフレームワークは効果的なモデル編集を可能にし、特に、他の概念の知識を保ちながら正の成分を除去することで、拡散モデルから概念を消去することができる。 驚くべきことに、知識ローカライゼーションアプローチでは発見されていない概念に否定的に寄与する成分が存在することも示している。 実験結果から, 生成モデルを完全に解釈する上での肯定的, 否定的要素の役割が確認された。 私たちのコードは \url{https://github.com/mail-research/CAD-attribution4diffusion} で利用可能です。

関連論文リスト

• Fine-Grained Erasure in Text-to-Image Diffusion-based Foundation Models [56.35484513848296]
  FADE(Fine grained Attenuation for Diffusion Erasure)は、テキストから画像への生成モデルのための非学習アルゴリズムである。 関連する概念に最小限の影響で目標概念を排除し、最先端の手法よりも保持性能が12%向上した。
  論文  参考訳（メタデータ） (2025-03-25T15:49:48Z)
• Concept Layers: Enhancing Interpretability and Intervenability via LLM Conceptualization [2.163881720692685]
  本稿では,概念層をアーキテクチャに組み込むことにより,解釈可能性とインターベンタビリティを既存モデルに組み込む新しい手法を提案する。 我々のアプローチは、モデルの内部ベクトル表現を、再構成してモデルにフィードバックする前に、概念的で説明可能なベクトル空間に投影する。 複数のタスクにまたがるCLを評価し、本来のモデルの性能と合意を維持しつつ、意味のある介入を可能にしていることを示す。
  論文  参考訳（メタデータ） (2025-02-19T11:10:19Z)
• Scaling Concept With Text-Guided Diffusion Models [53.80799139331966]
  概念を置き換える代わりに、概念自体を強化するか、あるいは抑圧できるだろうか? ScalingConceptは、分解された概念を、新しい要素を導入することなく、実際の入力でスケールアップまたはスケールダウンする、シンプルで効果的な方法である。 さらに重要なのは、ScalingConceptは画像とオーディオドメインにまたがる様々な新しいゼロショットアプリケーションを可能にすることだ。
  論文  参考訳（メタデータ） (2024-10-31T17:09:55Z)
• Human-Object Interaction Detection Collaborated with Large Relation-driven Diffusion Models [65.82564074712836]
  テキストと画像の拡散モデルに光を流す新しいHOI検出器であるDIFfusionHOIを紹介する。 まず、埋め込み空間における人間と物体の関係パターンの表現をインバージョンベースで学習する戦略を考案する。 これらの学習された関係埋め込みはテキストのプロンプトとして機能し、スタイア拡散モデルが特定の相互作用を記述する画像を生成する。
  論文  参考訳（メタデータ） (2024-10-26T12:00:33Z)
• ProtoS-ViT: Visual foundation models for sparse self-explainable classifications [0.6249768559720122]
  プロトタイプネットワークは、概念の線形和に基づいて本質的に説明可能なモデルを構築することを目的としている。 この研究はまず、現在の原型ネットワークにおける欠点を識別できる量的および質的なメトリクスの広範なセットを提案する。 その後、コンパクトな説明を提供する新しいアーキテクチャを導入し、説明品質の観点から現在の原型モデルより優れている。
  論文  参考訳（メタデータ） (2024-06-14T13:36:30Z)
• Advancing Ante-Hoc Explainable Models through Generative Adversarial Networks [24.45212348373868]
  本稿では,視覚的分類タスクにおけるモデル解釈可能性と性能を向上させるための新しい概念学習フレームワークを提案する。 本手法では, 教師なし説明生成器を一次分類器ネットワークに付加し, 対角訓練を利用する。 この研究は、タスク整合概念表現を用いた本質的に解釈可能なディープビジョンモデルを構築するための重要なステップを示す。
  論文  参考訳（メタデータ） (2024-01-09T16:16:16Z)
• Attributing Learned Concepts in Neural Networks to Training Data [5.930268338525991]
  コンバージェンス(収束)の証拠として,概念の上位1万個の画像を取り除き,モデルの再トレーニングを行うと,ネットワーク内の概念の位置が変化しない。 このことは、概念の発達を知らせる特徴が、概念形成の堅牢さを暗示して、その先例にまたがるより拡散した方法で広がることを示唆している。
  論文  参考訳（メタデータ） (2023-10-04T20:26:59Z)
• The Hidden Language of Diffusion Models [70.03691458189604]
  本稿では,テキスト概念の内部表現を拡散モデルで解釈する新しい手法であるConceptorを提案する。 概念間の驚くべき視覚的つながりは、それらのテキスト意味論を超越している。 我々はまた、模範的、偏見、名高い芸術様式、あるいは複数の意味の同時融合に依存する概念も発見する。
  論文  参考訳（メタデータ） (2023-06-01T17:57:08Z)
• Reduce, Reuse, Recycle: Compositional Generation with Energy-Based Diffusion Models and MCMC [102.64648158034568]
  拡散モデルは、多くの領域において、生成モデリングの一般的なアプローチとなっている。 本稿では,新しい構成演算子の利用を可能にする拡散モデルのエネルギーベースパラメータ化を提案する。 これらのサンプルは、幅広い問題にまたがって構成生成の顕著な改善につながっている。
  論文  参考訳（メタデータ） (2023-02-22T18:48:46Z)
• Compositional Visual Generation with Composable Diffusion Models [80.75258849913574]
  拡散モデルを用いた構成生成のための代替的な構造的アプローチを提案する。 画像は拡散モデルの集合を構成することで生成され、それぞれが画像の特定のコンポーネントをモデル化する。 提案手法は, トレーニングで見られるものよりもはるかに複雑なシーンを, テスト時に生成することができる。
  論文  参考訳（メタデータ） (2022-06-03T17:47:04Z)
• Translational Concept Embedding for Generalized Compositional Zero-shot Learning [73.60639796305415]
  一般合成ゼロショット学習は、ゼロショット方式で属性オブジェクト対の合成概念を学習する手段である。 本稿では,これら2つの課題を統一的なフレームワークで解決するために,翻訳概念の埋め込み(translational concept embedded)という新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2021-12-20T21:27:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。