論文の概要: Unveiling Concept Attribution in Diffusion Models

• arxiv url: http://arxiv.org/abs/2412.02542v1
• Date: Tue, 03 Dec 2024 16:34:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:48:22.504208
• Title: Unveiling Concept Attribution in Diffusion Models
• Title（参考訳）: 拡散モデルにおける解離概念の寄与
• Authors: Quang H. Nguyen, Hoang Phan, Khoa D. Doan,
• Abstract要約: トレーニングされたモデルはブラックボックスのままで、オブジェクトやスタイルといった概念を示す上でのコンポーネントの役割についてはほとんど分かっていません。 最近の研究では、それらの層がターゲットの概念にどのように貢献するかを示すことなく、生成モデルに知識を格納するレイヤをローカライズするために因果トレースを採用している。 拡散モデルを分解するためにコンポーネント属性を適用し、コンポーネントが概念にどのように貢献するかを明らかにする。
• 参考スコア（独自算出の注目度）: 7.974430263940756
• License:
• Abstract: Diffusion models have shown remarkable abilities in generating realistic and high-quality images from text prompts. However, a trained model remains black-box; little do we know about the role of its components in exhibiting a concept such as objects or styles. Recent works employ causal tracing to localize layers storing knowledge in generative models without showing how those layers contribute to the target concept. In this work, we approach the model interpretability problem from a more general perspective and pose a question: \textit{``How do model components work jointly to demonstrate knowledge?''}. We adapt component attribution to decompose diffusion models, unveiling how a component contributes to a concept. Our framework allows effective model editing, in particular, we can erase a concept from diffusion models by removing positive components while remaining knowledge of other concepts. Surprisingly, we also show there exist components that contribute negatively to a concept, which has not been discovered in the knowledge localization approach. Experimental results confirm the role of positive and negative components pinpointed by our framework, depicting a complete view of interpreting generative models. Our code is available at \url{https://github.com/mail-research/CAD-attribution4diffusion}
• Abstract（参考訳）: 拡散モデルは、テキストプロンプトから現実的で高品質な画像を生成する際、顕著な能力を示した。 しかし、トレーニングされたモデルはブラックボックスのままであり、オブジェクトやスタイルといった概念を示す上でのコンポーネントの役割についてはほとんど分かっていません。 最近の研究では、それらの層がターゲットの概念にどのように貢献するかを示すことなく、生成モデルに知識を格納するレイヤをローカライズするために因果トレースを採用している。 本稿では,より一般的な視点からモデル解釈可能性問題にアプローチし,次のような疑問を提起する。 拡散モデルを分解するためにコンポーネント属性を適用し、コンポーネントが概念にどのように貢献するかを明らかにする。 我々のフレームワークは効果的なモデル編集を可能にし、特に、他の概念の知識を保ちながら正の成分を除去することで、拡散モデルから概念を消去することができる。 驚くべきことに、知識ローカライゼーションアプローチでは発見されていない概念に否定的に寄与する成分が存在することも示している。 実験結果から, 生成モデルを完全に解釈する上での肯定的, 否定的要素の役割が確認された。 私たちのコードは \url{https://github.com/mail-research/CAD-attribution4diffusion} で利用可能です。

関連論文リスト

• Scaling Concept With Text-Guided Diffusion Models [53.80799139331966]
  概念を置き換える代わりに、概念自体を強化するか、あるいは抑圧できるだろうか? ScalingConceptは、分解された概念を、新しい要素を導入することなく、実際の入力でスケールアップまたはスケールダウンする、シンプルで効果的な方法である。 さらに重要なのは、ScalingConceptは画像とオーディオドメインにまたがる様々な新しいゼロショットアプリケーションを可能にすることだ。
  論文  参考訳（メタデータ） (2024-10-31T17:09:55Z)
• Human-Object Interaction Detection Collaborated with Large Relation-driven Diffusion Models [65.82564074712836]
  テキストと画像の拡散モデルに光を流す新しいHOI検出器であるDIFfusionHOIを紹介する。 まず、埋め込み空間における人間と物体の関係パターンの表現をインバージョンベースで学習する戦略を考案する。 これらの学習された関係埋め込みはテキストのプロンプトとして機能し、スタイア拡散モデルが特定の相互作用を記述する画像を生成する。
  論文  参考訳（メタデータ） (2024-10-26T12:00:33Z)
• How to Blend Concepts in Diffusion Models [48.68800153838679]
  近年の手法は複数の潜在表現とその関連性を利用しており、この研究はさらに絡み合っている。 我々のゴールは、潜在空間における操作が根底にある概念にどのように影響するかを理解することです。 我々の結論は、宇宙操作によるブレンドの概念は可能であるが、最良の戦略はブレンドの文脈に依存する。
  論文  参考訳（メタデータ） (2024-07-19T13:05:57Z)
• Concept Arithmetics for Circumventing Concept Inhibition in Diffusion Models [58.065255696601604]
  拡散モデルの合成特性を使い、単一の画像生成において複数のプロンプトを利用することができる。 本論では, 画像生成の可能なすべてのアプローチを, 相手が適用可能な拡散モデルで検討することが重要であると論じる。
  論文  参考訳（メタデータ） (2024-04-21T16:35:16Z)
• Attributing Learned Concepts in Neural Networks to Training Data [5.930268338525991]
  コンバージェンス(収束)の証拠として,概念の上位1万個の画像を取り除き,モデルの再トレーニングを行うと,ネットワーク内の概念の位置が変化しない。 このことは、概念の発達を知らせる特徴が、概念形成の堅牢さを暗示して、その先例にまたがるより拡散した方法で広がることを示唆している。
  論文  参考訳（メタデータ） (2023-10-04T20:26:59Z)
• The Hidden Language of Diffusion Models [70.03691458189604]
  本稿では,テキスト概念の内部表現を拡散モデルで解釈する新しい手法であるConceptorを提案する。 概念間の驚くべき視覚的つながりは、それらのテキスト意味論を超越している。 我々はまた、模範的、偏見、名高い芸術様式、あるいは複数の意味の同時融合に依存する概念も発見する。
  論文  参考訳（メタデータ） (2023-06-01T17:57:08Z)
• Ered: Enhanced Text Representations with Entities and Descriptions [5.977668609935748]
  外部知識(エンティティやエンティティ記述など)は、人間がテキストを理解するのに役立つ。 本稿では、微調整段階において、エンティティとエンティティ記述の両方を明示的に含意することを目的としている。 我々は4つの知識指向タスクと2つの共通タスクについて実験を行い、その結果、いくつかのデータセットで新たな最先端を達成できた。
  論文  参考訳（メタデータ） (2022-08-18T16:51:16Z)
• Translational Concept Embedding for Generalized Compositional Zero-shot Learning [73.60639796305415]
  一般合成ゼロショット学習は、ゼロショット方式で属性オブジェクト対の合成概念を学習する手段である。 本稿では,これら2つの課題を統一的なフレームワークで解決するために,翻訳概念の埋め込み(translational concept embedded)という新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2021-12-20T21:27:51Z)
• Relation-aware Compositional Zero-shot Learning for Attribute-Object Pair Recognition [17.464548471883948]
  本稿では,複合属性オブジェクトの概念を用いた画像認識モデルを提案する。 属性オブジェクトペアを構成するプリミティブな概念に対して,リッチで堅牢な特徴を学習するために必要な3つの重要な特性について検討する。 モデルが合成概念に偏りを生じないようにし,属性とオブジェクト間の絡み合いを低減するため,ブロック機構を提案する。
  論文  参考訳（メタデータ） (2021-08-10T11:23:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。