論文の概要: Post-Hoc Concept Disentanglement: From Correlated to Isolated Concept Representations
- arxiv url: http://arxiv.org/abs/2503.05522v1
- Date: Fri, 07 Mar 2025 15:45:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-10 12:24:59.392745
- Title: Post-Hoc Concept Disentanglement: From Correlated to Isolated Concept Representations
- Title（参考訳）: ポストホック概念の絡み合い--概念表現の関連から独立した概念表現へ
- Authors: Eren Erogullari, Sebastian Lapuschkin, Wojciech Samek, Frederik Pahde,
- Abstract要約: 概念活性化ベクトル(Concept Activation Vectors, CAV)は、人間の理解可能な概念をモデル化するために広く使われている。
それらは、概念サンプルの活性化から非概念サンプルの活性化までの方向を特定することによって訓練される。
この方法は、"beard"や"necktie"のような類似した概念に対して、類似した非直交方向を生成する。
この絡み合いは、分離された概念の解釈を複雑にし、CAVアプリケーションにおいて望ましくない効果をもたらす可能性がある。
- 参考スコア（独自算出の注目度）: 12.072112471560716
- License:
- Abstract: Concept Activation Vectors (CAVs) are widely used to model human-understandable concepts as directions within the latent space of neural networks. They are trained by identifying directions from the activations of concept samples to those of non-concept samples. However, this method often produces similar, non-orthogonal directions for correlated concepts, such as "beard" and "necktie" within the CelebA dataset, which frequently co-occur in images of men. This entanglement complicates the interpretation of concepts in isolation and can lead to undesired effects in CAV applications, such as activation steering. To address this issue, we introduce a post-hoc concept disentanglement method that employs a non-orthogonality loss, facilitating the identification of orthogonal concept directions while preserving directional correctness. We evaluate our approach with real-world and controlled correlated concepts in CelebA and a synthetic FunnyBirds dataset with VGG16 and ResNet18 architectures. We further demonstrate the superiority of orthogonalized concept representations in activation steering tasks, allowing (1) the insertion of isolated concepts into input images through generative models and (2) the removal of concepts for effective shortcut suppression with reduced impact on correlated concepts in comparison to baseline CAVs.
- Abstract（参考訳）: 概念活性化ベクトル(Concept Activation Vectors, CAV)は、ニューラルネットワークの潜在空間内の方向として、人間の理解可能な概念をモデル化するために広く使用されている。
それらは、概念サンプルの活性化から非概念サンプルの活性化までの方向を特定することによって訓練される。
しかし、この方法はしばしば、男性の画像でしばしば共起するCelebAデータセット内の"beard"や"necktie"のような、関連する概念に対して類似した非直交方向を生成する。
この絡み合いは、分離された概念の解釈を複雑にし、活性化ステアリングのようなCAV応用において望ましくない効果をもたらす可能性がある。
この問題に対処するために,直交的でない損失を生かし,方向の正しさを保ちながら直交的概念方向の同定を容易にするポストホックな概念非絡み込み手法を提案する。
我々は,CelebAとVGG16およびResNet18アーキテクチャを用いた合成FunnyBirdsデータセットにおける実世界および相関概念を用いて,我々のアプローチを評価した。
さらに,活性化ステアリングタスクにおける直交化概念表現の優位性を示し,(1)生成モデルによる入力画像への分離概念の挿入,(2)ベースラインCAVと比較して相関概念への影響を低減した効率的なショートカット抑制のための概念の除去を実現した。
関連論文リスト
- OmniPrism: Learning Disentangled Visual Concept for Image Generation [57.21097864811521]
創造的な視覚概念の生成は、しばしば関連する結果を生み出すために参照イメージ内の特定の概念からインスピレーションを引き出す。
我々は,創造的画像生成のための視覚的概念分離手法であるOmniPrismを提案する。
提案手法は,自然言語で案内される不整合概念表現を学習し,これらの概念を組み込むために拡散モデルを訓練する。
論文 参考訳（メタデータ） (2024-12-16T18:59:52Z) - Improving Intervention Efficacy via Concept Realignment in Concept Bottleneck Models [57.86303579812877]
概念ボトルネックモデル (Concept Bottleneck Models, CBM) は、人間の理解可能な概念に基づいて、解釈可能なモデル決定を可能にする画像分類である。
既存のアプローチは、強いパフォーマンスを達成するために、画像ごとに多数の人間の介入を必要とすることが多い。
本稿では,概念関係を利用した学習型概念認識介入モジュールについて紹介する。
論文 参考訳（メタデータ） (2024-05-02T17:59:01Z) - Cross-Modal Conceptualization in Bottleneck Models [21.2577097041883]
概念ボトルネックモデル(CBM)は、訓練例(例えば、x線画像)が高レベルの概念で注釈付けされていると仮定する。
このアプローチでは、より穏健な仮定を採用し、代わりに、訓練中の画像に付随するテキスト記述を用いて概念の導出を誘導する。
我々のクロスモーダルアプローチは,概念を離散潜在変数として扱い,(1)ラベルの予測,(2)画像とテキストの両方から確実に予測できる概念を促進する。
論文 参考訳（メタデータ） (2023-10-23T11:00:19Z) - Implicit Concept Removal of Diffusion Models [92.55152501707995]
テキスト・ツー・イメージ(T2I)拡散モデルはしばしば、透かしや安全でない画像のような望ましくない概念を不注意に生成する。
幾何学駆動制御に基づく新しい概念除去手法であるGeom-Erasingを提案する。
論文 参考訳（メタデータ） (2023-10-09T17:13:10Z) - Deep Concept Removal [29.65899467379793]
ディープニューラルネットワークにおける概念除去の問題に対処する。
本稿では,概念データセットに基づいて学習した逆線形分類器に基づく新しい手法を提案する。
また,逆行訓練に伴う課題に対処するために,暗黙の勾配に基づく手法を導入する。
論文 参考訳（メタデータ） (2023-10-09T14:31:03Z) - Interpretable Neural-Symbolic Concept Reasoning [7.1904050674791185]
概念に基づくモデルは、人間の理解可能な概念のセットに基づいてタスクを学習することでこの問題に対処することを目的としている。
本稿では,概念埋め込みに基づく最初の解釈可能な概念ベースモデルであるDeep Concept Reasoner (DCR)を提案する。
論文 参考訳（メタデータ） (2023-04-27T09:58:15Z) - Concept Activation Regions: A Generalized Framework For Concept-Based
Explanations [95.94432031144716]
既存の手法では、概念を説明する例は、ディープニューラルネットワークの潜伏空間の一定の方向にマッピングされていると仮定している。
そこで本研究では,DNNの潜在空間において,異なるクラスタに分散した概念例を提案する。
この概念活性化領域(CAR)は、グローバルな概念に基づく説明と局所的な概念に基づく特徴の重要性をもたらす。
論文 参考訳（メタデータ） (2022-09-22T17:59:03Z) - Concept Gradient: Concept-based Interpretation Without Linear Assumption [77.96338722483226]
概念活性化ベクトル(Concept Activation Vector, CAV)は、与えられたモデルと概念の潜在表現の間の線形関係を学習することに依存する。
我々は、線形概念関数を超えて概念に基づく解釈を拡張する概念グラディエント(CG)を提案した。
我々は、CGがおもちゃの例と実世界のデータセットの両方でCAVより優れていることを実証した。
論文 参考訳（メタデータ） (2022-08-31T17:06:46Z) - Exploring Concept Contribution Spatially: Hidden Layer Interpretation
with Spatial Activation Concept Vector [5.873416857161077]
コンセプトアクティベーションベクトル(TCAV)を使用したテストは、クエリ概念のターゲットクラスへのコントリビューションを定量化する強力なツールを提供する。
対象物が領域のごく一部しか占有していない画像の場合、TCAV評価は冗長な背景特徴によって妨害される可能性がある。
論文 参考訳（メタデータ） (2022-05-21T15:58:57Z) - Visual Concepts Tokenization [65.61987357146997]
本稿では,教師なしトランスフォーマーに基づく視覚概念トークン化フレームワーク VCT を提案する。
これらの概念トークンを得るためには、概念トークン間の自己注意なしで画像トークン層から視覚情報を抽出するために、クロスアテンションのみを用いる。
さらに,異なる概念トークンが独立した視覚概念を表現することを容易にするために,概念分離損失を提案する。
論文 参考訳（メタデータ） (2022-05-20T11:25:31Z) - Navigating Neural Space: Revisiting Concept Activation Vectors to
Overcome Directional Divergence [14.071950294953005]
概念活性化ベクトル (Concept Activation Vectors, CAV) は、潜在空間における人間の理解可能な概念をモデル化するための一般的なツールである。
本稿では、そのような分離性指向の解が、概念の方向性を正確にモデル化する実際の目標から逸脱する可能性があることを示す。
パターンベースのCAVを導入し、概念信号のみに着目し、より正確な概念指示を提供する。
論文 参考訳（メタデータ） (2022-02-07T19:40:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。