論文の概要: Navigating Neural Space: Revisiting Concept Activation Vectors to
Overcome Directional Divergence
- arxiv url: http://arxiv.org/abs/2202.03482v2
- Date: Mon, 5 Feb 2024 12:56:43 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-07 07:28:42.561024
- Title: Navigating Neural Space: Revisiting Concept Activation Vectors to
Overcome Directional Divergence
- Title（参考訳）: 神経空間のナビゲート:方向の分岐を克服する概念活性化ベクトルの再検討
- Authors: Frederik Pahde, Maximilian Dreyer, Leander Weber, Moritz Weckbecker,
Christopher J. Anders, Thomas Wiegand, Wojciech Samek, Sebastian Lapuschkin
- Abstract要約: 概念活性化ベクトル (Concept Activation Vectors, CAV) は、潜在空間における人間の理解可能な概念をモデル化するための一般的なツールである。
本稿では、そのような分離性指向の解が、概念の方向性を正確にモデル化する実際の目標から逸脱する可能性があることを示す。
パターンベースのCAVを導入し、概念信号のみに着目し、より正確な概念指示を提供する。
- 参考スコア（独自算出の注目度）: 14.071950294953005
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With a growing interest in understanding neural network prediction
strategies, Concept Activation Vectors (CAVs) have emerged as a popular tool
for modeling human-understandable concepts in the latent space. Commonly, CAVs
are computed by leveraging linear classifiers optimizing the separability of
latent representations of samples with and without a given concept. However, in
this paper we show that such a separability-oriented computation leads to
solutions, which may diverge from the actual goal of precisely modeling the
concept direction. This discrepancy can be attributed to the significant
influence of distractor directions, i.e., signals unrelated to the concept,
which are picked up by filters (i.e., weights) of linear models to optimize
class-separability. To address this, we introduce pattern-based CAVs, solely
focussing on concept signals, thereby providing more accurate concept
directions. We evaluate various CAV methods in terms of their alignment with
the true concept direction and their impact on CAV applications, including
concept sensitivity testing and model correction for shortcut behavior caused
by data artifacts. We demonstrate the benefits of pattern-based CAVs using the
Pediatric Bone Age, ISIC2019, and FunnyBirds datasets with VGG, ResNet, and
EfficientNet model architectures.
- Abstract（参考訳）: ニューラルネットワークの予測戦略を理解することへの関心が高まる中、概念活性化ベクトル(cav)は潜在空間における人間の理解可能な概念をモデル化するための一般的なツールとして登場してきた。
一般に、CAVは、与えられた概念を伴わないサンプルの潜在表現の分離性を最適化する線形分類器を利用して計算される。
しかし,本論文では,このような分離性指向の計算が,概念の方向性を正確にモデル化する実際の目標から逸脱する可能性を示した。
この相違は、不注意な方向、すなわち概念とは無関係な信号がクラス分離性を最適化するために線形モデルのフィルタ(すなわち重み)によって拾われることに起因する可能性がある。
そこで我々は,概念信号のみに着目したパターンベースCAVを導入し,より正確な概念指示を提供する。
データアーチファクトによるショートカット動作に対する概念感度試験やモデル修正を含む,CAVの真の概念方向との整合性や,CAV応用への影響の観点から,各種CAV手法の評価を行った。
本稿では,VGG,ResNet,EfficientNetモデルアーキテクチャを用いたPediatric Bone Age,ISIC2019,FunnyBirdsデータセットを用いたパターンベースCAVの利点を示す。
関連論文リスト
- Discover-then-Name: Task-Agnostic Concept Bottlenecks via Automated Concept Discovery [52.498055901649025]
ディープニューラルネットワークの「ブラックボックス」問題に対処するために、概念ボトルネックモデル(CBM)が提案されている。
本稿では,典型的なパラダイムを逆転させる新しいCBMアプローチであるDiscover-then-Name-CBM(DN-CBM)を提案する。
我々の概念抽出戦略は、下流のタスクに非依存であり、既にそのモデルに知られている概念を使用するため、効率的である。
論文 参考訳（メタデータ） (2024-07-19T17:50:11Z) - Improving the Explain-Any-Concept by Introducing Nonlinearity to the Trainable Surrogate Model [4.6040036610482655]
EAC(Explain Any Concept)モデルは、意思決定を説明するフレキシブルな方法です。
EACモデルは、ターゲットモデルをシミュレートする訓練可能な1つの線形層を持つ代理モデルを用いている。
元のサロゲートモデルに追加の非線形層を導入することで、ERCモデルの性能を向上させることができることを示す。
論文 参考訳（メタデータ） (2024-05-20T07:25:09Z) - Improving Intervention Efficacy via Concept Realignment in Concept Bottleneck Models [57.86303579812877]
概念ボトルネックモデル (Concept Bottleneck Models, CBM) は、人間の理解可能な概念に基づいて、解釈可能なモデル決定を可能にする画像分類である。
既存のアプローチは、強いパフォーマンスを達成するために、画像ごとに多数の人間の介入を必要とすることが多い。
本稿では,概念関係を利用した学習型概念認識介入モジュールについて紹介する。
論文 参考訳（メタデータ） (2024-05-02T17:59:01Z) - Understanding the (Extra-)Ordinary: Validating Deep Model Decisions with Prototypical Concept-based Explanations [13.60538902487872]
本稿では, 実例的(地域的)かつクラス的(グローバル的)な意思決定戦略をプロトタイプを通じて伝達する, ポストホックなコンセプトベースXAIフレームワークを提案する。
我々は,3つのデータセットにまたがるアウト・オブ・ディストリビューション・サンプル,突発的なモデル行動,データ品質問題同定におけるアプローチの有効性を実証する。
論文 参考訳（メタデータ） (2023-11-28T10:53:26Z) - Identifying Linear Relational Concepts in Large Language Models [16.917379272022064]
トランスフォーマー言語モデル(LM)は、隠れたアクティベーションの潜在空間における方向として概念を表現することが示されている。
本稿では,リレーショナル・リレーショナル・コンセプト (LRC) と呼ばれる手法を提案する。
論文 参考訳（メタデータ） (2023-11-15T14:01:41Z) - Learning Transferable Conceptual Prototypes for Interpretable
Unsupervised Domain Adaptation [79.22678026708134]
本稿では,Transferable Prototype Learning (TCPL) という,本質的に解釈可能な手法を提案する。
この目的を達成するために、ソースドメインからターゲットドメインにカテゴリの基本概念を転送する階層的なプロトタイプモジュールを設計し、基礎となる推論プロセスを説明するためにドメイン共有プロトタイプを学習する。
総合的な実験により,提案手法は有効かつ直感的な説明を提供するだけでなく,従来の最先端技術よりも優れていることが示された。
論文 参考訳（メタデータ） (2023-10-12T06:36:41Z) - Concept Gradient: Concept-based Interpretation Without Linear Assumption [77.96338722483226]
概念活性化ベクトル(Concept Activation Vector, CAV)は、与えられたモデルと概念の潜在表現の間の線形関係を学習することに依存する。
我々は、線形概念関数を超えて概念に基づく解釈を拡張する概念グラディエント(CG)を提案した。
我々は、CGがおもちゃの例と実世界のデータセットの両方でCAVより優れていることを実証した。
論文 参考訳（メタデータ） (2022-08-31T17:06:46Z) - Exploring Concept Contribution Spatially: Hidden Layer Interpretation
with Spatial Activation Concept Vector [5.873416857161077]
コンセプトアクティベーションベクトル(TCAV)を使用したテストは、クエリ概念のターゲットクラスへのコントリビューションを定量化する強力なツールを提供する。
対象物が領域のごく一部しか占有していない画像の場合、TCAV評価は冗長な背景特徴によって妨害される可能性がある。
論文 参考訳（メタデータ） (2022-05-21T15:58:57Z) - Closed-Form Factorization of Latent Semantics in GANs [65.42778970898534]
画像合成のために訓練されたGAN(Generative Adversarial Networks)の潜在空間に、解釈可能な次元の豊富なセットが出現することが示されている。
本研究では,GANが学習した内部表現について検討し,その基礎となる変動要因を教師なしで明らかにする。
本稿では,事前学習した重みを直接分解することで,潜在意味発見のためのクローズドフォーム因数分解アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-07-13T18:05:36Z) - Invertible Concept-based Explanations for CNN Models with Non-negative
Concept Activation Vectors [24.581839689833572]
コンピュータビジョンのための畳み込みニューラルネットワーク(CNN)モデルは強力だが、最も基本的な形式では説明不可能である。
近似線形モデルの特徴的重要性による最近の説明に関する研究は、入力レベル特徴から概念活性化ベクトル(CAV)の形で中間層特徴写像から特徴へと移行した。
本稿では,Ghorbani etal.のACEアルゴリズムを再考し,その欠点を克服するために,別の非可逆的概念ベース説明(ICE)フレームワークを提案する。
論文 参考訳（メタデータ） (2020-06-27T17:57:26Z) - MetaSDF: Meta-learning Signed Distance Functions [85.81290552559817]
ニューラルな暗示表現で形状を一般化することは、各関数空間上の学習先行値に比例する。
形状空間の学習をメタラーニング問題として定式化し、勾配に基づくメタラーニングアルゴリズムを利用してこの課題を解決する。
論文 参考訳（メタデータ） (2020-06-17T05:14:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。