論文の概要: Do Concept Bottleneck Models Obey Locality?
- arxiv url: http://arxiv.org/abs/2401.01259v1
- Date: Tue, 2 Jan 2024 16:05:23 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-03 13:37:52.652307
- Title: Do Concept Bottleneck Models Obey Locality?
- Title(参考訳): 概念ボトルネックモデルは局所性に従うか?
- Authors: Naveen Raman, Mateo Espinosa Zarlenga, Juyeon Heo, Mateja Jamnik
- Abstract要約: 概念に基づく学習は、人間の理解可能な概念を通して予測を説明することによって、深層学習モデルの解釈可能性を改善する。
最近の研究は、この仮定がConcept Bottleneck Models(CBM)で成り立たないことを強く示唆している。
CBMは、そのような概念が空間的にも意味的にも局所化されているとき、概念間の条件独立の度合いを捉えている。
その結果,CBMが学習した概念表現の質に疑問を呈し,概念に基づく説明は地域外の変化に対して脆弱である可能性が強く示唆された。
- 参考スコア(独自算出の注目度): 16.141263815153206
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Concept-based learning improves a deep learning model's interpretability by
explaining its predictions via human-understandable concepts. Deep learning
models trained under this paradigm heavily rely on the assumption that neural
networks can learn to predict the presence or absence of a given concept
independently of other concepts. Recent work, however, strongly suggests that
this assumption may fail to hold in Concept Bottleneck Models (CBMs), a
quintessential family of concept-based interpretable architectures. In this
paper, we investigate whether CBMs correctly capture the degree of conditional
independence across concepts when such concepts are localised both spatially,
by having their values entirely defined by a fixed subset of features, and
semantically, by having their values correlated with only a fixed subset of
predefined concepts. To understand locality, we analyse how changes to features
outside of a concept's spatial or semantic locality impact concept predictions.
Our results suggest that even in well-defined scenarios where the presence of a
concept is localised to a fixed feature subspace, or whose semantics are
correlated to a small subset of other concepts, CBMs fail to learn this
locality. These results cast doubt upon the quality of concept representations
learnt by CBMs and strongly suggest that concept-based explanations may be
fragile to changes outside their localities.
- Abstract(参考訳): 概念に基づく学習は、人間の理解可能な概念を通して予測を説明することによって、深層学習モデルの解釈可能性を改善する。
このパラダイムの下でトレーニングされたディープラーニングモデルは、ニューラルネットワークが他の概念とは独立して与えられた概念の存在や欠如を予測することができるという仮定に大きく依存している。
しかし、最近の研究は、この仮定が概念ベースの解釈可能なアーキテクチャの4つのファミリーであるConcept Bottleneck Models (CBM) で成り立たないことを強く示唆している。
本稿では,これらの概念が空間的にローカライズされた場合に,cbmsが条件付き独立度を正しく把握するかどうかを,その値を特徴の固定部分集合で完全に定義し,その値を予め定義された概念の固定部分集合にのみ関連付けることで意味論的に検討する。
局所性を理解するために,概念の空間的あるいは意味的局所性以外の特徴の変化が概念予測に与える影響を分析する。
以上の結果から,ある概念の存在が固定された特徴部分空間に局所化されている場合,あるいは意味が他の概念の小さな部分集合と相関している場合においても,CBMはそのような局所性を学習できないことが示唆された。
これらの結果は、CBMが学習した概念表現の質に疑問を呈し、概念に基づく説明が地域外の変化に脆弱である可能性を強く示唆した。
関連論文リスト
- Can we Constrain Concept Bottleneck Models to Learn Semantically
Meaningful Input Features? [0.6993232019625149]
概念ボトルネックモデル(CBM)は、人間の定義した概念の集合を最初に予測するため、本質的に解釈可能であると考えられている。
固有解釈可能性を完全に実現するためには、意味的にマッピングされた入力機能に基づいて概念が予測されることを保証する必要がある。
我々はCBMが問題となる概念相関を取り除き,意味的マッピングによる概念表現を入力特徴へ学習できることを実証した。
論文 参考訳(メタデータ) (2024-02-01T10:18:43Z) - ConcEPT: Concept-Enhanced Pre-Training for Language Models [57.778895980999124]
ConcEPTは、概念知識を事前訓練された言語モデルに注入することを目的としている。
これは、事前訓練されたコンテキストで言及されたエンティティの概念を予測するために、外部エンティティの概念予測を利用する。
実験の結果,ConcEPTは概念強化事前学習により概念知識を向上することがわかった。
論文 参考訳(メタデータ) (2024-01-11T05:05:01Z) - Interpreting Pretrained Language Models via Concept Bottlenecks [55.47515772358389]
事前訓練された言語モデル(PLM)は、様々な自然言語処理タスクにおいて大きな進歩を遂げてきた。
ブラックボックスの性質による解釈可能性の欠如は、責任ある実装に課題をもたらす。
本研究では,人間にとって理解しやすい高レベルで有意義な概念を用いて,PLMを解釈する新しい手法を提案する。
論文 参考訳(メタデータ) (2023-11-08T20:41:18Z) - Probabilistic Concept Bottleneck Models [26.789507935869107]
解釈可能なモデルは、人間の解釈可能な方法で決定を下すように設計されている。
本研究では,信頼性を損なうようなあいまいさの問題に対処する。
確率論的概念ボトルネックモデル(ProbCBM)を提案する。
論文 参考訳(メタデータ) (2023-06-02T14:38:58Z) - Interpretable Neural-Symbolic Concept Reasoning [7.1904050674791185]
概念に基づくモデルは、人間の理解可能な概念のセットに基づいてタスクを学習することでこの問題に対処することを目的としている。
本稿では,概念埋め込みに基づく最初の解釈可能な概念ベースモデルであるDeep Concept Reasoner (DCR)を提案する。
論文 参考訳(メタデータ) (2023-04-27T09:58:15Z) - Concept Activation Regions: A Generalized Framework For Concept-Based
Explanations [95.94432031144716]
既存の手法では、概念を説明する例は、ディープニューラルネットワークの潜伏空間の一定の方向にマッピングされていると仮定している。
そこで本研究では,DNNの潜在空間において,異なるクラスタに分散した概念例を提案する。
この概念活性化領域(CAR)は、グローバルな概念に基づく説明と局所的な概念に基づく特徴の重要性をもたらす。
論文 参考訳(メタデータ) (2022-09-22T17:59:03Z) - Concept Gradient: Concept-based Interpretation Without Linear Assumption [77.96338722483226]
概念活性化ベクトル(Concept Activation Vector, CAV)は、与えられたモデルと概念の潜在表現の間の線形関係を学習することに依存する。
我々は、線形概念関数を超えて概念に基づく解釈を拡張する概念グラディエント(CG)を提案した。
我々は、CGがおもちゃの例と実世界のデータセットの両方でCAVより優れていることを実証した。
論文 参考訳(メタデータ) (2022-08-31T17:06:46Z) - GlanceNets: Interpretabile, Leak-proof Concept-based Models [23.7625973884849]
概念ベースモデル(CBM)は、高レベルの概念の語彙の獲得と推論によって、ハイパフォーマンスと解釈可能性を組み合わせる。
我々は、モデル表現と基礎となるデータ生成プロセスとの整合性の観点から、解釈可能性を明確に定義する。
GlanceNetsは不整合表現学習とオープンセット認識の技法を利用してアライメントを実現する新しいCBMである。
論文 参考訳(メタデータ) (2022-05-31T08:53:53Z) - Sparse Subspace Clustering for Concept Discovery (SSCCD) [1.7319807100654885]
概念は高いレベルの人間の理解の鍵となる構成要素である。
局所帰属法では、サンプル間のコヒーレントモデル挙動を特定できない。
隠れた特徴層の低次元部分空間として、新しい概念の定義を提唱した。
論文 参考訳(メタデータ) (2022-03-11T16:15:48Z) - Human-Centered Concept Explanations for Neural Networks [47.71169918421306]
概念活性化ベクトル(Concept Activation Vectors, CAV)のクラスを含む概念的説明を紹介する。
次に、自動的に概念を抽出するアプローチと、それらの注意事項に対処するアプローチについて議論する。
最後に、このような概念に基づく説明が、合成設定や実世界の応用において有用であることを示すケーススタディについて論じる。
論文 参考訳(メタデータ) (2022-02-25T01:27:31Z) - Translational Concept Embedding for Generalized Compositional Zero-shot
Learning [73.60639796305415]
一般合成ゼロショット学習は、ゼロショット方式で属性オブジェクト対の合成概念を学習する手段である。
本稿では,これら2つの課題を統一的なフレームワークで解決するために,翻訳概念の埋め込み(translational concept embedded)という新しいアプローチを提案する。
論文 参考訳(メタデータ) (2021-12-20T21:27:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。