論文の概要: Beyond Concept Bottleneck Models: How to Make Black Boxes Intervenable?
- arxiv url: http://arxiv.org/abs/2401.13544v1
- Date: Wed, 24 Jan 2024 16:02:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-25 14:05:08.242682
- Title: Beyond Concept Bottleneck Models: How to Make Black Boxes Intervenable?
- Title(参考訳): コンセプトボトルネックモデルを超えて:ブラックボックスを相互利用可能にするには?
- Authors: Ri\v{c}ards Marcinkevi\v{c}s, Sonia Laguna, Moritz Vandenhirtz, Julia
E. Vogt
- Abstract要約: 本稿では,すでに訓練済みのニューラルネットワークに対して,概念に基づく介入を行う手法を提案する。
本稿では,概念に基づく介入の有効性の尺度として,モデルの介入可能性について定式化する。
微調整は介入効率を向上し、しばしばより良い校正予測をもたらすことを示す。
- 参考スコア(独自算出の注目度): 9.002523763052848
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recently, interpretable machine learning has re-explored concept bottleneck
models (CBM), comprising step-by-step prediction of the high-level concepts
from the raw features and the target variable from the predicted concepts. A
compelling advantage of this model class is the user's ability to intervene on
the predicted concept values, affecting the model's downstream output. In this
work, we introduce a method to perform such concept-based interventions on
already-trained neural networks, which are not interpretable by design, given
an annotated validation set. Furthermore, we formalise the model's
intervenability as a measure of the effectiveness of concept-based
interventions and leverage this definition to fine-tune black-box models.
Empirically, we explore the intervenability of black-box classifiers on
synthetic tabular and natural image benchmarks. We demonstrate that fine-tuning
improves intervention effectiveness and often yields better-calibrated
predictions. To showcase the practical utility of the proposed techniques, we
apply them to deep chest X-ray classifiers and show that fine-tuned black boxes
can be as intervenable and more performant than CBMs.
- Abstract(参考訳): 近年、解釈可能な機械学習は概念ボトルネックモデル (CBM) を再探索し、生の特徴から高レベルの概念を段階的に予測し、予測された概念からターゲット変数を推定する。
このモデルクラスの魅力的な利点は、ユーザが予測された概念値に介入し、モデルの下流出力に影響を与える能力である。
本研究では,アノテートされた検証セットを与えられた設計では解釈できないニューラルネットワークに対して,そのような概念に基づく介入を行う手法を提案する。
さらに,概念に基づく介入の有効性の尺度としてモデルの介入性を定式化し,その定義をブラックボックスモデルに活用する。
実験では,合成表型および自然画像ベンチマークにおけるブラックボックス分類器の相互利用性について検討する。
微調整は介入効率を向上し、しばしばより良い校正予測をもたらすことを示す。
提案手法の実用性を実証するため, 深部胸部X線分類器に適用し, 微調整したブラックボックスはCBMよりもインターベンタブルで高性能であることを示す。
関連論文リスト
- Energy-Based Concept Bottleneck Models: Unifying Prediction, Concept
Intervention, and Probabilistic Interpretations [16.33960472610483]
概念ボトルネックモデル(CBM)は、ブラックボックスのディープラーニングモデルに対する概念ベースの解釈を提供することに成功している。
エネルギーベースコンセプトボトルネックモデル(ECBM)を提案する。
私たちのECBMは、候補(インプット、概念、クラス)の量子化の結合エネルギーを定義するために、ニューラルネットワークのセットを使用します。
論文 参考訳(メタデータ) (2024-01-25T12:46:37Z) - Black-Box Tuning of Vision-Language Models with Effective Gradient
Approximation [71.21346469382821]
ブラックボックスモデルに対するテキストプロンプト最適化と出力特徴適応のための協調ブラックボックスチューニング(CBBT)を導入する。
CBBTは11のダウンストリームベンチマークで広範囲に評価され、既存のブラックボックスVL適応法と比較して顕著に改善されている。
論文 参考訳(メタデータ) (2023-12-26T06:31:28Z) - Auxiliary Losses for Learning Generalizable Concept-based Models [5.4066453042367435]
コンセプト・ボトルネック・モデル (Concept Bottleneck Models, CBM) は導入以来人気を集めている。
CBMは基本的に、モデルの潜在空間を人間に理解可能な高レベルな概念に制限する。
本稿では,協調型コンセプション・ボトルネックモデル(coop-CBM)を提案し,性能トレードオフを克服する。
論文 参考訳(メタデータ) (2023-11-18T15:50:07Z) - Learning to Receive Help: Intervention-Aware Concept Embedding Models [46.7616863339095]
概念ボトルネックモデル (Concept Bottleneck Models, CBM) は、高レベルの概念セットを使用して予測を構築し、説明することによって、ニューラルネットワークの不透明さに対処する。
近年の研究では、介入効果は概念が介入される順序に大きく依存していることが示されている。
IntCEM(Intervention-Aware Concept Embedding Model)は,テスト時間介入に対するモデルの受容性を改善する新しいCBMアーキテクチャとトレーニングパラダイムである。
論文 参考訳(メタデータ) (2023-09-29T02:04:24Z) - Adversarial Attacks on the Interpretation of Neuron Activation
Maximization [70.5472799454224]
アクティベーション最大化アプローチは、訓練されたディープラーニングモデルの解釈と解析に使用される。
本研究では,解釈を欺くためにモデルを操作する敵の概念を考察する。
論文 参考訳(メタデータ) (2023-06-12T19:54:33Z) - I saw, I conceived, I concluded: Progressive Concepts as Bottlenecks [2.9398911304923447]
概念ボトルネックモデル(CBM)は、予測中間概念の修正による推論時の説明可能性と介入を提供する。
これにより、CBMは高い意思決定に魅力的なものとなる。
胎児超音波検査の品質評価を,医療におけるCBM意思決定支援の現実的ユースケースとして捉えた。
論文 参考訳(メタデータ) (2022-11-19T09:31:19Z) - Deep Grey-Box Modeling With Adaptive Data-Driven Models Toward
Trustworthy Estimation of Theory-Driven Models [88.63781315038824]
本稿では,ニューラルネットワークのアーキテクチャとトレーニング目標にわずかな変化を伴って,レギュレータの動作を経験的に分析することのできるフレームワークを提案する。
論文 参考訳(メタデータ) (2022-10-24T10:42:26Z) - MACE: An Efficient Model-Agnostic Framework for Counterfactual
Explanation [132.77005365032468]
MACE(Model-Agnostic Counterfactual Explanation)の新たな枠組みを提案する。
MACE法では, 優れた反実例を見つけるための新しいRL法と, 近接性向上のための勾配のない降下法を提案する。
公開データセットの実験は、有効性、空間性、近接性を向上して検証する。
論文 参考訳(メタデータ) (2022-05-31T04:57:06Z) - Promises and Pitfalls of Black-Box Concept Learning Models [26.787383014558802]
概念学習を取り入れた機械学習モデルは、事前に定義された概念を超えて情報をエンコードする。
自然緩和戦略は完全には機能せず、下流予測の解釈を誤解させる。
論文 参考訳(メタデータ) (2021-06-24T21:00:28Z) - Generative Counterfactuals for Neural Networks via Attribute-Informed
Perturbation [51.29486247405601]
AIP(Attribute-Informed Perturbation)の提案により,生データインスタンスの反事実を生成するフレームワークを設計する。
異なる属性を条件とした生成モデルを利用することで、所望のラベルとの反事実を効果的かつ効率的に得ることができる。
実世界のテキストや画像に対する実験結果から, 設計したフレームワークの有効性, サンプル品質, および効率が示された。
論文 参考訳(メタデータ) (2021-01-18T08:37:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。