論文の概要: Tree-Based Leakage Inspection and Control in Concept Bottleneck Models
- arxiv url: http://arxiv.org/abs/2410.06352v1
- Date: Tue, 8 Oct 2024 20:42:19 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-01 06:19:07.008479
- Title: Tree-Based Leakage Inspection and Control in Concept Bottleneck Models
- Title（参考訳）: 概念ボトルネックモデルにおける木に基づく漏洩検査と制御
- Authors: Angelos Ragkousis, Sonali Parbhoo,
- Abstract要約: 概念ボトルネックモデル(CBM)は、最終的な予測を行う前に、入力を中間概念にマッピングすることで解釈可能性を高めることに注目されている。
CBMは、しばしば情報漏洩に悩まされるが、そこでは、概念によってキャプチャされない追加の入力データが、タスクのパフォーマンスを改善するために使用される。
我々は,共同CBMとシーケンシャルCBMの両方をトレーニングするための新しいアプローチを導入し,決定木を用いて漏洩を識別・制御する。
- 参考スコア（独自算出の注目度）: 3.135289953462274
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As AI models grow larger, the demand for accountability and interpretability has become increasingly critical for understanding their decision-making processes. Concept Bottleneck Models (CBMs) have gained attention for enhancing interpretability by mapping inputs to intermediate concepts before making final predictions. However, CBMs often suffer from information leakage, where additional input data, not captured by the concepts, is used to improve task performance, complicating the interpretation of downstream predictions. In this paper, we introduce a novel approach for training both joint and sequential CBMs that allows us to identify and control leakage using decision trees. Our method quantifies leakage by comparing the decision paths of hard CBMs with their soft, leaky counterparts. Specifically, we show that soft leaky CBMs extend the decision paths of hard CBMs, particularly in cases where concept information is incomplete. Using this insight, we develop a technique to better inspect and manage leakage, isolating the subsets of data most affected by this. Through synthetic and real-world experiments, we demonstrate that controlling leakage in this way not only improves task accuracy but also yields more informative and transparent explanations.
- Abstract（参考訳）: AIモデルが大きくなるにつれて、説明責任と解釈可能性に対する需要は、意思決定プロセスを理解する上でますます重要になっている。
概念ボトルネックモデル(CBM)は、最終的な予測を行う前に、入力を中間概念にマッピングすることで解釈可能性を高めることに注目されている。
しかし、CBMは情報漏洩に悩まされることが多く、そこでは、下流の予測の解釈を複雑にすることで、タスクのパフォーマンスを向上させるために追加の入力データが使用される。
本稿では,共同CBMとシーケンシャルCBMの両方をトレーニングするための新しいアプローチを提案する。
本手法は,硬質CBMと軟質で漏れやすいCBMの判定経路を比較し,漏洩量を定量化する。
具体的には、特に概念情報が不完全である場合に、ソフトリークCBMがハードCBMの決定経路を拡張することを示す。
この知見を応用して,リークを検査・管理し,最も影響を受けるデータのサブセットを分離する手法を開発した。
合成および実世界の実験を通して、この方法で漏れを制御することは、タスクの正確性を改善するだけでなく、より情報的で透明な説明をもたらすことを実証する。
関連論文リスト
- Interpretable Concept-Based Memory Reasoning [12.562474638728194]
コンセプトベースのメモリリゾナー(CMR)は、人間に理解でき、検証可能なタスク予測プロセスを提供するために設計された新しいCBMである。
CMRは、最先端のCBMに対する精度-解釈可能性のトレードオフを向上し、基礎的な真実と整合した論理規則を発見し、規則の介入を可能にし、事前デプロイ検証を可能にする。
論文 参考訳（メタデータ） (2024-07-22T10:32:48Z) - Editable Concept Bottleneck Models [36.38845338945026]
概念ボトルネックモデル(Concept Bottleneck Models, CBM)は、人間の理解できない概念層を通じて予測プロセスを解明する能力に対して、多くの注目を集めている。
多くのシナリオでは、プライバシの懸念、データの誤り、急激な概念、概念アノテーションのエラーなど、さまざまな理由で、トレーニングデータや新しい概念をトレーニングされたCBMから削除/挿入する必要があります。
具体的には、ECBMは、概念ラベルレベル、概念レベル、データレベルという3つの異なるレベルのデータ削除をサポートしている。
論文 参考訳（メタデータ） (2024-05-24T11:55:46Z) - Eliminating Information Leakage in Hard Concept Bottleneck Models with
Supervised, Hierarchical Concept Learning [17.982131928413096]
概念ボトルネックモデル(Concept Bottleneck Models、CBM)は、人間の理解できない概念で特徴やラベルをブリッジすることで、解釈可能で介入可能な予測を提供することを目的としている。
CBMは情報漏洩に悩まされ、概念以外の意図しない情報がその後のラベル予測にリークされる。
本稿では,CBMの新たなパラダイム,すなわちSupCBMを提案する。
論文 参考訳（メタデータ） (2024-02-03T03:50:58Z) - Benchmarking and Enhancing Disentanglement in Concept-Residual Models [4.177318966048984]
概念ボトルネックモデル (CBM) は、まず意味論的に意味のある一連の特徴を予測する解釈可能なモデルである。
CBMの性能はエンジニアリングされた機能に依存しており、不完全な概念のセットに苦しむことがある。
本研究は,情報漏洩を解消するための3つの新しい手法を提案する。
論文 参考訳（メタデータ） (2023-11-30T21:07:26Z) - Disentangled Representation Learning with Transmitted Information Bottleneck [57.22757813140418]
textbfDisTIB (textbfTransmitted textbfInformation textbfBottleneck for textbfDisd representation learning) は情報圧縮と保存のバランスを保った新しい目的である。
論文 参考訳（メタデータ） (2023-11-03T03:18:40Z) - Sparse Linear Concept Discovery Models [11.138948381367133]
概念ボトルネックモデル(Concept Bottleneck Models, CBM)は、隠蔽層が人間の理解可能な概念に結びついている一般的なアプローチである。
本稿では,Contrastive Language Imageモデルと単一スパース線形層に基づく,シンプルかつ直感的に解釈可能なフレームワークを提案する。
実験により、我々のフレームワークは、最近のCBMアプローチを精度的に上回るだけでなく、一例あたりの疎度も高いことを示す。
論文 参考訳（メタデータ） (2023-08-21T15:16:19Z) - Towards Motion Forecasting with Real-World Perception Inputs: Are
End-to-End Approaches Competitive? [93.10694819127608]
実世界の知覚入力を用いた予測手法の統一評価パイプラインを提案する。
我々の詳細な調査では、キュレートされたデータから知覚ベースのデータへ移行する際の大きなパフォーマンスギャップが明らかになりました。
論文 参考訳（メタデータ） (2023-06-15T17:03:14Z) - CoCoMoT: Conformance Checking of Multi-Perspective Processes via SMT
(Extended Version) [62.96267257163426]
我々はCoCoMoT(Computing Conformance Modulo Theories)フレームワークを紹介する。
まず、純粋な制御フロー設定で研究したSATベースのエンコーディングを、データ認識ケースに持ち上げる方法を示す。
次に,プロパティ保存型クラスタリングの概念に基づく新しい前処理手法を提案する。
論文 参考訳（メタデータ） (2021-03-18T20:22:50Z) - Uncertainty as a Form of Transparency: Measuring, Communicating, and
Using Uncertainty [66.17147341354577]
我々は,モデル予測に関連する不確実性を推定し,伝達することにより,相補的な透明性の形式を考えることについて議論する。
モデルの不公平性を緩和し、意思決定を強化し、信頼できるシステムを構築するために不確実性がどのように使われるかを説明する。
この研究は、機械学習、可視化/HCI、デザイン、意思決定、公平性にまたがる文学から引き出された学際的レビューを構成する。
論文 参考訳（メタデータ） (2020-11-15T17:26:14Z) - An Information Bottleneck Approach for Controlling Conciseness in
Rationale Extraction [84.49035467829819]
我々は,情報ボトルネック(IB)の目的を最適化することで,このトレードオフをよりよく管理できることを示す。
我々の完全教師なしのアプローチは、文上のスパース二項マスクを予測する説明器と、抽出された合理性のみを考慮したエンドタスク予測器を共同で学習する。
論文 参考訳（メタデータ） (2020-05-01T23:26:41Z) - Predictive Coding for Locally-Linear Control [92.35650774524399]
高次元観測と未知のダイナミクスは、多くの実世界の意思決定タスクに最適な制御を適用する際に大きな課題である。
Learning Controllable Embedding (LCE)フレームワークは、観測結果を低次元の潜伏空間に埋め込むことによって、これらの課題に対処する。
理論的には、明示的な次観測予測を予測符号化に置き換えることが可能である。
論文 参考訳（メタデータ） (2020-03-02T18:20:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。