論文の概要: Measuring Leakage in Concept-Based Methods: An Information Theoretic Approach

• arxiv url: http://arxiv.org/abs/2504.09459v1
• Date: Sun, 13 Apr 2025 07:09:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-15 16:54:29.354977
• Title: Measuring Leakage in Concept-Based Methods: An Information Theoretic Approach
• Title（参考訳）: 概念的手法による漏洩の計測:情報理論的アプローチ
• Authors: Mikael Makonnen, Moritz Vandenhirtz, Sonia Laguna, Julia E Vogt,
• Abstract要約: 概念ボトルネックモデル(Concept Bottleneck Models, CBM)は、人間の理解可能な概念に関する予測を構造化することによって、解釈可能性を高めることを目的としている。 しかし、予測信号が概念のボトルネックをバイパスする意図しない情報漏洩は、その透明性を損なう。 本稿では,CBMの漏洩を定量化するための情報理論手法を提案する。
• 参考スコア（独自算出の注目度）: 8.391254800873599
• License:
• Abstract: Concept Bottleneck Models (CBMs) aim to enhance interpretability by structuring predictions around human-understandable concepts. However, unintended information leakage, where predictive signals bypass the concept bottleneck, compromises their transparency. This paper introduces an information-theoretic measure to quantify leakage in CBMs, capturing the extent to which concept embeddings encode additional, unintended information beyond the specified concepts. We validate the measure through controlled synthetic experiments, demonstrating its effectiveness in detecting leakage trends across various configurations. Our findings highlight that feature and concept dimensionality significantly influence leakage, and that classifier choice impacts measurement stability, with XGBoost emerging as the most reliable estimator. Additionally, preliminary investigations indicate that the measure exhibits the anticipated behavior when applied to soft joint CBMs, suggesting its reliability in leakage quantification beyond fully synthetic settings. While this study rigorously evaluates the measure in controlled synthetic experiments, future work can extend its application to real-world datasets.
• Abstract（参考訳）: 概念ボトルネックモデル(Concept Bottleneck Models, CBM)は、人間の理解可能な概念に関する予測を構造化することにより、解釈可能性を高めることを目的としている。 しかし、予測信号が概念のボトルネックをバイパスする意図しない情報漏洩は、その透明性を損なう。 本稿では,CBMの漏洩を定量化するための情報理論手法を提案する。 制御された合成実験により測定結果を検証し, 各種構成における漏出傾向の検出の有効性を実証した。 この結果から,XGBoostが最も信頼性の高い推定器として出現し,特徴量と概念の次元性が漏出に大きく影響し,分類器の選択が測定安定性に影響を及ぼすことが示唆された。 さらに, ソフトジョイントCBMに適用した場合の予測挙動を示すこと, 完全合成条件を超えた漏洩定量化の信頼性が示唆された。 本研究は、制御された合成実験における測定を厳格に評価するが、将来の研究は実世界のデータセットに応用を拡張できる。

関連論文リスト

• Testing and Improving the Robustness of Amortized Bayesian Inference for Cognitive Models [0.5223954072121659]
  汚染物質観測とアウトリーチは、認知モデルのパラメータを推定する際にしばしば問題を引き起こす。 本研究では,アモルタイズされたベイズ推定を用いたパラメータ推定のロバスト性を検証・改善する。 提案手法は実装が簡単で実用的であり,外乱検出や除去が困難な分野に適用可能である。
  論文  参考訳（メタデータ） (2024-12-29T21:22:24Z)
• Tree-Based Leakage Inspection and Control in Concept Bottleneck Models [3.135289953462274]
  概念ボトルネックモデル(CBM)は、最終的な予測を行う前に、入力を中間概念にマッピングすることで解釈可能性を高めることに注目されている。 CBMは、しばしば情報漏洩に悩まされるが、そこでは、概念によってキャプチャされない追加の入力データが、タスクのパフォーマンスを改善するために使用される。 我々は,共同CBMとシーケンシャルCBMの両方をトレーニングするための新しいアプローチを導入し,決定木を用いて漏洩を識別・制御する。
  論文  参考訳（メタデータ） (2024-10-08T20:42:19Z)
• Interpretable Concept-Based Memory Reasoning [12.562474638728194]
  コンセプトベースのメモリリゾナー(CMR)は、人間に理解でき、検証可能なタスク予測プロセスを提供するために設計された新しいCBMである。 CMRは、最先端のCBMに対する精度-解釈可能性のトレードオフを向上し、基礎的な真実と整合した論理規則を発見し、規則の介入を可能にし、事前デプロイ検証を可能にする。
  論文  参考訳（メタデータ） (2024-07-22T10:32:48Z)
• CogDPM: Diffusion Probabilistic Models via Cognitive Predictive Coding [62.075029712357]
  本研究は認知拡散確率モデル(CogDPM)を紹介する。 CogDPMは拡散モデルの階層的サンプリング能力に基づく精度推定法と拡散モデル固有の性質から推定される精度重み付きガイダンスを備える。 我々は,Universal Kindomの降水量と表面風速データセットを用いた実世界の予測タスクにCogDPMを適用した。
  論文  参考訳（メタデータ） (2024-05-03T15:54:50Z)
• Eliminating Information Leakage in Hard Concept Bottleneck Models with Supervised, Hierarchical Concept Learning [17.982131928413096]
  概念ボトルネックモデル(Concept Bottleneck Models、CBM)は、人間の理解できない概念で特徴やラベルをブリッジすることで、解釈可能で介入可能な予測を提供することを目的としている。 CBMは情報漏洩に悩まされ、概念以外の意図しない情報がその後のラベル予測にリークされる。 本稿では,CBMの新たなパラダイム,すなわちSupCBMを提案する。
  論文  参考訳（メタデータ） (2024-02-03T03:50:58Z)
• Benchmarking and Enhancing Disentanglement in Concept-Residual Models [4.177318966048984]
  概念ボトルネックモデル (CBM) は、まず意味論的に意味のある一連の特徴を予測する解釈可能なモデルである。 CBMの性能はエンジニアリングされた機能に依存しており、不完全な概念のセットに苦しむことがある。 本研究は,情報漏洩を解消するための3つの新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-30T21:07:26Z)
• Prediction-Oriented Bayesian Active Learning [51.426960808684655]
  予測情報ゲイン(EPIG)は、パラメータではなく予測空間における情報ゲインを測定する。 EPIGは、さまざまなデータセットやモデルにわたるBALDと比較して、予測パフォーマンスが向上する。
  論文  参考訳（メタデータ） (2023-04-17T10:59:57Z)
• Uncertainty Estimation by Fisher Information-based Evidential Deep Learning [61.94125052118442]
  不確実性推定は、ディープラーニングを実用アプリケーションで信頼できるものにする鍵となる要素である。 漁業情報に基づくエビデンシャルディープラーニング(mathcalI$-EDL)を提案する。 特に,各サンプルが有する証拠の情報量を測定するためにFisher Information Matrix (FIM)を導入し,目的的損失項を動的に重み付けし,不確実なクラスの表現学習に集中させる。
  論文  参考訳（メタデータ） (2023-03-03T16:12:59Z)
• Coalitional Bayesian Autoencoders -- Towards explainable unsupervised deep learning [78.60415450507706]
  その結果,BAEの予測は高い相関関係にあり,誤解を招くことが示唆された。 これを軽減するために、エージェントベースのシステム理論にインスパイアされた"Coalitional BAE"が提案されている。 公開条件監視データセットに関する実験は、Coalitional BAEを用いた説明の質の向上を実証している。
  論文  参考訳（メタデータ） (2021-10-19T15:07:09Z)
• CertainNet: Sampling-free Uncertainty Estimation for Object Detection [65.28989536741658]
  ニューラルネットワークの不確実性を推定することは、安全クリティカルな設定において基本的な役割を果たす。 本研究では,オブジェクト検出のための新しいサンプリング不要不確実性推定法を提案する。 私たちはそれをCertainNetと呼び、各出力信号に対して、オブジェクト性、クラス、位置、サイズという、別の不確実性を提供するのは、これが初めてです。
  論文  参考訳（メタデータ） (2021-10-04T17:59:31Z)
• Predictive Coding for Locally-Linear Control [92.35650774524399]
  高次元観測と未知のダイナミクスは、多くの実世界の意思決定タスクに最適な制御を適用する際に大きな課題である。 Learning Controllable Embedding (LCE)フレームワークは、観測結果を低次元の潜伏空間に埋め込むことによって、これらの課題に対処する。 理論的には、明示的な次観測予測を予測符号化に置き換えることが可能である。
  論文  参考訳（メタデータ） (2020-03-02T18:20:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。