論文の概要: Eliminating Information Leakage in Hard Concept Bottleneck Models with
Supervised, Hierarchical Concept Learning
- arxiv url: http://arxiv.org/abs/2402.05945v1
- Date: Sat, 3 Feb 2024 03:50:58 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-18 14:35:35.236824
- Title: Eliminating Information Leakage in Hard Concept Bottleneck Models with
Supervised, Hierarchical Concept Learning
- Title(参考訳): 教師付き階層型概念学習によるハードコンセプトボトルネックモデルにおける情報漏洩の排除
- Authors: Ao Sun, Yuanyuan Yuan, Pingchuan Ma, and Shuai Wang
- Abstract要約: 概念ボトルネックモデル(Concept Bottleneck Models、CBM)は、人間の理解できない概念で特徴やラベルをブリッジすることで、解釈可能で介入可能な予測を提供することを目的としている。
CBMは情報漏洩に悩まされ、概念以外の意図しない情報がその後のラベル予測にリークされる。
本稿では,CBMの新たなパラダイム,すなわちSupCBMを提案する。
- 参考スコア(独自算出の注目度): 17.982131928413096
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Concept Bottleneck Models (CBMs) aim to deliver interpretable and
interventionable predictions by bridging features and labels with
human-understandable concepts. While recent CBMs show promising potential, they
suffer from information leakage, where unintended information beyond the
concepts (either when concepts are represented with probabilities or binary
states) are leaked to the subsequent label prediction. Consequently, distinct
classes are falsely classified via indistinguishable concepts, undermining the
interpretation and intervention of CBMs.
This paper alleviates the information leakage issue by introducing label
supervision in concept predication and constructing a hierarchical concept set.
Accordingly, we propose a new paradigm of CBMs, namely SupCBM, which achieves
label predication via predicted concepts and a deliberately-designed
intervention matrix. SupCBM focuses on concepts that are mostly relevant to the
predicted label and only distinguishes classes when different concepts are
presented. Our evaluations show that SupCBM outperforms SOTA CBMs over diverse
datasets. It also manifests better generality across different backbone models.
With proper quantification of information leakage in different CBMs, we
demonstrate that SupCBM significantly reduces the information leakage.
- Abstract(参考訳): 概念ボトルネックモデル(cbms)は、人間の理解可能な概念と特徴やラベルを橋渡しすることで、解釈可能かつ干渉可能な予測を提供することを目的としている。
最近のCBMは有望な可能性を示しているが、情報漏洩に悩まされており、(概念が確率またはバイナリ状態で表現されている場合)概念以外の意図しない情報がその後のラベル予測にリークされる。
その結果、異なるクラスは区別不可能な概念によって誤って分類され、CBMの解釈と介入を損なうことになる。
本稿では,概念述語にラベル管理を導入し,階層的概念集合を構築することにより,情報漏洩問題を緩和する。
そこで本研究では,予測概念と故意に設計された介入行列を用いてラベル述語を実現する新しいパラダイムであるspcbmを提案する。
SupCBMは、予測ラベルに主に関係する概念に焦点を当て、異なる概念が提示された場合にのみクラスを区別する。
評価の結果,SupCBMは多様なデータセット上でSOTA CBMよりも優れていた。
また、異なるバックボーンモデルにまたがるより汎用性を示す。
異なるCBMにおける情報漏洩の適切な定量化により、SupCBMは情報漏洩を著しく低減することを示す。
関連論文リスト
- Separable Multi-Concept Erasure from Diffusion Models [52.51972530398691]
大規模拡散モデルから安全でない概念を排除するために,分離可能なマルチコンセプト消去器(SepME)を提案する。
後者は最適化可能なモデルウェイトを分離し、各ウェイトインクリメントは特定の概念の消去に対応する。
広範囲にわたる実験は, 概念の排除, モデル性能の保存, 各種概念の消去・回復における柔軟性の確保に, アプローチの有効性を示すものである。
論文 参考訳(メタデータ) (2024-02-03T11:10:57Z) - Can we Constrain Concept Bottleneck Models to Learn Semantically
Meaningful Input Features? [0.6993232019625149]
概念ボトルネックモデル(CBM)は、人間の定義した概念の集合を最初に予測するため、本質的に解釈可能であると考えられている。
固有解釈可能性を完全に実現するためには、意味的にマッピングされた入力機能に基づいて概念が予測されることを保証する必要がある。
我々はCBMが問題となる概念相関を取り除き,意味的マッピングによる概念表現を入力特徴へ学習できることを実証した。
論文 参考訳(メタデータ) (2024-02-01T10:18:43Z) - Auxiliary Losses for Learning Generalizable Concept-based Models [5.4066453042367435]
コンセプト・ボトルネック・モデル (Concept Bottleneck Models, CBM) は導入以来人気を集めている。
CBMは基本的に、モデルの潜在空間を人間に理解可能な高レベルな概念に制限する。
本稿では,協調型コンセプション・ボトルネックモデル(coop-CBM)を提案し,性能トレードオフを克服する。
論文 参考訳(メタデータ) (2023-11-18T15:50:07Z) - Interpreting Pretrained Language Models via Concept Bottlenecks [55.47515772358389]
事前訓練された言語モデル(PLM)は、様々な自然言語処理タスクにおいて大きな進歩を遂げてきた。
ブラックボックスの性質による解釈可能性の欠如は、責任ある実装に課題をもたらす。
本研究では,人間にとって理解しやすい高レベルで有意義な概念を用いて,PLMを解釈する新しい手法を提案する。
論文 参考訳(メタデータ) (2023-11-08T20:41:18Z) - Interpretable-by-Design Text Classification with Iteratively Generated
Concept Bottleneck [48.7583579950377]
Text Bottleneck Models (TBMs) は、グローバルとローカルの両方の説明を提供する、本質的に解釈可能なテキスト分類フレームワークである。
概念生成と測定の両方にGPT-4を用いた12種類の多様なデータセットにおいて,TBMが確立したブラックボックスベースラインの性能に匹敵することを示す。
論文 参考訳(メタデータ) (2023-10-30T15:41:32Z) - Causal Unsupervised Semantic Segmentation [60.178274138753174]
教師なしセマンティックセグメンテーションは、人間のラベル付きアノテーションなしで高品質なセマンティックセマンティックセグメンテーションを実現することを目的としている。
本稿では、因果推論からの洞察を活用する新しいフレームワークCAUSE(CAusal Unsupervised Semantic sEgmentation)を提案する。
論文 参考訳(メタデータ) (2023-10-11T10:54:44Z) - Implicit Concept Removal of Diffusion Models [96.03200681493348]
テキスト・ツー・イメージ(T2I)拡散モデルは、透かしや安全でない画像などの不要な概念を不注意に生成する。
幾何学駆動制御に基づく新しい概念除去手法であるGeom-Erasingを提案する。
論文 参考訳(メタデータ) (2023-10-09T17:13:10Z) - I saw, I conceived, I concluded: Progressive Concepts as Bottlenecks [2.9398911304923447]
概念ボトルネックモデル(CBM)は、予測中間概念の修正による推論時の説明可能性と介入を提供する。
これにより、CBMは高い意思決定に魅力的なものとなる。
胎児超音波検査の品質評価を,医療におけるCBM意思決定支援の現実的ユースケースとして捉えた。
論文 参考訳(メタデータ) (2022-11-19T09:31:19Z) - Post-hoc Concept Bottleneck Models [11.358495577593441]
概念ボトルネックモデル (Concept Bottleneck Models, CBM) は、入力を解釈可能な概念のセットにマッピングし、その概念を用いて予測を行う。
CBMは、ボトルネックを学ぶためにトレーニングデータに概念ラベルを必要とするため、実際には制限があり、強い事前訓練されたモデルを活用しない。
解釈可能性の利点を保ちながら、モデル性能を犠牲にすることなく、任意のニューラルネットワークをPCBMに変換することができることを示す。
論文 参考訳(メタデータ) (2022-05-31T00:29:26Z) - Resolving label uncertainty with implicit posterior models [71.62113762278963]
本稿では,データサンプルのコレクション間でラベルを共同で推論する手法を提案する。
異なる予測子を後部とする生成モデルの存在を暗黙的に仮定することにより、弱い信念の下での学習を可能にする訓練目標を導出する。
論文 参考訳(メタデータ) (2022-02-28T18:09:44Z) - Concept Bottleneck Model with Additional Unsupervised Concepts [0.5939410304994348]
概念ボトルネックモデル(CBM)に基づく新しい解釈可能なモデルを提案する。
CBMは概念ラベルを使用して、中間層を追加の可視層としてトレーニングする。
これら2つの概念をシームレスにトレーニングし,計算量を削減することにより,教師付き概念と教師なし概念を同時に得ることができる。
論文 参考訳(メタデータ) (2022-02-03T08:30:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。