論文の概要: Eliminating Information Leakage in Hard Concept Bottleneck Models with
Supervised, Hierarchical Concept Learning
- arxiv url: http://arxiv.org/abs/2402.05945v1
- Date: Sat, 3 Feb 2024 03:50:58 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-18 14:35:35.236824
- Title: Eliminating Information Leakage in Hard Concept Bottleneck Models with
Supervised, Hierarchical Concept Learning
- Title（参考訳）: 教師付き階層型概念学習によるハードコンセプトボトルネックモデルにおける情報漏洩の排除
- Authors: Ao Sun, Yuanyuan Yuan, Pingchuan Ma, and Shuai Wang
- Abstract要約: 概念ボトルネックモデル(Concept Bottleneck Models、CBM)は、人間の理解できない概念で特徴やラベルをブリッジすることで、解釈可能で介入可能な予測を提供することを目的としている。
CBMは情報漏洩に悩まされ、概念以外の意図しない情報がその後のラベル予測にリークされる。
本稿では,CBMの新たなパラダイム,すなわちSupCBMを提案する。
- 参考スコア（独自算出の注目度）: 17.982131928413096
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Concept Bottleneck Models (CBMs) aim to deliver interpretable and
interventionable predictions by bridging features and labels with
human-understandable concepts. While recent CBMs show promising potential, they
suffer from information leakage, where unintended information beyond the
concepts (either when concepts are represented with probabilities or binary
states) are leaked to the subsequent label prediction. Consequently, distinct
classes are falsely classified via indistinguishable concepts, undermining the
interpretation and intervention of CBMs.
This paper alleviates the information leakage issue by introducing label
supervision in concept predication and constructing a hierarchical concept set.
Accordingly, we propose a new paradigm of CBMs, namely SupCBM, which achieves
label predication via predicted concepts and a deliberately-designed
intervention matrix. SupCBM focuses on concepts that are mostly relevant to the
predicted label and only distinguishes classes when different concepts are
presented. Our evaluations show that SupCBM outperforms SOTA CBMs over diverse
datasets. It also manifests better generality across different backbone models.
With proper quantification of information leakage in different CBMs, we
demonstrate that SupCBM significantly reduces the information leakage.
- Abstract（参考訳）: 概念ボトルネックモデル(cbms)は、人間の理解可能な概念と特徴やラベルを橋渡しすることで、解釈可能かつ干渉可能な予測を提供することを目的としている。
最近のCBMは有望な可能性を示しているが、情報漏洩に悩まされており、(概念が確率またはバイナリ状態で表現されている場合)概念以外の意図しない情報がその後のラベル予測にリークされる。
その結果、異なるクラスは区別不可能な概念によって誤って分類され、CBMの解釈と介入を損なうことになる。
本稿では,概念述語にラベル管理を導入し,階層的概念集合を構築することにより,情報漏洩問題を緩和する。
そこで本研究では,予測概念と故意に設計された介入行列を用いてラベル述語を実現する新しいパラダイムであるspcbmを提案する。
SupCBMは、予測ラベルに主に関係する概念に焦点を当て、異なる概念が提示された場合にのみクラスを区別する。
評価の結果,SupCBMは多様なデータセット上でSOTA CBMよりも優れていた。
また、異なるバックボーンモデルにまたがるより汎用性を示す。
異なるCBMにおける情報漏洩の適切な定量化により、SupCBMは情報漏洩を著しく低減することを示す。
関連論文リスト
- How to Continually Adapt Text-to-Image Diffusion Models for Flexible Customization? [91.49559116493414]
本稿では,CIDM(Concept-Incremental Text-to-image Diffusion Model)を提案する。
破滅的な忘れと概念の無視を解決し、新しいカスタマイズタスクを概念的な方法で学習する。
実験により、CIDMが既存のカスタム拡散モデルを上回ることが確認された。
論文 参考訳（メタデータ） (2024-10-23T06:47:29Z) - MulCPred: Learning Multi-modal Concepts for Explainable Pedestrian Action Prediction [57.483718822429346]
MulCPredは、トレーニングサンプルで表されるマルチモーダルな概念に基づいて、その予測を説明する。
MulCPredは複数のデータセットとタスクで評価される。
論文 参考訳（メタデータ） (2024-09-14T14:15:28Z) - Discover-then-Name: Task-Agnostic Concept Bottlenecks via Automated Concept Discovery [52.498055901649025]
ディープニューラルネットワークの「ブラックボックス」問題に対処するために、概念ボトルネックモデル(CBM)が提案されている。
本稿では,典型的なパラダイムを逆転させる新しいCBMアプローチであるDiscover-then-Name-CBM(DN-CBM)を提案する。
我々の概念抽出戦略は、下流のタスクに非依存であり、既にそのモデルに知られている概念を使用するため、効率的である。
論文 参考訳（メタデータ） (2024-07-19T17:50:11Z) - Editable Concept Bottleneck Models [36.38845338945026]
概念ボトルネックモデル(Concept Bottleneck Models, CBM)は、人間の理解できない概念層を通じて予測プロセスを解明する能力に対して、多くの注目を集めている。
多くのシナリオでは、プライバシの懸念、データの誤り、急激な概念、概念アノテーションのエラーなど、さまざまな理由で、トレーニングデータや新しい概念をトレーニングされたCBMから削除/挿入する必要があります。
具体的には、ECBMは、概念ラベルレベル、概念レベル、データレベルという3つの異なるレベルのデータ削除をサポートしている。
論文 参考訳（メタデータ） (2024-05-24T11:55:46Z) - Improving Intervention Efficacy via Concept Realignment in Concept Bottleneck Models [57.86303579812877]
概念ボトルネックモデル (Concept Bottleneck Models, CBM) は、人間の理解可能な概念に基づいて、解釈可能なモデル決定を可能にする画像分類である。
既存のアプローチは、強いパフォーマンスを達成するために、画像ごとに多数の人間の介入を必要とすることが多い。
本稿では,概念関係を利用した学習型概念認識介入モジュールについて紹介する。
論文 参考訳（メタデータ） (2024-05-02T17:59:01Z) - On the Concept Trustworthiness in Concept Bottleneck Models [39.928868605678744]
概念ボトルネックモデル (Concept Bottleneck Models, CBM) は、推論プロセスを、概念マッピングと概念ラベル予測に分解する。
概念からラベルへの予測の透明性にもかかわらず、入力から中間概念へのマッピングはブラックボックスのままである。
概念が関連する領域から導出されているかどうかを評価するために、概念信頼性スコアと呼ばれる先駆的な指標が提案されている。
拡張されたCBMを導入し、特徴マップの異なる部分から概念予測を具体的に行えるようにした。
論文 参考訳（メタデータ） (2024-03-21T12:24:53Z) - Auxiliary Losses for Learning Generalizable Concept-based Models [5.4066453042367435]
コンセプト・ボトルネック・モデル (Concept Bottleneck Models, CBM) は導入以来人気を集めている。
CBMは基本的に、モデルの潜在空間を人間に理解可能な高レベルな概念に制限する。
本稿では,協調型コンセプション・ボトルネックモデル(coop-CBM)を提案し,性能トレードオフを克服する。
論文 参考訳（メタデータ） (2023-11-18T15:50:07Z) - Interpreting Pretrained Language Models via Concept Bottlenecks [55.47515772358389]
事前訓練された言語モデル(PLM)は、様々な自然言語処理タスクにおいて大きな進歩を遂げてきた。
ブラックボックスの性質による解釈可能性の欠如は、責任ある実装に課題をもたらす。
本研究では,人間にとって理解しやすい高レベルで有意義な概念を用いて,PLMを解釈する新しい手法を提案する。
論文 参考訳（メタデータ） (2023-11-08T20:41:18Z) - Interpretable-by-Design Text Understanding with Iteratively Generated Concept Bottleneck [46.015128326688234]
ブラックボックスのディープニューラルネットワークはテキスト分類に優れているが、ハイテイクドメインへの応用は、解釈可能性の欠如によって妨げられている。
本稿では,グローバルおよびローカルな説明を提供する本質的に解釈可能なテキスト分類フレームワークであるText Bottleneck Models (TBM)を提案する。
論文 参考訳（メタデータ） (2023-10-30T15:41:32Z) - I saw, I conceived, I concluded: Progressive Concepts as Bottlenecks [2.9398911304923447]
概念ボトルネックモデル(CBM)は、予測中間概念の修正による推論時の説明可能性と介入を提供する。
これにより、CBMは高い意思決定に魅力的なものとなる。
胎児超音波検査の品質評価を,医療におけるCBM意思決定支援の現実的ユースケースとして捉えた。
論文 参考訳（メタデータ） (2022-11-19T09:31:19Z) - Post-hoc Concept Bottleneck Models [11.358495577593441]
概念ボトルネックモデル (Concept Bottleneck Models, CBM) は、入力を解釈可能な概念のセットにマッピングし、その概念を用いて予測を行う。
CBMは、ボトルネックを学ぶためにトレーニングデータに概念ラベルを必要とするため、実際には制限があり、強い事前訓練されたモデルを活用しない。
解釈可能性の利点を保ちながら、モデル性能を犠牲にすることなく、任意のニューラルネットワークをPCBMに変換することができることを示す。
論文 参考訳（メタデータ） (2022-05-31T00:29:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。