論文の概要: Post-hoc Concept Bottleneck Models
- arxiv url: http://arxiv.org/abs/2205.15480v1
- Date: Tue, 31 May 2022 00:29:26 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-02 04:17:17.532512
- Title: Post-hoc Concept Bottleneck Models
- Title(参考訳): ポストホック概念ボトルネックモデル
- Authors: Mert Yuksekgonul, Maggie Wang, James Zou
- Abstract要約: 概念ボトルネックモデル (Concept Bottleneck Models, CBM) は、入力を解釈可能な概念のセットにマッピングし、その概念を用いて予測を行う。
CBMは、ボトルネックを学ぶためにトレーニングデータに概念ラベルを必要とするため、実際には制限があり、強い事前訓練されたモデルを活用しない。
解釈可能性の利点を保ちながら、モデル性能を犠牲にすることなく、任意のニューラルネットワークをPCBMに変換することができることを示す。
- 参考スコア(独自算出の注目度): 11.358495577593441
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Concept Bottleneck Models (CBMs) map the inputs onto a set of interpretable
concepts (``the bottleneck'') and use the concepts to make predictions. A
concept bottleneck enhances interpretability since it can be investigated to
understand what concepts the model "sees" in an input and which of these
concepts are deemed important. However, CBMs are restrictive in practice as
they require concept labels in the training data to learn the bottleneck and do
not leverage strong pretrained models. Moreover, CBMs often do not match the
accuracy of an unrestricted neural network, reducing the incentive to deploy
them in practice. In this work, we address the limitations of CBMs by
introducing Post-hoc Concept Bottleneck models (PCBMs). We show that we can
turn any neural network into a PCBM without sacrificing model performance while
still retaining interpretability benefits. When concept annotation is not
available on the training data, we show that PCBM can transfer concepts from
other datasets or from natural language descriptions of concepts. PCBM also
enables users to quickly debug and update the model to reduce spurious
correlations and improve generalization to new (potentially different) data.
Through a model-editing user study, we show that editing PCBMs via
concept-level feedback can provide significant performance gains without using
any data from the target domain or model retraining.
- Abstract(参考訳): 概念ボトルネックモデル(CBM)は、入力を解釈可能な概念のセット(``the bottleneck''')にマッピングし、その概念を使用して予測を行う。
概念ボトルネックは、モデルがどの概念を「見る」のか、どの概念が重要かを理解するために研究できるため、解釈可能性を高める。
しかし、CBMはボトルネックを学習するためにトレーニングデータに概念ラベルを必要とするため、実際には制限的であり、強い事前訓練されたモデルを活用しない。
さらに、CBMは、制限のないニューラルネットワークの精度に合わないことが多いため、実際にデプロイするインセンティブが低下する。
本稿では,ポストホック概念ボトルネックモデル(PCBM)を導入することで,CBMの限界に対処する。
モデル性能を犠牲にすることなく、解釈可能性の利点を保ちながら、任意のニューラルネットワークをpcbmにすることができることを示す。
トレーニングデータでは概念アノテーションが利用できない場合,PCBMは他のデータセットや概念の自然言語記述から概念を転送可能であることを示す。
PCBMはまた、ユーザーがモデルの迅速なデバッグと更新を可能にし、スプリアス相関を減らし、新しい(潜在的に異なる)データへの一般化を改善する。
モデル編集ユーザスタディを通じて、ターゲットドメインのデータやモデル再トレーニングを使わずに、概念レベルのフィードバックによるPCBMの編集が、大きなパフォーマンス向上をもたらすことを示す。
関連論文リスト
- Eliminating Information Leakage in Hard Concept Bottleneck Models with
Supervised, Hierarchical Concept Learning [17.982131928413096]
概念ボトルネックモデル(Concept Bottleneck Models、CBM)は、人間の理解できない概念で特徴やラベルをブリッジすることで、解釈可能で介入可能な予測を提供することを目的としている。
CBMは情報漏洩に悩まされ、概念以外の意図しない情報がその後のラベル予測にリークされる。
本稿では,CBMの新たなパラダイム,すなわちSupCBMを提案する。
論文 参考訳(メタデータ) (2024-02-03T03:50:58Z) - Can we Constrain Concept Bottleneck Models to Learn Semantically
Meaningful Input Features? [0.6993232019625149]
概念ボトルネックモデル(CBM)は、人間の定義した概念の集合を最初に予測するため、本質的に解釈可能であると考えられている。
固有解釈可能性を完全に実現するためには、意味的にマッピングされた入力機能に基づいて概念が予測されることを保証する必要がある。
我々はCBMが問題となる概念相関を取り除き,意味的マッピングによる概念表現を入力特徴へ学習できることを実証した。
論文 参考訳(メタデータ) (2024-02-01T10:18:43Z) - ConcEPT: Concept-Enhanced Pre-Training for Language Models [57.778895980999124]
ConcEPTは、概念知識を事前訓練された言語モデルに注入することを目的としている。
これは、事前訓練されたコンテキストで言及されたエンティティの概念を予測するために、外部エンティティの概念予測を利用する。
実験の結果,ConcEPTは概念強化事前学習により概念知識を向上することがわかった。
論文 参考訳(メタデータ) (2024-01-11T05:05:01Z) - LETA: Learning Transferable Attribution for Generic Vision Explainer [78.96465840557056]
大規模画像データセットの汎用的説明器を開発し、その伝達可能性を活用して、下流タスクの様々な視覚モデルを説明する。
LETAは、ジェネリック・アナトリビューションに対するジェネリック・アナトリビュータの事前トレーニングをガイドし、下流のタスクを説明するために、トランストリビュータのルールベースの適応を導入する。
実験結果から,LETAは下流タスクのデータに対する追加トレーニングを必要とせず,これらのタスクを説明するのに有効であることが示唆された。
論文 参考訳(メタデータ) (2023-12-23T21:49:23Z) - Auxiliary Losses for Learning Generalizable Concept-based Models [5.4066453042367435]
コンセプト・ボトルネック・モデル (Concept Bottleneck Models, CBM) は導入以来人気を集めている。
CBMは基本的に、モデルの潜在空間を人間に理解可能な高レベルな概念に制限する。
本稿では,協調型コンセプション・ボトルネックモデル(coop-CBM)を提案し,性能トレードオフを克服する。
論文 参考訳(メタデータ) (2023-11-18T15:50:07Z) - Interpreting Pretrained Language Models via Concept Bottlenecks [55.47515772358389]
事前訓練された言語モデル(PLM)は、様々な自然言語処理タスクにおいて大きな進歩を遂げてきた。
ブラックボックスの性質による解釈可能性の欠如は、責任ある実装に課題をもたらす。
本研究では,人間にとって理解しやすい高レベルで有意義な概念を用いて,PLMを解釈する新しい手法を提案する。
論文 参考訳(メタデータ) (2023-11-08T20:41:18Z) - Learning Transferable Conceptual Prototypes for Interpretable
Unsupervised Domain Adaptation [79.22678026708134]
本稿では,Transferable Prototype Learning (TCPL) という,本質的に解釈可能な手法を提案する。
この目的を達成するために、ソースドメインからターゲットドメインにカテゴリの基本概念を転送する階層的なプロトタイプモジュールを設計し、基礎となる推論プロセスを説明するためにドメイン共有プロトタイプを学習する。
総合的な実験により,提案手法は有効かつ直感的な説明を提供するだけでなく,従来の最先端技術よりも優れていることが示された。
論文 参考訳(メタデータ) (2023-10-12T06:36:41Z) - Learning to Receive Help: Intervention-Aware Concept Embedding Models [46.7616863339095]
概念ボトルネックモデル (Concept Bottleneck Models, CBM) は、高レベルの概念セットを使用して予測を構築し、説明することによって、ニューラルネットワークの不透明さに対処する。
近年の研究では、介入効果は概念が介入される順序に大きく依存していることが示されている。
IntCEM(Intervention-Aware Concept Embedding Model)は,テスト時間介入に対するモデルの受容性を改善する新しいCBMアーキテクチャとトレーニングパラダイムである。
論文 参考訳(メタデータ) (2023-09-29T02:04:24Z) - Learning to Intervene on Concept Bottlenecks [26.163465868903863]
本稿では、概念ボトルネックモデル(CBM)の拡張である概念ボトルネックメモリモデル(CB2M)を提案する。
CB2Mは、2倍のメモリで適切な新しい状況への介入を一般化し、ミスを検出し、以前の介入を再適用することを学ぶ。
以上の結果から,CB2Mはユーザのインタラクションを誘導し,介入を少なくすることで,CBMに対して対話的なフィードバックを提供する上で,優れたツールであることがわかった。
論文 参考訳(メタデータ) (2023-08-25T15:54:22Z) - Concept Gradient: Concept-based Interpretation Without Linear Assumption [77.96338722483226]
概念活性化ベクトル(Concept Activation Vector, CAV)は、与えられたモデルと概念の潜在表現の間の線形関係を学習することに依存する。
我々は、線形概念関数を超えて概念に基づく解釈を拡張する概念グラディエント(CG)を提案した。
我々は、CGがおもちゃの例と実世界のデータセットの両方でCAVより優れていることを実証した。
論文 参考訳(メタデータ) (2022-08-31T17:06:46Z) - Concept Bottleneck Model with Additional Unsupervised Concepts [0.5939410304994348]
概念ボトルネックモデル(CBM)に基づく新しい解釈可能なモデルを提案する。
CBMは概念ラベルを使用して、中間層を追加の可視層としてトレーニングする。
これら2つの概念をシームレスにトレーニングし,計算量を削減することにより,教師付き概念と教師なし概念を同時に得ることができる。
論文 参考訳(メタデータ) (2022-02-03T08:30:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。