論文の概要: Learning to Receive Help: Intervention-Aware Concept Embedding Models
- arxiv url: http://arxiv.org/abs/2309.16928v2
- Date: Wed, 25 Oct 2023 15:38:19 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-26 19:41:51.288475
- Title: Learning to Receive Help: Intervention-Aware Concept Embedding Models
- Title(参考訳): 支援を受けるための学習: 介入認識概念埋め込みモデル
- Authors: Mateo Espinosa Zarlenga, Katherine M. Collins, Krishnamurthy
Dvijotham, Adrian Weller, Zohreh Shams, Mateja Jamnik
- Abstract要約: 概念ボトルネックモデル (Concept Bottleneck Models, CBM) は、高レベルの概念セットを使用して予測を構築し、説明することによって、ニューラルネットワークの不透明さに対処する。
近年の研究では、介入効果は概念が介入される順序に大きく依存していることが示されている。
IntCEM(Intervention-Aware Concept Embedding Model)は,テスト時間介入に対するモデルの受容性を改善する新しいCBMアーキテクチャとトレーニングパラダイムである。
- 参考スコア(独自算出の注目度): 46.7616863339095
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Concept Bottleneck Models (CBMs) tackle the opacity of neural architectures
by constructing and explaining their predictions using a set of high-level
concepts. A special property of these models is that they permit concept
interventions, wherein users can correct mispredicted concepts and thus improve
the model's performance. Recent work, however, has shown that intervention
efficacy can be highly dependent on the order in which concepts are intervened
on and on the model's architecture and training hyperparameters. We argue that
this is rooted in a CBM's lack of train-time incentives for the model to be
appropriately receptive to concept interventions. To address this, we propose
Intervention-aware Concept Embedding models (IntCEMs), a novel CBM-based
architecture and training paradigm that improves a model's receptiveness to
test-time interventions. Our model learns a concept intervention policy in an
end-to-end fashion from where it can sample meaningful intervention
trajectories at train-time. This conditions IntCEMs to effectively select and
receive concept interventions when deployed at test-time. Our experiments show
that IntCEMs significantly outperform state-of-the-art concept-interpretable
models when provided with test-time concept interventions, demonstrating the
effectiveness of our approach.
- Abstract(参考訳): 概念ボトルネックモデル(cbms)は、ハイレベルな概念の集合を用いてそれらの予測を構築し、説明することで、神経アーキテクチャの不透明性に取り組む。
これらのモデルの特別な特性は、ユーザーが誤予測された概念を修正でき、それによってモデルの性能が向上する、概念の介入を許すことである。
しかし、近年の研究では、介入の有効性は、モデルのアーキテクチャとトレーニングハイパーパラメーターに概念が介入される順序に大きく依存することが示されている。
これは、cbmがモデルが概念的介入を適切に受け付けるために列車の時間的インセンティブを欠いていることに起因していると論じている。
そこで我々は,テスト時の介入に対するモデルの受容性を改善する新しいcbmベースのアーキテクチャとトレーニングパラダイムであるintervention-aware concept embedded models (intcems)を提案する。
本モデルでは,列車走行時の有意義な介入軌跡をサンプリングし,エンドツーエンドで概念介入ポリシーを学習する。
この条件は、テスト時にデプロイされたときに、効果的にコンセプト介入を選択および受信する。
実験の結果,IntCEMはテスト時間の概念介入を施す場合,最先端の概念解釈モデルよりも優れており,本手法の有効性が示された。
関連論文リスト
- Beyond Concept Bottleneck Models: How to Make Black Boxes Intervenable? [9.002523763052848]
本稿では,すでに訓練済みのニューラルネットワークに対して,概念に基づく介入を行う手法を提案する。
本稿では,概念に基づく介入の有効性の尺度として,モデルの介入可能性について定式化する。
微調整は介入効率を向上し、しばしばより良い校正予測をもたらすことを示す。
論文 参考訳(メタデータ) (2024-01-24T16:02:14Z) - ConcEPT: Concept-Enhanced Pre-Training for Language Models [57.778895980999124]
ConcEPTは、概念知識を事前訓練された言語モデルに注入することを目的としている。
これは、事前訓練されたコンテキストで言及されたエンティティの概念を予測するために、外部エンティティの概念予測を利用する。
実験の結果,ConcEPTは概念強化事前学習により概念知識を向上することがわかった。
論文 参考訳(メタデータ) (2024-01-11T05:05:01Z) - Auxiliary Losses for Learning Generalizable Concept-based Models [5.4066453042367435]
コンセプト・ボトルネック・モデル (Concept Bottleneck Models, CBM) は導入以来人気を集めている。
CBMは基本的に、モデルの潜在空間を人間に理解可能な高レベルな概念に制限する。
本稿では,協調型コンセプション・ボトルネックモデル(coop-CBM)を提案し,性能トレードオフを克服する。
論文 参考訳(メタデータ) (2023-11-18T15:50:07Z) - Relational Concept Based Models [14.281078288592461]
概念ベースモデル(CBM)は問題を解くために設計されていないが、関係モデルはCBMとして解釈できない。
実験の結果,リレーショナルCBMは量子化概念に基づく説明の生成を支援することがわかった。
論文 参考訳(メタデータ) (2023-08-23T08:25:33Z) - I saw, I conceived, I concluded: Progressive Concepts as Bottlenecks [2.9398911304923447]
概念ボトルネックモデル(CBM)は、予測中間概念の修正による推論時の説明可能性と介入を提供する。
これにより、CBMは高い意思決定に魅力的なものとなる。
胎児超音波検査の品質評価を,医療におけるCBM意思決定支援の現実的ユースケースとして捉えた。
論文 参考訳(メタデータ) (2022-11-19T09:31:19Z) - Concept Embedding Models [27.968589555078328]
概念ボトルネックモデルは、人間のような概念の中間レベルに分類タスクを条件付けすることで、信頼性を促進する。
既存の概念ボトルネックモデルは、高いタスク精度、堅牢な概念に基づく説明、概念に対する効果的な介入の間の最適な妥協を見つけることができない。
本稿では,解釈可能な高次元概念表現を学習することで,現在の精度-vs-解釈可能性トレードオフを超える新しい概念ボトルネックモデルであるConcept Embedding Modelsを提案する。
論文 参考訳(メタデータ) (2022-09-19T14:49:36Z) - A Unified Contrastive Energy-based Model for Understanding the
Generative Ability of Adversarial Training [64.71254710803368]
Adversarial Training (AT) は、ディープニューラルネットワークの堅牢性を高める効果的なアプローチである。
我々は、Contrastive Energy-based Models(CEM)と呼ばれる統合確率的枠組みを開発することにより、この現象をデミステレーションする。
本稿では,逆学習法とサンプリング法を開発するための原則的手法を提案する。
論文 参考訳(メタデータ) (2022-03-25T05:33:34Z) - Explain, Edit, and Understand: Rethinking User Study Design for
Evaluating Model Explanations [97.91630330328815]
我々はクラウドソーシング研究を行い、真偽のホテルレビューと偽のホテルレビューを区別するために訓練された詐欺検出モデルと対話する。
単語の線形バッグモデルでは、トレーニング中に特徴係数にアクセスした参加者は、非説明制御と比較して、テストフェーズにおいてモデルの信頼性が大幅に低下する可能性があることを観察する。
論文 参考訳(メタデータ) (2021-12-17T18:29:56Z) - On the model-based stochastic value gradient for continuous
reinforcement learning [50.085645237597056]
モデルベースエージェントは,サンプル効率と最終報酬の両方の観点から,最先端のモデルフリーエージェントより優れていることを示す。
以上の結果から,モデルに基づく政策評価がより注目に値することが示唆された。
論文 参考訳(メタデータ) (2020-08-28T17:58:29Z) - Control as Hybrid Inference [62.997667081978825]
本稿では、反復推論と償却推論のバランスを自然に仲介するCHIの実装について述べる。
連続的な制御ベンチマークでアルゴリズムのスケーラビリティを検証し、強力なモデルフリーおよびモデルベースラインを上回る性能を示す。
論文 参考訳(メタデータ) (2020-07-11T19:44:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。