論文の概要: V-CEM: Bridging Performance and Intervenability in Concept-based Models
- arxiv url: http://arxiv.org/abs/2504.03978v1
- Date: Fri, 04 Apr 2025 22:43:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-16 07:01:42.870789
- Title: V-CEM: Bridging Performance and Intervenability in Concept-based Models
- Title(参考訳): V-CEM:概念モデルにおけるブリッジング性能とインターベンタビリティ
- Authors: Francesco De Santis, Gabriele Ciravegna, Philippe Bich, Danilo Giordano, Tania Cerquitelli,
- Abstract要約: 概念ベースのAI(C-XAI)は、中間的、人間の理解可能な概念を活用することにより、AIモデルの解釈可能性を高める、急速に成長する研究分野である。
CBMは最終決定の前に概念を明示的に予測し、介入が誤分類された概念を修正できるようにする。
CBMは介入を伴うOF-Distribution(OOD)設定でも有効であるが、ブラックボックスモデルのパフォーマンスに匹敵する。
本稿では,CEMの介入応答性を改善するために,変分推論を利用する変分概念埋め込みモデルを提案する。
- 参考スコア(独自算出の注目度): 6.617167508694296
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Concept-based eXplainable AI (C-XAI) is a rapidly growing research field that enhances AI model interpretability by leveraging intermediate, human-understandable concepts. This approach not only enhances model transparency but also enables human intervention, allowing users to interact with these concepts to refine and improve the model's performance. Concept Bottleneck Models (CBMs) explicitly predict concepts before making final decisions, enabling interventions to correct misclassified concepts. While CBMs remain effective in Out-Of-Distribution (OOD) settings with intervention, they struggle to match the performance of black-box models. Concept Embedding Models (CEMs) address this by learning concept embeddings from both concept predictions and input data, enhancing In-Distribution (ID) accuracy but reducing the effectiveness of interventions, especially in OOD scenarios. In this work, we propose the Variational Concept Embedding Model (V-CEM), which leverages variational inference to improve intervention responsiveness in CEMs. We evaluated our model on various textual and visual datasets in terms of ID performance, intervention responsiveness in both ID and OOD settings, and Concept Representation Cohesiveness (CRC), a metric we propose to assess the quality of the concept embedding representations. The results demonstrate that V-CEM retains CEM-level ID performance while achieving intervention effectiveness similar to CBM in OOD settings, effectively reducing the gap between interpretability (intervention) and generalization (performance).
- Abstract(参考訳): 概念ベースのeXplainable AI(C-XAI)は、中間的、人間の理解可能な概念を活用することで、AIモデルの解釈可能性を高める急速に成長する研究分野である。
このアプローチはモデルの透明性を高めるだけでなく、人間の介入も可能にします。
概念ボトルネックモデル (Concept Bottleneck Models, CBM) は最終決定を行う前に概念を明示的に予測し、介入が誤分類された概念を修正できるようにする。
CBMは、介入を伴うOF-Distribution(OOD)設定において有効であるが、ブラックボックスモデルのパフォーマンスに匹敵する。
概念埋め込みモデル(CEM)は、概念予測と入力データの両方から概念埋め込みを学習することでこの問題に対処し、In-Distribution(ID)の精度を向上するが、特にOODシナリオにおける介入の有効性を低下させる。
本研究では,CEMの介入応答性を改善するために,変分推論を利用する変分概念埋め込みモデルを提案する。
我々は、ID性能、IDおよびOOD設定の介入応答性、および概念表現結合性(CRC)の観点から、さまざまなテキストおよび視覚的データセットを用いてモデルを評価し、概念埋め込み表現の質を評価することを提案する。
その結果, V-CEMは, OOD設定におけるCBMと同様の介入効果を達成しつつ, CEMレベルのID性能を維持し, 解釈可能性(介入)と一般化(性能)のギャップを効果的に低減できることを示した。
関連論文リスト
- A Meaningful Perturbation Metric for Evaluating Explainability Methods [55.09730499143998]
本稿では,画像生成モデルを用いて標的摂動を行う新しい手法を提案する。
具体的には,画像の忠実さを保ちながら,入力画像の高関連画素のみを塗布し,モデルの予測を変更することに焦点を当てる。
これは、しばしばアウト・オブ・ディストリビューションの修正を生み出し、信頼できない結果をもたらす既存のアプローチとは対照的である。
論文 参考訳(メタデータ) (2025-04-09T11:46:41Z) - Towards Robust and Reliable Concept Representations: Reliability-Enhanced Concept Embedding Model [22.865870813626316]
概念ボトルネックモデル(Concept Bottleneck Models, CBM)は、人間の理解可能な概念を意思決定の中間体として予測することにより、解釈可能性を高めることを目的としている。
概念に関係のない特徴に対する感受性と、異なるサンプルの同じ概念に対する意味的一貫性の欠如である。
本稿では,Reliability-Enhanced Concept Embedding Model (RECEM) を提案する。Reliability-Enhanced Concept Embedding Model (RECEM) は2つの戦略を導入する。
論文 参考訳(メタデータ) (2025-02-03T09:29:39Z) - Explanatory Model Monitoring to Understand the Effects of Feature Shifts on Performance [61.06245197347139]
そこで本研究では,機能シフトによるブラックボックスモデルの振る舞いを説明する新しい手法を提案する。
本稿では,最適輸送と共有値の概念を組み合わせた提案手法について,説明的性能推定として紹介する。
論文 参考訳(メタデータ) (2024-08-24T18:28:19Z) - Stochastic Concept Bottleneck Models [8.391254800873599]
概念ボトルネックモデル(CBM)は、人間の理解可能な概念に基づいて最終的な予測を行う有望な解釈可能な手法として登場した。
本稿では,概念の依存関係をモデル化する新しいアプローチであるConcept Bottleneck Models (SCBM)を提案する。
単一概念の介入はすべての関係する概念に影響を与え、介入の有効性を向上させる。
論文 参考訳(メタデータ) (2024-06-27T15:38:37Z) - Improving Intervention Efficacy via Concept Realignment in Concept Bottleneck Models [57.86303579812877]
概念ボトルネックモデル (Concept Bottleneck Models, CBM) は、人間の理解可能な概念に基づいて、解釈可能なモデル決定を可能にする画像分類である。
既存のアプローチは、強いパフォーマンスを達成するために、画像ごとに多数の人間の介入を必要とすることが多い。
本稿では,概念関係を利用した学習型概念認識介入モジュールについて紹介する。
論文 参考訳(メタデータ) (2024-05-02T17:59:01Z) - Separable Multi-Concept Erasure from Diffusion Models [52.51972530398691]
大規模拡散モデルから安全でない概念を排除するために,分離可能なマルチコンセプト消去器(SepME)を提案する。
後者は最適化可能なモデルウェイトを分離し、各ウェイトインクリメントは特定の概念の消去に対応する。
広範囲にわたる実験は, 概念の排除, モデル性能の保存, 各種概念の消去・回復における柔軟性の確保に, アプローチの有効性を示すものである。
論文 参考訳(メタデータ) (2024-02-03T11:10:57Z) - ConcEPT: Concept-Enhanced Pre-Training for Language Models [57.778895980999124]
ConcEPTは、概念知識を事前訓練された言語モデルに注入することを目的としている。
これは、事前訓練されたコンテキストで言及されたエンティティの概念を予測するために、外部エンティティの概念予測を利用する。
実験の結果,ConcEPTは概念強化事前学習により概念知識を向上することがわかった。
論文 参考訳(メタデータ) (2024-01-11T05:05:01Z) - Auxiliary Losses for Learning Generalizable Concept-based Models [5.4066453042367435]
コンセプト・ボトルネック・モデル (Concept Bottleneck Models, CBM) は導入以来人気を集めている。
CBMは基本的に、モデルの潜在空間を人間に理解可能な高レベルな概念に制限する。
本稿では,協調型コンセプション・ボトルネックモデル(coop-CBM)を提案し,性能トレードオフを克服する。
論文 参考訳(メタデータ) (2023-11-18T15:50:07Z) - Learning to Receive Help: Intervention-Aware Concept Embedding Models [44.1307928713715]
概念ボトルネックモデル (Concept Bottleneck Models, CBM) は、高レベルの概念セットを使用して予測を構築し、説明することによって、ニューラルネットワークの不透明さに対処する。
近年の研究では、介入効果は概念が介入される順序に大きく依存していることが示されている。
IntCEM(Intervention-Aware Concept Embedding Model)は,テスト時間介入に対するモデルの受容性を改善する新しいCBMアーキテクチャとトレーニングパラダイムである。
論文 参考訳(メタデータ) (2023-09-29T02:04:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。