論文の概要: ConSim: Measuring Concept-Based Explanations' Effectiveness with Automated Simulatability
- arxiv url: http://arxiv.org/abs/2501.05855v2
- Date: Mon, 13 Jan 2025 10:39:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-14 14:26:08.961394
- Title: ConSim: Measuring Concept-Based Explanations' Effectiveness with Automated Simulatability
- Title（参考訳）: ConSim: 自動シミュラビリティによる概念ベース説明の有効性の測定
- Authors: Antonin Poché, Alon Jacovi, Agustin Martin Picard, Victor Boutin, Fanny Jourdan,
- Abstract要約: 概念に基づく説明は、複雑なモデル計算を人間の理解可能な概念にマッピングすることで機能する。
既存の評価指標は、しばしば考えられる概念の誘導された空間の品質にのみ焦点をあてる。
自動シミュラビリティによる概念記述の計測のための評価フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 7.379131259852646
- License:
- Abstract: Concept-based explanations work by mapping complex model computations to human-understandable concepts. Evaluating such explanations is very difficult, as it includes not only the quality of the induced space of possible concepts but also how effectively the chosen concepts are communicated to users. Existing evaluation metrics often focus solely on the former, neglecting the latter. We introduce an evaluation framework for measuring concept explanations via automated simulatability: a simulator's ability to predict the explained model's outputs based on the provided explanations. This approach accounts for both the concept space and its interpretation in an end-to-end evaluation. Human studies for simulatability are notoriously difficult to enact, particularly at the scale of a wide, comprehensive empirical evaluation (which is the subject of this work). We propose using large language models (LLMs) as simulators to approximate the evaluation and report various analyses to make such approximations reliable. Our method allows for scalable and consistent evaluation across various models and datasets. We report a comprehensive empirical evaluation using this framework and show that LLMs provide consistent rankings of explanation methods. Code available at https://github.com/AnonymousConSim/ConSim.
- Abstract（参考訳）: 概念に基づく説明は、複雑なモデル計算を人間の理解可能な概念にマッピングすることで機能する。
このような説明を評価することは、可能概念の誘導空間の品質だけでなく、選択された概念がいかに効果的にユーザーに伝達されるかを含むため、非常に困難である。
既存の評価指標は、しばしば前者だけに焦点を当て、後者を無視します。
提案手法は, 提案した説明に基づいて, 説明モデルの出力を予測するシミュレーターの能力である, 自動シミュラビリティによる概念説明の計測を行うための評価フレームワークを提案する。
このアプローチは、エンド・ツー・エンドの評価において、概念空間とその解釈の両方を考慮に入れている。
再現性に関する人間の研究は、特に広範で包括的な経験的評価(この研究の主題である)の規模において、実行が困難であることが知られている。
本研究では,大規模言語モデル(LLM)をシミュレータとして,評価を近似し,様々な解析結果を報告し,そのような近似を信頼性のあるものにすることを提案する。
提案手法は,様々なモデルやデータセットに対して,スケーラブルで一貫した評価を可能にする。
本稿では,このフレームワークを用いた総合的な経験的評価を行い,LCMが一貫した説明手法のランキングを提供することを示す。
コードはhttps://github.com/AnonymousConSim/ConSimで公開されている。
関連論文リスト
- Self-supervised Interpretable Concept-based Models for Text Classification [9.340843984411137]
本稿では,自己教師型解釈可能な概念埋め込みモデル(ICEM)を提案する。
我々は,大規模言語モデルの一般化能力を活用し,概念ラベルを自己管理的に予測する。
ICEMは、完全に教師されたコンセプトベースモデルやエンドツーエンドのブラックボックスモデルと同じようなパフォーマンスを達成するために、自己管理的な方法でトレーニングすることができる。
論文 参考訳（メタデータ） (2024-06-20T14:04:53Z) - Evaluating Readability and Faithfulness of Concept-based Explanations [35.48852504832633]
概念に基づく説明は、大規模言語モデルによって学習された高レベルのパターンを説明するための有望な道として現れます。
現在の手法は、統一的な形式化を欠いた異なる視点から概念にアプローチする。
これにより、概念の中核となる尺度、すなわち忠実さや可読性を評価するのが難しくなります。
論文 参考訳（メタデータ） (2024-04-29T09:20:25Z) - Estimation of Concept Explanations Should be Uncertainty Aware [39.598213804572396]
概念説明(Concept Explanations)と呼ばれる特定の概念について研究し、人間の理解可能な概念を用いてモデルを解釈することを目的としている。
簡単な解釈で人気があるが、概念的な説明は騒々しいことが知られている。
本稿では,これらの問題に対処する不確実性を考慮したベイズ推定手法を提案する。
論文 参考訳（メタデータ） (2023-12-13T11:17:27Z) - Evaluating the Utility of Model Explanations for Model Development [54.23538543168767]
機械学習モデル構築の実践シナリオにおいて、説明が人間の意思決定を改善するかどうかを評価する。
驚いたことに、サリエンシマップが提供されたとき、タスクが大幅に改善されたという証拠は見つからなかった。
以上の結果から,サリエンシに基づく説明における誤解の可能性と有用性について注意が必要であることが示唆された。
論文 参考訳（メタデータ） (2023-12-10T23:13:23Z) - Interpreting Pretrained Language Models via Concept Bottlenecks [55.47515772358389]
事前訓練された言語モデル(PLM)は、様々な自然言語処理タスクにおいて大きな進歩を遂げてきた。
ブラックボックスの性質による解釈可能性の欠如は、責任ある実装に課題をもたらす。
本研究では,人間にとって理解しやすい高レベルで有意義な概念を用いて,PLMを解釈する新しい手法を提案する。
論文 参考訳（メタデータ） (2023-11-08T20:41:18Z) - Evaluating and Explaining Large Language Models for Code Using Syntactic
Structures [74.93762031957883]
本稿では,コード用大規模言語モデルに特有の説明可能性手法であるASTxplainerを紹介する。
その中核にあるASTxplainerは、トークン予測をASTノードに整合させる自動メソッドを提供する。
私たちは、最も人気のあるGitHubプロジェクトのキュレートデータセットを使用して、コード用の12の人気のあるLLMに対して、実証的な評価を行います。
論文 参考訳（メタデータ） (2023-08-07T18:50:57Z) - A Recursive Bateson-Inspired Model for the Generation of Semantic Formal
Concepts from Spatial Sensory Data [77.34726150561087]
本稿では,複雑な感覚データから階層構造を生成するための記号のみの手法を提案する。
このアプローチは、概念や概念の創始の鍵としてのバテソンの差異の概念に基づいている。
このモデルは、トレーニングなしでかなりリッチだが人間に読まれる概念表現を生成することができる。
論文 参考訳（メタデータ） (2023-07-16T15:59:13Z) - Concept-based Explanations using Non-negative Concept Activation Vectors
and Decision Tree for CNN Models [4.452019519213712]
本稿では、概念に基づく説明書から抽出した概念に基づいて決定木を訓練することで、畳み込みニューラルネットワーク(CNN)モデルの解釈可能性を高めることができるかどうかを評価する。
論文 参考訳（メタデータ） (2022-11-19T21:42:55Z) - CEBaB: Estimating the Causal Effects of Real-World Concepts on NLP Model
Behavior [26.248879735549277]
実世界の概念がMLモデルの出力挙動に与える影響を推定する因果推論問題として、モデル説明をキャストした。
自然言語処理(NLP)における概念に基づく説明手法を評価するための新しいベンチマークデータセットCEBaBを紹介する。
CEBaBを用いて,様々な仮定や概念を網羅した概念に基づく説明手法の質を比較した。
論文 参考訳（メタデータ） (2022-05-27T17:59:14Z) - Evaluations and Methods for Explanation through Robustness Analysis [117.7235152610957]
分析による特徴に基づく説明の新たな評価基準を確立する。
我々は、緩やかに必要であり、予測に十分である新しい説明を得る。
我々は、現在の予測をターゲットクラスに移動させる一連の特徴を抽出するために、説明を拡張します。
論文 参考訳（メタデータ） (2020-05-31T05:52:05Z) - Evaluating Explainable AI: Which Algorithmic Explanations Help Users
Predict Model Behavior? [97.77183117452235]
我々は、モデル解釈性に対するアルゴリズム的説明の影響を分離するために、人体テストを実施している。
方法の有効性の明確な証拠はごく少数にみえる。
以上の結果から,説明がシミュラビリティにどのように影響するかの信頼性と包括的評価が得られた。
論文 参考訳（メタデータ） (2020-05-04T20:35:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。