論文の概要: CARLA: A Python Library to Benchmark Algorithmic Recourse and
Counterfactual Explanation Algorithms
- arxiv url: http://arxiv.org/abs/2108.00783v1
- Date: Mon, 2 Aug 2021 11:00:43 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-03 21:58:18.478168
- Title: CARLA: A Python Library to Benchmark Algorithmic Recourse and
Counterfactual Explanation Algorithms
- Title（参考訳）: CARLA: アルゴリズム記述と対実説明アルゴリズムをベンチマークするPythonライブラリ
- Authors: Martin Pawelczyk and Sascha Bielawski and Johannes van den Heuvel and
Tobias Richter and Gjergji Kasneci
- Abstract要約: CARLA (Counterfactual And Recourse LibrAry) は、対物的説明法をベンチマークするピソンライブラリである。
提案手法は,11種類の反事実的説明手法の広範なベンチマークを提供する。
また,将来的対実的説明法の研究のためのベンチマークフレームワークも提供する。
- 参考スコア（独自算出の注目度）: 6.133522864509327
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Counterfactual explanations provide means for prescriptive model explanations
by suggesting actionable feature changes (e.g., increase income) that allow
individuals to achieve favorable outcomes in the future (e.g., insurance
approval). Choosing an appropriate method is a crucial aspect for meaningful
counterfactual explanations. As documented in recent reviews, there exists a
quickly growing literature with available methods. Yet, in the absence of
widely available opensource implementations, the decision in favor of certain
models is primarily based on what is readily available. Going forward - to
guarantee meaningful comparisons across explanation methods - we present CARLA
(Counterfactual And Recourse LibrAry), a python library for benchmarking
counterfactual explanation methods across both different data sets and
different machine learning models. In summary, our work provides the following
contributions: (i) an extensive benchmark of 11 popular counterfactual
explanation methods, (ii) a benchmarking framework for research on future
counterfactual explanation methods, and (iii) a standardized set of integrated
evaluation measures and data sets for transparent and extensive comparisons of
these methods. We have open-sourced CARLA and our experimental results on
Github, making them available as competitive baselines. We welcome
contributions from other research groups and practitioners.
- Abstract（参考訳）: カウンターファクチュアルな説明は、将来の望ましい結果(保険承認など)を個人が達成できる行動可能な特徴変化(例えば収入の増加)を提案することによって、規範的なモデル説明の手段を提供する。
適切な方法を選択することは、意味のある反事実的説明にとって重要な側面である。
最近のレビューで述べられているように、利用可能な方法を持つ文献が急速に増えている。
しかし、広く利用可能なオープンソース実装が存在しないため、特定のモデルに賛成する決定は、主に簡単に利用できるものに基づいている。
今後は、説明メソッド間の有意義な比較を保証するために、さまざまなデータセットと異なる機械学習モデルにまたがる反事実説明メソッドをベンチマークするためのpythonライブラリであるcarla(counterfactual and recourse library)を提示します。
まとめると,本研究は,11の一般的な反事実説明手法の広範なベンチマーク,(ii)今後の反事実説明手法の研究のためのベンチマークフレームワーク,(iii)これらの手法を透明かつ広範囲に比較するための統合評価尺度とデータセットの標準化セットを提供する。
CARLAとGithubの実験成果をオープンソースとして公開し、競争上のベースラインとして利用しました。
他の研究グループや実践者からの貢献を歓迎します。
関連論文リスト
- ir_explain: a Python Library of Explainable IR Methods [2.6746131626710725]
irexplainは、共通のフレームワーク内でExplainable IR(ExIR)の様々なテクニックを実装するPythonライブラリである。
irexplainは、ポストホックな説明の標準的な3つのカテゴリ、すなわちポイントワイド、ペアワイド、リストワイドの説明をサポートします。
このライブラリは、標準的なテストコレクションで最先端のExIRベースラインを簡単に再現できるように設計されている。
論文 参考訳（メタデータ） (2024-04-29T09:37:24Z) - Revisiting Demonstration Selection Strategies in In-Context Learning [66.11652803887284]
大規模言語モデル(LLM)は、インコンテキスト学習(ICL)を用いて広範囲のタスクを実行するという印象的な能力を示している。
本研究ではまず,データとモデルの両方の側面から,この分散に寄与する要因を再検討し,実演の選択がデータとモデルに依存していることを確かめる。
本研究では,データとモデルに依存した実演選択手法である textbfTopK + ConE を提案する。
論文 参考訳（メタデータ） (2024-01-22T16:25:27Z) - Unlocking the Potential of Large Language Models for Explainable
Recommendations [55.29843710657637]
説明ジェネレータを最近登場した大規模言語モデル(LLM)に置き換える影響は、まだ不明である。
本研究では,シンプルで効果的な2段階説明可能なレコメンデーションフレームワークであるLLMXRecを提案する。
いくつかの重要な微調整技術を採用することで、制御可能で流動的な説明が十分に生成できる。
論文 参考訳（メタデータ） (2023-12-25T09:09:54Z) - Evaluating and Explaining Large Language Models for Code Using Syntactic
Structures [74.93762031957883]
本稿では,コード用大規模言語モデルに特有の説明可能性手法であるASTxplainerを紹介する。
その中核にあるASTxplainerは、トークン予測をASTノードに整合させる自動メソッドを提供する。
私たちは、最も人気のあるGitHubプロジェクトのキュレートデータセットを使用して、コード用の12の人気のあるLLMに対して、実証的な評価を行います。
論文 参考訳（メタデータ） (2023-08-07T18:50:57Z) - counterfactuals: An R Package for Counterfactual Explanation Methods [9.505961054570523]
本稿では, 対物的説明法のためのモジュール・統一インターフェースを提供する, 対物的Rパッケージについて紹介する。
提案手法は,既存の3つの対実的説明法を実装し,オプションの方法論拡張を提案する。
本稿では,パッケージに反実的説明手法を組み込む方法について述べる。
論文 参考訳（メタデータ） (2023-04-13T14:29:15Z) - OpenXAI: Towards a Transparent Evaluation of Model Explanations [41.37573216839717]
我々は,ポストホックな説明手法の評価とベンチマークを行う,包括的でオープンソースなフレームワークであるOpenXAIを紹介する。
柔軟性のある合成データジェネレータと多様な実世界のデータセットのコレクション、事前訓練されたモデル、最先端の機能属性メソッド、および(ii)忠実性、安定性(ロバスト性)、説明方法の公正性を評価するための11の定量的メトリクスのオープンソース実装。
論文 参考訳（メタデータ） (2022-06-22T14:01:34Z) - MACE: An Efficient Model-Agnostic Framework for Counterfactual
Explanation [132.77005365032468]
MACE(Model-Agnostic Counterfactual Explanation)の新たな枠組みを提案する。
MACE法では, 優れた反実例を見つけるための新しいRL法と, 近接性向上のための勾配のない降下法を提案する。
公開データセットの実験は、有効性、空間性、近接性を向上して検証する。
論文 参考訳（メタデータ） (2022-05-31T04:57:06Z) - A Framework and Benchmarking Study for Counterfactual Generating Methods
on Tabular Data [0.0]
カウンターファクトな説明は、機械学習の予測を説明する効果的な方法と見なされる。
このような説明を導き出そうとするアルゴリズムは、すでに数十ある。
ベンチマーク研究とフレームワークは、実践者がどのテクニックとビルディングブロックが最も適しているかを決定するのに役立ちます。
論文 参考訳（メタデータ） (2021-07-09T21:06:03Z) - On Sample Based Explanation Methods for NLP:Efficiency, Faithfulness,
and Semantic Evaluation [23.72825603188359]
我々は、任意のテキストシーケンスを説明単位として許容することにより、説明の解釈可能性を向上させることができる。
本研究では,人間による説明の判断に適合する意味に基づく評価指標を提案する。
論文 参考訳（メタデータ） (2021-06-09T00:49:56Z) - Search Methods for Sufficient, Socially-Aligned Feature Importance
Explanations with In-Distribution Counterfactuals [72.00815192668193]
特徴重要度(FI)推定は一般的な説明形式であり、テスト時に特定の入力特徴を除去することによって生じるモデル信頼度の変化を計算し、評価することが一般的である。
FIに基づく説明の未探索次元についていくつかの考察を行い、この説明形式に対する概念的および実証的な改善を提供する。
論文 参考訳（メタデータ） (2021-06-01T20:36:48Z) - Evaluating Explainable AI: Which Algorithmic Explanations Help Users
Predict Model Behavior? [97.77183117452235]
我々は、モデル解釈性に対するアルゴリズム的説明の影響を分離するために、人体テストを実施している。
方法の有効性の明確な証拠はごく少数にみえる。
以上の結果から,説明がシミュラビリティにどのように影響するかの信頼性と包括的評価が得られた。
論文 参考訳（メタデータ） (2020-05-04T20:35:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。