論文の概要: PERFEX: Classifier Performance Explanations for Trustworthy AI Systems
- arxiv url: http://arxiv.org/abs/2212.06045v1
- Date: Mon, 12 Dec 2022 17:03:09 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-13 17:31:17.822988
- Title: PERFEX: Classifier Performance Explanations for Trustworthy AI Systems
- Title（参考訳）: PERFEX:信頼できるAIシステムのための分類器のパフォーマンス説明
- Authors: Erwin Walraven, Ajaya Adhikari, Cor J. Veenman
- Abstract要約: 説明は、ユーザに対して予測を実行可能なものにする。
しかし、既存の説明方法は通常、個々の予測についてのみ説明を提供する。
本稿では、PERFEX(Performance Explainer)と呼ばれる、トレーニングベース分類器の品質を説明する手法を提案する。
- 参考スコア（独自算出の注目度）: 0.9668407688201357
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Explainability of a classification model is crucial when deployed in
real-world decision support systems. Explanations make predictions actionable
to the user and should inform about the capabilities and limitations of the
system. Existing explanation methods, however, typically only provide
explanations for individual predictions. Information about conditions under
which the classifier is able to support the decision maker is not available,
while for instance information about when the system is not able to
differentiate classes can be very helpful. In the development phase it can
support the search for new features or combining models, and in the operational
phase it supports decision makers in deciding e.g. not to use the system. This
paper presents a method to explain the qualities of a trained base classifier,
called PERFormance EXplainer (PERFEX). Our method consists of a meta tree
learning algorithm that is able to predict and explain under which conditions
the base classifier has a high or low error or any other classification
performance metric. We evaluate PERFEX using several classifiers and datasets,
including a case study with urban mobility data. It turns out that PERFEX
typically has high meta prediction performance even if the base classifier is
hardly able to differentiate classes, while giving compact performance
explanations.
- Abstract（参考訳）: 実世界の意思決定支援システムに展開する場合、分類モデルの説明性は不可欠である。
説明は、予測をユーザに実行可能にし、システムの能力と限界を知らせるべきである。
しかし、既存の説明方法は通常、個々の予測についてのみ説明を提供する。
分類器が意思決定者をサポートすることができる条件に関する情報は利用できないが、例えば、システムがクラスを区別できない場合の情報は非常に有用である。
開発フェーズでは新機能の検索やモデルの組み合わせをサポートし、運用フェーズではシステムを使用しないなどの判断において意思決定者をサポートする。
本稿では,PERFEX (PERFormance Explainer) と呼ばれる学習ベース分類器の品質を説明する手法を提案する。
本手法は,ベース分類器がエラー度が高いか低いか,その他の分類性能指標を持つ条件下での予測と説明が可能なメタツリー学習アルゴリズムからなる。
いくつかの分類器とデータセットを用いてPERFEXを評価し,都市移動データを用いたケーススタディを行った。
PERFEXは, 基本分類器がクラスを区別できない場合でも, コンパクトな性能説明を行いながら, メタ予測性能が高いことが判明した。
関連論文リスト
- Prospector Heads: Generalized Feature Attribution for Large Models & Data [82.02696069543454]
本稿では,説明に基づく帰属手法の効率的かつ解釈可能な代替手段であるプロスペクタヘッドを紹介する。
入力データにおけるクラス固有のパターンの解釈と発見を、プロファイラヘッドがいかに改善できるかを実証する。
論文 参考訳（メタデータ） (2024-02-18T23:01:28Z) - Bayesian Strategic Classification [11.439576371711711]
戦略分類における学習者による部分的情報公開の研究について検討する。
エージェントの操作能力を高めつつも,そのような部分的な情報公開が学習者の正確さにどのように寄与するかを示す。
論文 参考訳（メタデータ） (2024-02-13T19:51:49Z) - A Hard-to-Beat Baseline for Training-free CLIP-based Adaptation [121.0693322732454]
対照的に、CLIP(Contrastive Language- Image Pretraining)はその目覚ましいゼロショット能力で人気を集めている。
近年の研究では、下流タスクにおけるCLIPの性能を高めるための効率的な微調整手法の開発に焦点が当てられている。
従来のアルゴリズムであるガウス判別分析(GDA)を再検討し,CLIPの下流分類に適用する。
論文 参考訳（メタデータ） (2024-02-06T15:45:27Z) - XAL: EXplainable Active Learning Makes Classifiers Better Low-resource Learners [71.8257151788923]
低リソーステキスト分類のための新しい説明可能なアクティブラーニングフレームワーク(XAL)を提案する。
XALは分類器に対して、推論を正当化し、合理的な説明ができないラベルのないデータを掘り下げることを推奨している。
6つのデータセットの実験では、XALは9つの強いベースラインに対して一貫した改善を達成している。
論文 参考訳（メタデータ） (2023-10-09T08:07:04Z) - Reconnoitering the class distinguishing abilities of the features, to
know them better [6.026640792312181]
説明可能性により、エンドユーザは、機械学習スキームの能力とユーティリティを透過的かつ人間的に参照することができる。
本稿では,これらの特徴をクラスやカテゴリ識別機能に基づいて説明する。
いくつかの実世界のマルチクラスデータセットで実証的に提案手法が与える説明可能性を検証する。
論文 参考訳（メタデータ） (2022-11-23T08:39:41Z) - Supervised Feature Compression based on Counterfactual Analysis [3.2458225810390284]
本研究は,事前学習したブラックボックスモデルの重要な決定境界を検出するために,非現実的説明を活用することを目的としている。
離散化されたデータセットを使用して、ブラックボックスモデルに似た最適な決定木をトレーニングすることができるが、解釈可能でコンパクトである。
論文 参考訳（メタデータ） (2022-11-17T21:16:14Z) - An Additive Instance-Wise Approach to Multi-class Model Interpretation [53.87578024052922]
解釈可能な機械学習は、ブラックボックスシステムの特定の予測を駆動する要因に関する洞察を提供する。
既存の手法は主に、局所的な加法的あるいはインスタンス的なアプローチに従う説明的入力特徴の選択に重点を置いている。
本研究は,両手法の長所を生かし,複数の対象クラスに対する局所的な説明を同時に学習するためのグローバルフレームワークを提案する。
論文 参考訳（メタデータ） (2022-07-07T06:50:27Z) - MACE: An Efficient Model-Agnostic Framework for Counterfactual
Explanation [132.77005365032468]
MACE(Model-Agnostic Counterfactual Explanation)の新たな枠組みを提案する。
MACE法では, 優れた反実例を見つけるための新しいRL法と, 近接性向上のための勾配のない降下法を提案する。
公開データセットの実験は、有効性、空間性、近接性を向上して検証する。
論文 参考訳（メタデータ） (2022-05-31T04:57:06Z) - Learning-From-Disagreement: A Model Comparison and Visual Analytics
Framework [21.055845469999532]
本稿では,2つの分類モデルを視覚的に比較するフレームワークを提案する。
具体的には、不一致のインスタンスから学ぶために差別者を訓練する。
我々は、訓練された識別器を、異なるメタ特徴のSHAP値で解釈する。
論文 参考訳（メタデータ） (2022-01-19T20:15:35Z) - Learning Debiased and Disentangled Representations for Semantic
Segmentation [52.35766945827972]
セマンティックセグメンテーションのためのモデルに依存しない訓練手法を提案する。
各トレーニングイテレーションで特定のクラス情報をランダムに除去することにより、クラス間の機能依存を効果的に削減する。
提案手法で訓練したモデルは,複数のセマンティックセグメンテーションベンチマークにおいて強い結果を示す。
論文 参考訳（メタデータ） (2021-10-31T16:15:09Z) - Explainable AI for Classification using Probabilistic Logic Inference [9.656846523452502]
説明可能な分類法を提案する。
本手法は,まず学習データから記号的知識ベースを構築し,その知識ベース上で線形プログラミングによる確率的推論を行う。
これは、ある分類を説明として責任を負う決定的な特徴を特定し、アートリー値ベースの手法であるSHAPに類似した結果を生成する。
論文 参考訳（メタデータ） (2020-05-05T11:39:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。