論文の概要: Re-Visiting Explainable AI Evaluation Metrics to Identify The Most Informative Features

• arxiv url: http://arxiv.org/abs/2502.00088v1
• Date: Fri, 31 Jan 2025 17:18:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 15:04:16.129997
• Title: Re-Visiting Explainable AI Evaluation Metrics to Identify The Most Informative Features
• Title（参考訳）: 説明可能なAI評価メトリクスを再視覚化して、最もインフォーマティブな特徴を識別する
• Authors: Ahmed M. Salih,
• Abstract要約: 関数性またはプロキシベースのアプローチは、人工知能手法の品質を評価するために使用されるアプローチの1つである。 その中では、選択性(Selectivity)やRemOve And Retrain(ROAR)、Permutation Importance(PI)が最も一般的に使用されるメトリクスである。 本稿では,ROAR や IP が実装された場合のモデルの上と下の境界を予測するための予測精度区間 (EAI) を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Functionality or proxy-based approach is one of the used approaches to evaluate the quality of explainable artificial intelligence methods. It uses statistical methods, definitions and new developed metrics for the evaluation without human intervention. Among them, Selectivity or RemOve And Retrain (ROAR), and Permutation Importance (PI) are the most commonly used metrics to evaluate the quality of explainable artificial intelligence methods to highlight the most significant features in machine learning models. They state that the model performance should experience a sharp reduction if the most informative feature is removed from the model or permuted. However, the efficiency of both metrics is significantly affected by multicollinearity, number of significant features in the model and the accuracy of the model. This paper shows with empirical examples that both metrics suffer from the aforementioned limitations. Accordingly, we propose expected accuracy interval (EAI), a metric to predict the upper and lower bounds of the the accuracy of the model when ROAR or IP is implemented. The proposed metric found to be very useful especially with collinear features.
• Abstract（参考訳）: 関数性またはプロキシベースのアプローチは、説明可能な人工知能手法の品質を評価するために使用されるアプローチの1つである。 人間の介入を伴わない評価のために、統計手法、定義、新しい開発メトリクスを使用する。 その中で、選択性(Selectivity)またはRemOve And Retrain(ROAR)、および置換重要度(Permutation Importance、PI)は、説明可能な人工知能手法の品質を評価し、機械学習モデルで最も重要な特徴を強調するための最も一般的なメトリクスである。 彼らは、最も情報性の高い機能がモデルから削除されたり、置換されたりした場合、モデルのパフォーマンスが急激な低下を経験すべきであると述べている。 しかし,両指標の効率性は,マルチコリニティ,モデルにおける重要な特徴数,モデルの精度に大きく影響している。 本稿では,両指標が上記の制限に悩まされている経験的な例を示す。 そこで我々は,ROAR や IP が実装された場合のモデルの精度の上下境界を予測する指標である予測精度区間 (EAI) を提案する。 提案した測定値は非常に有用であることが判明した。

関連論文リスト

• QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
  モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。 QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。 例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
  論文  参考訳（メタデータ） (2023-11-06T00:21:44Z)
• Hyperparameter Tuning and Model Evaluation in Causal Effect Estimation [2.7823528791601686]
  本稿では,因果効果推定のためのモデル評価の4つの異なる側面間の相互作用について検討する。 ほとんどの因果推定器は、十分に調整された場合、ほぼ同等の性能であることがわかった。 我々は,現在,最先端の手順で提供されていない最適性能を解き放つために,因果モデル評価に関するさらなる研究を求めている。
  論文  参考訳（メタデータ） (2023-03-02T17:03:02Z)
• Evaluating Representations with Readout Model Switching [19.907607374144167]
  本稿では,最小記述長(MDL)の原理を用いて評価指標を考案する。 我々は、読み出しモデルのためのハイブリッド離散および連続値モデル空間を設計し、それらの予測を組み合わせるために切替戦略を用いる。 提案手法はオンライン手法で効率的に計算でき,様々なアーキテクチャの事前学習された視覚エンコーダに対する結果を示す。
  論文  参考訳（メタデータ） (2023-02-19T14:08:01Z)
• Exploring validation metrics for offline model-based optimisation with diffusion models [50.404829846182764]
  モデルベース最適化(MBO)では、マシンラーニングを使用して、(基底真理)オラクルと呼ばれるブラックボックス関数に対する報酬の尺度を最大化する候補を設計することに興味があります。 モデル検証中に基底オラクルに対する近似をトレーニングし、その代わりに使用することができるが、その評価は近似的であり、敵の例に対して脆弱である。 本手法は,外挿量を測定するために提案した評価フレームワークにカプセル化されている。
  論文  参考訳（メタデータ） (2022-11-19T16:57:37Z)
• Predicting is not Understanding: Recognizing and Addressing Underspecification in Machine Learning [47.651130958272155]
  下位仕様とは、ドメイン内の精度で区別できない複数のモデルの存在を指す。 我々は、不特定概念を形式化し、それを特定し、部分的に対処する方法を提案する。
  論文  参考訳（メタデータ） (2022-07-06T11:20:40Z)
• HyperImpute: Generalized Iterative Imputation with Automatic Model Selection [77.86861638371926]
  カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。 既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
  論文  参考訳（メタデータ） (2022-06-15T19:10:35Z)
• MACE: An Efficient Model-Agnostic Framework for Counterfactual Explanation [132.77005365032468]
  MACE(Model-Agnostic Counterfactual Explanation)の新たな枠組みを提案する。 MACE法では, 優れた反実例を見つけるための新しいRL法と, 近接性向上のための勾配のない降下法を提案する。 公開データセットの実験は、有効性、空間性、近接性を向上して検証する。
  論文  参考訳（メタデータ） (2022-05-31T04:57:06Z)
• ALT-MAS: A Data-Efficient Framework for Active Testing of Machine Learning Algorithms [58.684954492439424]
  少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。 ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
  論文  参考訳（メタデータ） (2021-04-11T12:14:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。