論文の概要: Evaluating Explainability in Machine Learning Predictions through Explainer-Agnostic Metrics

• arxiv url: http://arxiv.org/abs/2302.12094v3
• Date: Wed, 06 Nov 2024 22:21:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-09 00:49:11.996116
• Title: Evaluating Explainability in Machine Learning Predictions through Explainer-Agnostic Metrics
• Title（参考訳）: 説明者に依存しないメトリクスによる機械学習予測における説明可能性の評価
• Authors: Cristian Munoz, Kleyton da Costa, Bernardo Modenesi, Adriano Koshiyama,
• Abstract要約: 我々は,モデル予測が説明できる範囲を定量化するために,6つの異なるモデルに依存しないメトリクスを開発した。 これらのメトリクスは、局所的な重要性、グローバルな重要性、代理予測など、モデル説明可能性のさまざまな側面を測定する。 分類と回帰タスクにおけるこれらのメトリクスの実用性を実証し、これらのメトリクスを公開のために既存のPythonパッケージに統合する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: The rapid integration of artificial intelligence (AI) into various industries has introduced new challenges in governance and regulation, particularly regarding the understanding of complex AI systems. A critical demand from decision-makers is the ability to explain the results of machine learning models, which is essential for fostering trust and ensuring ethical AI practices. In this paper, we develop six distinct model-agnostic metrics designed to quantify the extent to which model predictions can be explained. These metrics measure different aspects of model explainability, ranging from local importance, global importance, and surrogate predictions, allowing for a comprehensive evaluation of how models generate their outputs. Furthermore, by computing our metrics, we can rank models in terms of explainability criteria such as importance concentration and consistency, prediction fluctuation, and surrogate fidelity and stability, offering a valuable tool for selecting models based not only on accuracy but also on transparency. We demonstrate the practical utility of these metrics on classification and regression tasks, and integrate these metrics into an existing Python package for public use.
• Abstract（参考訳）: 人工知能(AI)の様々な産業への迅速な統合は、特に複雑なAIシステムの理解に関して、ガバナンスと規制における新たな課題をもたらした。 意思決定者からの重要な要求は、信頼の促進と倫理的AIプラクティスの確保に不可欠な機械学習モデルの結果を説明する能力である。 本稿では,モデル予測が説明できる範囲を定量化するために,モデルに依存しない6つの指標を考案する。 これらのメトリクスは、局所的な重要性、グローバルな重要性、代理予測など、モデル説明可能性のさまざまな側面を計測し、モデルがどのようにアウトプットを生成するかの包括的な評価を可能にします。 さらに,我々のメトリクスを計算することにより,重要度や一貫性,予測変動,忠実度や安定性などの説明可能性基準でモデルをランク付けし,精度だけでなく透明性にも基づくモデルを選択する上で有用なツールを提供する。 分類と回帰タスクにおけるこれらのメトリクスの実用性を実証し、これらのメトリクスを公開のために既存のPythonパッケージに統合する。

関連論文リスト

• Benchmarks as Microscopes: A Call for Model Metrology [76.64402390208576]
  現代の言語モデル(LM)は、能力評価において新たな課題を提起する。 メトリクスに自信を持つためには、モデルミアロジの新たな規律が必要です。
  論文  参考訳（メタデータ） (2024-07-22T17:52:12Z)
• QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
  モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。 QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。 例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
  論文  参考訳（メタデータ） (2023-11-06T00:21:44Z)
• LaPLACE: Probabilistic Local Model-Agnostic Causal Explanations [1.0370398945228227]
  本稿では,機械学習モデルに対する確率論的原因・効果説明を提供するLaPLACE-Explainerを紹介する。 LaPLACE-Explainerコンポーネントはマルコフ毛布の概念を利用して、関連する特徴と非関連する特徴の間の統計的境界を確立する。 提案手法は,LIME と SHAP の局所的精度と特徴の整合性の観点から,因果的説明と性能を向上する。
  論文  参考訳（メタデータ） (2023-10-01T04:09:59Z)
• survex: an R package for explaining machine learning survival models [8.028581359682239]
  本稿では,人工知能技術を適用して生存モデルを説明するためのフレームワークであるsurvex Rパッケージを紹介する。 提案するソフトウェアの能力は生存モデルの理解と診断を含んでおり、その改善につながる可能性がある。
  論文  参考訳（メタデータ） (2023-08-30T16:14:20Z)
• Metric Tools for Sensitivity Analysis with Applications to Neural Networks [0.0]
  説明可能な人工知能(XAI)は、機械学習モデルによる予測の解釈を提供することを目的としている。 本稿では,計量手法を用いてMLモデルの感性を研究するための理論的枠組みを提案する。 $alpha$-curvesと呼ばれる新しいメトリクスの完全なファミリーが抽出される。
  論文  参考訳（メタデータ） (2023-05-03T18:10:21Z)
• ComplAI: Theory of A Unified Framework for Multi-factor Assessment of Black-Box Supervised Machine Learning Models [6.279863832853343]
  ComplAIは、説明可能性、堅牢性、パフォーマンス、公正性、モデル行動を有効にし、観察し、分析し、定量化するユニークなフレームワークである。 教師付き機械学習モデルの評価は、正しい予測を行う能力だけでなく、全体的な責任の観点から行う。
  論文  参考訳（メタデータ） (2022-12-30T08:48:19Z)
• VCNet: A self-explaining model for realistic counterfactual generation [52.77024349608834]
  事実的説明は、機械学習の決定を局所的に説明するための手法のクラスである。 本稿では,予測器と対実生成器を組み合わせたモデルアーキテクチャであるVCNet-Variational Counter Netを提案する。 我々はVCNetが予測を生成でき、また、別の最小化問題を解くことなく、反現実的な説明を生成できることを示した。
  論文  参考訳（メタデータ） (2022-12-21T08:45:32Z)
• Exploring the Trade-off between Plausibility, Change Intensity and Adversarial Power in Counterfactual Explanations using Multi-objective Optimization [73.89239820192894]
  自動対物生成は、生成した対物インスタンスのいくつかの側面を考慮すべきである。 本稿では, 対実例生成のための新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2022-05-20T15:02:53Z)
• Counterfactual Explanations as Interventions in Latent Space [62.997667081978825]
  反現実的な説明は、望ましい結果を達成するために変更が必要な機能のセットをエンドユーザに提供することを目的としています。 現在のアプローチでは、提案された説明を達成するために必要な行動の実現可能性を考慮することはめったにない。 本稿では,非現実的説明を生成する手法として,潜時空間における干渉としての対実的説明(CEILS)を提案する。
  論文  参考訳（メタデータ） (2021-06-14T20:48:48Z)
• Beyond Trivial Counterfactual Explanations with Diverse Valuable Explanations [64.85696493596821]
  コンピュータビジョンの応用において、生成的対実法はモデルの入力を摂動させて予測を変更する方法を示す。 本稿では,多様性強化損失を用いて制約される不連続潜在空間における摂動を学習する反事実法を提案する。 このモデルは, 従来の最先端手法と比較して, 高品質な説明を生産する成功率を向上させる。
  論文  参考訳（メタデータ） (2021-03-18T12:57:34Z)
• Introduction to Rare-Event Predictive Modeling for Inferential Statisticians -- A Hands-On Application in the Prediction of Breakthrough Patents [0.0]
  本稿では,予測性能の最適化を目的とした定量的分析のための機械学習(ML)手法を提案する。 両フィールド間の潜在的な相乗効果について考察する。 我々は,コンピュータサイエンスの用語のデミスティフィケーションを目指して,定量的な社会科学の聴衆に手持ちの予測モデルの導入を行っている。
  論文  参考訳（メタデータ） (2020-03-30T13:06:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。