論文の概要: A Unified Framework for Evaluating the Effectiveness and Enhancing the Transparency of Explainable AI Methods in Real-World Applications

• arxiv url: http://arxiv.org/abs/2412.03884v1
• Date: Thu, 05 Dec 2024 05:30:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-06 20:43:01.901278
• Title: A Unified Framework for Evaluating the Effectiveness and Enhancing the Transparency of Explainable AI Methods in Real-World Applications
• Title（参考訳）: 実世界の応用における説明可能なAI手法の有効性評価と透明性向上のための統一フレームワーク
• Authors: Md. Ariful Islam, M. F. Mridha, Md Abrar Jahin, Nilanjan Dey,
• Abstract要約: AIモデルの特徴である"ブラックボックス"は、解釈可能性、透明性、信頼性を制約する。 本研究では,AIモデルによる説明の正確性,解釈可能性,堅牢性,公正性,完全性を評価するための統合XAI評価フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 2.0681376988193843
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The rapid advancement of deep learning has resulted in substantial advancements in AI-driven applications; however, the "black box" characteristic of these models frequently constrains their interpretability, transparency, and reliability. Explainable artificial intelligence (XAI) seeks to elucidate AI decision-making processes, guaranteeing that explanations faithfully represent the model's rationale and correspond with human comprehension. Despite comprehensive research in XAI, a significant gap persists in standardized procedures for assessing the efficacy and transparency of XAI techniques across many real-world applications. This study presents a unified XAI evaluation framework incorporating extensive quantitative and qualitative criteria to systematically evaluate the correctness, interpretability, robustness, fairness, and completeness of explanations generated by AI models. The framework prioritizes user-centric and domain-specific adaptations, hence improving the usability and reliability of AI models in essential domains. To address deficiencies in existing evaluation processes, we suggest defined benchmarks and a systematic evaluation pipeline that includes data loading, explanation development, and thorough method assessment. The suggested framework's relevance and variety are evidenced by case studies in healthcare, finance, agriculture, and autonomous systems. These provide a solid basis for the equitable and dependable assessment of XAI methodologies. This paradigm enhances XAI research by offering a systematic, flexible, and pragmatic method to guarantee transparency and accountability in AI systems across many real-world contexts.
• Abstract（参考訳）: ディープラーニングの急速な進歩は、AI駆動型アプリケーションに大きな進歩をもたらしたが、これらのモデルの特徴である「ブラックボックス」は、その解釈可能性、透明性、信頼性をしばしば制限している。 説明可能な人工知能(XAI)は、AIの意思決定プロセスを解明し、説明がモデルの理論的根拠を忠実に表現し、人間の理解に対応することを保証する。 XAIにおける包括的な研究にもかかわらず、多くの現実世界のアプリケーションにおけるXAI技術の有効性と透明性を評価するための標準化手続きにおいて、大きなギャップが続いている。 本研究では,AIモデルによる説明の正確性,解釈可能性,堅牢性,公正性,完全性を体系的に評価するために,広範囲な量的および質的基準を取り入れた統一XAI評価フレームワークを提案する。 このフレームワークは、ユーザー中心およびドメイン固有の適応を優先し、それによって、必須ドメインにおけるAIモデルのユーザビリティと信頼性が向上する。 既存の評価プロセスの欠陥に対処するために,データ読み込み,説明開発,徹底的な手法評価を含む,定義されたベンチマークと体系的な評価パイプラインを提案する。 提案された枠組みの妥当性と多様性は、医療、金融、農業、自律システムのケーススタディによって証明されている。 これらは、XAI方法論の公平で信頼性の高い評価の基礎となる。 このパラダイムは、多くの現実世界のコンテキストにわたるAIシステムの透明性と説明責任を保証するために、体系的で柔軟で実践的な方法を提供することで、XAI研究を強化する。

関連論文リスト

• Evaluation Framework for AI Systems in "the Wild" [37.48117853114386]
  ジェネレーティブAI(GenAI)モデルは、業界全体で重要になっているが、現在の評価手法は、その普及に適応していない。 従来の評価は、しばしばベンチマークや固定データセットに依存し、実世界のパフォーマンスを反映しないことが多い。 本稿では,実世界のGenAIシステムを評価するための包括的枠組みを提案する。
  論文  参考訳（メタデータ） (2025-04-23T14:52:39Z)
• A Multi-Layered Research Framework for Human-Centered AI: Defining the Path to Explainability and Trust [2.4578723416255754]
  人間中心型AI(HCAI)は人間の価値観との整合性を強調し、説明可能なAI(XAI)はAI決定をより理解しやすくすることで透明性を高める。 本稿では,HCAI と XAI を橋渡し,構造的説明可能性パラダイムを確立する新しい3層フレームワークを提案する。 我々の発見は、透明性、適応性、倫理的に整合したAIシステムを育成するHCXAI(Human-Centered Explainable AI)を前進させた。
  論文  参考訳（メタデータ） (2025-04-14T01:29:30Z)
• General Scales Unlock AI Evaluation with Explanatory and Predictive Power [57.7995945974989]
  ベンチマークはAIの進歩を導くものだが、汎用AIシステムには限られた説明力と予測力を提供している。 私たちは、一般的なAIベンチマークが実際に何を計測しているかを説明することができる、AI評価のための一般的な尺度を紹介します。 私たちの完全に自動化された方法論は、飽和しない一般的なスケールにインスタンス要求を配置する18の新しく作られたルーリックの上に構築されます。
  論文  参考訳（メタデータ） (2025-03-09T01:13:56Z)
• VirtualXAI: A User-Centric Framework for Explainability Assessment Leveraging GPT-Generated Personas [0.07499722271664146]
  eXplainable AI(XAI)の需要が増加し、AIモデルの解釈可能性、透明性、信頼性が向上した。 仮想ペルソナによる定量的ベンチマークと質的ユーザアセスメントを統合したフレームワークを提案する。 これにより、推定されたXAIスコアが得られ、与えられたシナリオに対して最適なAIモデルとXAIメソッドの両方にカスタマイズされたレコメンデーションが提供される。
  論文  参考訳（メタデータ） (2025-03-06T09:44:18Z)
• A Survey on Human-Centered Evaluation of Explainable AI Methods in Clinical Decision Support Systems [45.89954090414204]
  本稿では,臨床診断支援システムにおける説明可能なAI手法の人間中心評価について調査する。 本研究は、XAIの医療への統合における重要な課題を明らかにし、XAIの評価方法と利害関係者の臨床的ニーズを整合させる構造的枠組みを提案する。
  論文  参考訳（メタデータ） (2025-02-14T01:21:29Z)
• Explainable Artificial Intelligence: A Survey of Needs, Techniques, Applications, and Future Direction [5.417632175667161]
  説明可能な人工知能(XAI)は、これらのモデルがどのように意思決定や予測を行うかを説明することによって、課題に対処する。 既存の研究では、XAIの基本概念、その一般的原理、およびXAI技術の範囲について検討されている。 本稿では、共通用語と定義、XAIの必要性、XAIの受益者の必要性、XAI手法の分類、および異なる応用分野におけるXAI手法の適用に関する総合的な文献レビューを提供する。
  論文  参考訳（メタデータ） (2024-08-30T21:42:17Z)
• SCENE: Evaluating Explainable AI Techniques Using Soft Counterfactuals [0.0]
  本稿では,新たな評価手法であるSCENE(Soft Counterfactual Evaluation for Natural Language Explainability)を紹介する。 トークンベースの置換に焦点を当てることで、SCENEは文脈的に適切で意味論的に意味のあるソフトカウンタブルを作成する。 SCENEは様々なXAI技法の強みと限界についての貴重な洞察を提供する。
  論文  参考訳（メタデータ） (2024-08-08T16:36:24Z)
• Robustness of Explainable Artificial Intelligence in Industrial Process Modelling [43.388607981317016]
  我々は,地中真実シミュレーションと感度解析に基づいて,現在のXAI手法を評価する。 モデル化された産業プロセスの真の感度を正確に予測する能力において,XAI法とXAI法の違いを示す。
  論文  参考訳（メタデータ） (2024-07-12T09:46:26Z)
• Explainable AI for Enhancing Efficiency of DL-based Channel Estimation [1.0136215038345013]
  人工知能に基づく意思決定のサポートは、将来の6Gネットワークの重要な要素である。 このようなアプリケーションでは、ブラックボックスモデルとしてAIを使用するのは危険で難しい。 本稿では,無線通信におけるチャネル推定を目的とした新しいXAI-CHESTフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-09T16:24:21Z)
• Can you trust your explanations? A robustness test for feature attribution methods [42.36530107262305]
  説明可能なAI(XAI)の分野は急速に成長しているが、その技術の使用は時々予期せぬ結果をもたらした。 多様体仮説とアンサンブルアプローチの活用が、ロバスト性の詳細な解析にどのように役立つかを示す。
  論文  参考訳（メタデータ） (2024-06-20T14:17:57Z)
• Explainable AI for Safe and Trustworthy Autonomous Driving: A Systematic Review [12.38351931894004]
  本稿では,安全かつ信頼性の高い自動運転のための説明可能な手法に関する,最初の体系的な文献レビューを紹介する。 我々は、ADにおける安全で信頼性の高いAIに対するXAIの5つの重要な貢献を特定し、それらは解釈可能な設計、解釈可能な代理モデル、解釈可能なモニタリング、補助的な説明、解釈可能な検証である。 我々は、これらのコントリビューションを統合するためにSafeXと呼ばれるモジュラーフレームワークを提案し、同時にAIモデルの安全性を確保しながら、ユーザへの説明提供を可能にした。
  論文  参考訳（メタデータ） (2024-02-08T09:08:44Z)
• Pangu-Agent: A Fine-Tunable Generalist Agent with Structured Reasoning [50.47568731994238]
  人工知能(AI)エージェント作成の鍵となる方法は強化学習(RL)である 本稿では,構造化推論をAIエージェントのポリシーに統合し,学習するための一般的なフレームワークモデルを提案する。
  論文  参考訳（メタデータ） (2023-12-22T17:57:57Z)
• Evaluating General-Purpose AI with Psychometrics [43.85432514910491]
  本稿では,大規模言語モデルなどの汎用AIシステムの包括的かつ正確な評価の必要性について論じる。 現在の評価手法は、主に特定のタスクのベンチマークに基づいており、これらの汎用AIシステムを適切に評価するには不十分である。 これらの課題に対処するため,タスク指向評価から構成指向評価への移行を提案する。
  論文  参考訳（メタデータ） (2023-10-25T05:38:38Z)
• Survey of Trustworthy AI: A Meta Decision of AI [0.41292255339309647]
  不透明なシステムを信頼するには、信頼に値するAI(TAI)のレベルを決定する必要がある。 説明可能性/透明性、公平性/多様性、一般化可能性、プライバシ、データガバナンス、安全性/ロバスト性、説明責任、信頼性、持続可能性。
  論文  参考訳（メタデータ） (2023-06-01T06:25:01Z)
• The Meta-Evaluation Problem in Explainable AI: Identifying Reliable Estimators with MetaQuantus [10.135749005469686]
  説明可能なAI(XAI)分野における未解決課題の1つは、説明方法の品質を最も確実に見積もる方法を決定することである。 我々は、XAIの異なる品質推定器のメタ評価を通じてこの問題に対処する。 我々の新しいフレームワークMetaQuantusは、品質推定器の2つの相補的な性能特性を解析する。
  論文  参考訳（メタデータ） (2023-02-14T18:59:02Z)
• Towards Reconciling Usability and Usefulness of Explainable AI Methodologies [2.715884199292287]
  ブラックボックスAIシステムは、誤った判断を下すと、責任と説明責任の問題を引き起こす可能性がある。 説明可能なAI(XAI)は、開発者とエンドユーザの間の知識ギャップを埋めようとしている。
  論文  参考訳（メタデータ） (2023-01-13T01:08:49Z)
• Seamful XAI: Operationalizing Seamful Design in Explainable AI [59.89011292395202]
  AIシステムのミスは必然的であり、技術的制限と社会技術的ギャップの両方から生じる。 本稿では, 社会工学的・インフラ的ミスマッチを明らかにすることにより, シームレスな設計がAIの説明可能性を高めることを提案する。 43人のAI実践者と実際のエンドユーザでこのプロセスを探求します。
  論文  参考訳（メタデータ） (2022-11-12T21:54:05Z)
• Towards Human Cognition Level-based Experiment Design for Counterfactual Explanations (XAI) [68.8204255655161]
  XAI研究の重点は、より理解を深めるために、より実践的な説明アプローチに変わったようだ。 認知科学研究がXAIの進歩に大きく影響を与える可能性のある領域は、ユーザの知識とフィードバックを評価することである。 本研究では,異なる認知レベルの理解に基づく説明の生成と評価を実験する枠組みを提案する。
  論文  参考訳（メタデータ） (2022-10-31T19:20:22Z)
• Responsibility: An Example-based Explainable AI approach via Training Process Inspection [1.4610038284393165]
  我々は、特定の決定に対して最も責任あるトレーニング例を特定する新しいXAIアプローチを提案する。 この例は、"これが私が(AI)学んだことであり、それが私をそのようにしました"、という説明として示されます。 以上の結果から,ヒューマンエンドユーザとセカンダリMLモデルの両方において,責任が精度の向上に有効であることが示唆された。
  論文  参考訳（メタデータ） (2022-09-07T19:30:01Z)
• A User-Centred Framework for Explainable Artificial Intelligence in Human-Robot Interaction [70.11080854486953]
  本稿では,XAIのソーシャル・インタラクティブな側面に着目したユーザ中心型フレームワークを提案する。 このフレームワークは、エキスパートでないユーザのために考えられた対話型XAIソリューションのための構造を提供することを目的としている。
  論文  参考訳（メタデータ） (2021-09-27T09:56:23Z)
• Counterfactual Explanations as Interventions in Latent Space [62.997667081978825]
  反現実的な説明は、望ましい結果を達成するために変更が必要な機能のセットをエンドユーザに提供することを目的としています。 現在のアプローチでは、提案された説明を達成するために必要な行動の実現可能性を考慮することはめったにない。 本稿では,非現実的説明を生成する手法として,潜時空間における干渉としての対実的説明(CEILS)を提案する。
  論文  参考訳（メタデータ） (2021-06-14T20:48:48Z)
• An interdisciplinary conceptual study of Artificial Intelligence (AI) for helping benefit-risk assessment practices: Towards a comprehensive qualification matrix of AI programs and devices (pre-print 2020) [55.41644538483948]
  本稿では,インテリジェンスの概念に対処するさまざまな分野の既存の概念を包括的に分析する。 目的は、AIシステムを評価するための共有概念や相違点を特定することである。
  論文  参考訳（メタデータ） (2021-05-07T12:01:31Z)
• TrustyAI Explainability Toolkit [1.0499611180329804]
  trustyaiが意思決定サービスと予測モデルに対する信頼をどのように支援できるか検討する。 我々は, LIME, SHAP, および対策技術について検討する。 また、評価対象の背景データ選択をサポートするSHAPの拡張バージョンについても検討します。
  論文  参考訳（メタデータ） (2021-04-26T17:00:32Z)
• A Methodology for Creating AI FactSheets [67.65802440158753]
  本稿では、FactSheetsと呼ぶAIドキュメントの形式を作るための方法論について述べる。 方法論の各ステップの中で、検討すべき問題と探求すべき質問について説明する。 この方法論は、透明なAIドキュメントの採用を加速する。
  論文  参考訳（メタデータ） (2020-06-24T15:08:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。