論文の概要: Fewer Than 1% of Explainable AI Papers Validate Explainability with Humans

• arxiv url: http://arxiv.org/abs/2503.16507v1
• Date: Thu, 13 Mar 2025 18:39:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-30 07:31:51.431387
• Title: Fewer Than 1% of Explainable AI Papers Validate Explainability with Humans
• Title（参考訳）: 説明可能なAI論文の1%以下は、人間による説明可能性を検証する
• Authors: Ashley Suh, Isabelle Hurley, Nora Smith, Ho Chit Siu,
• Abstract要約: 本研究では、人間の説明可能性の主張を評価するために、説明可能なAI(XAI)文献を大規模に分析する。 また,XAI手法の評価にヒトの関与を示唆する用語を含む論文は253件のみで,その内128件が何らかの形で人間の研究を行った。 人間の説明可能性の主張と証拠に基づく検証の間には重大なギャップがあり,XAI研究の厳格性に対する懸念が高まっている。
• 参考スコア（独自算出の注目度）: 0.8699677835130409
• License:
• Abstract: This late-breaking work presents a large-scale analysis of explainable AI (XAI) literature to evaluate claims of human explainability. We collaborated with a professional librarian to identify 18,254 papers containing keywords related to explainability and interpretability. Of these, we find that only 253 papers included terms suggesting human involvement in evaluating an XAI technique, and just 128 of those conducted some form of a human study. In other words, fewer than 1% of XAI papers (0.7%) provide empirical evidence of human explainability when compared to the broader body of XAI literature. Our findings underscore a critical gap between claims of human explainability and evidence-based validation, raising concerns about the rigor of XAI research. We call for increased emphasis on human evaluations in XAI studies and provide our literature search methodology to enable both reproducibility and further investigation into this widespread issue.
• Abstract（参考訳）: この画期的な研究は、人間の説明可能性の主張を評価するために、説明可能なAI(XAI)文学を大規模に分析する。 専門的な図書館員と共同で,説明可能性と解釈可能性に関連するキーワードを含む18,254の論文を同定した。 これらのうち、XAI技術の評価に人間の関与を示唆する用語は253論文のみであり、そのうち128論文のみが何らかの形で人間の研究を行った。 言い換えれば、XAI論文の1%未満(0.7%)は、XAI文学の幅広い分野と比較して、人間の説明可能性の実証的な証拠となる。 人間の説明可能性の主張と証拠に基づく検証の間には重大なギャップがあり,XAI研究の厳格性に対する懸念が高まっている。 我々は,XAI研究における人的評価に重点を置いて,再現性を両立させるための文献検索手法の提供と,この広範な問題に対するさらなる調査を求めている。

関連論文リスト

• Is Human-Like Text Liked by Humans? Multilingual Human Detection and Preference Against AI [95.81924314159943]
  人文と機械文の大きなギャップは、具体性、文化的ニュアンス、多様性にある。 また,人間は必ずしも人書きのテキストを好んではいないこと,特にその情報源を明確に特定できない場合などを見いだす。
  論文  参考訳（メタデータ） (2025-02-17T09:56:46Z)
• Measuring Human Contribution in AI-Assisted Content Generation [66.06040950325969]
  本研究は,AIによるコンテンツ生成における人間の貢献度を測定する研究課題を提起する。 人間の入力とAI支援出力の自己情報に対する相互情報を計算することにより、コンテンツ生成における人間の比例情報貢献を定量化する。
  論文  参考訳（メタデータ） (2024-08-27T05:56:04Z)
• Unraveling the Dilemma of AI Errors: Exploring the Effectiveness of Human and Machine Explanations for Large Language Models [8.863857300695667]
  質問応答課題において, 人文文156件と, サリエンシに基づく説明文について分析した。 以上の結果から,人間の唾液マップは,機械の唾液マップよりもAIの回答を説明するのに有用であることが示唆された。 この発見は、説明におけるAIエラーのジレンマを示唆するものであり、役に立つ説明は、間違ったAI予測をサポートする場合にタスクパフォーマンスを低下させる可能性がある。
  論文  参考訳（メタデータ） (2024-04-11T13:16:51Z)
• A Critical Survey on Fairness Benefits of Explainable AI [10.81142163495028]
  我々は,XAIの公正性に関する175の科学的論文から,7つの考古学的主張を抽出した。 クレームは曖昧で単純化され,規範的根拠が欠如している場合や,XAIの実際の能力に不十分な場合が多いことに気付きます。 我々は、XAIを倫理的パナセアではなく、アルゴリズム的公正性の多次元社会技術的課題にアプローチするための多くのツールの1つとして考えることを提案する。
  論文  参考訳（メタデータ） (2023-10-15T08:17:45Z)
• The Role of AI in Drug Discovery: Challenges, Opportunities, and Strategies [97.5153823429076]
  この分野でのAIのメリット、課題、欠点についてレビューする。 データ拡張、説明可能なAIの使用、従来の実験手法とAIの統合についても論じている。
  論文  参考訳（メタデータ） (2022-12-08T23:23:39Z)
• Towards Human Cognition Level-based Experiment Design for Counterfactual Explanations (XAI) [68.8204255655161]
  XAI研究の重点は、より理解を深めるために、より実践的な説明アプローチに変わったようだ。 認知科学研究がXAIの進歩に大きく影響を与える可能性のある領域は、ユーザの知識とフィードバックを評価することである。 本研究では,異なる認知レベルの理解に基づく説明の生成と評価を実験する枠組みを提案する。
  論文  参考訳（メタデータ） (2022-10-31T19:20:22Z)
• Towards Human-centered Explainable AI: A Survey of User Studies for Model Explanations [18.971689499890363]
  我々は過去5年間に人間によるXAI評価で97コア論文を特定し分析してきた。 我々の研究は、XAIがレコメンダシステムなど特定のアプリケーション領域で急速に普及していることを示している。 我々は,XAI研究者や実践者を対象としたユーザスタディの設計と実施に関する実践的ガイドラインを提案する。
  論文  参考訳（メタデータ） (2022-10-20T20:53:00Z)
• Connecting Algorithmic Research and Usage Contexts: A Perspective of Contextualized Evaluation for Explainable AI [65.44737844681256]
  説明可能なAI(XAI)を評価する方法に関するコンセンサスの欠如は、この分野の進歩を妨げる。 このギャップを埋める一つの方法は、異なるユーザ要求を考慮に入れた評価方法を開発することである、と我々は主張する。
  論文  参考訳（メタデータ） (2022-06-22T05:17:33Z)
• A Meta-Analysis on the Utility of Explainable Artificial Intelligence in Human-AI Decision-Making [0.0]
  本稿では,統計的メタ分析を用いたXAI研究の初期合成について述べる。 我々は,XAIがユーザのパフォーマンスに与える影響を統計的に肯定的に観察する。 単独のAI予測と比較して、説明がユーザのパフォーマンスに与える影響は見つからない。
  論文  参考訳（メタデータ） (2022-05-10T19:08:10Z)
• Qualitative Investigation in Explainable Artificial Intelligence: A Bit More Insight from Social Science [0.5801044612920815]
  説明可能な人工知能(XAI)におけるユーザ研究の焦点分析について述べる。 我々は、XAI研究者が観察、インタビュー、フォーカスグループ、および/またはアンケートを用いて質的なデータを収集する研究の厳密さを改善する方法を提案するために、社会科学コーパスを描いている。 分析の結果は,XAIコミュニティの他者から,社会規律の専門家とのコラボレーションを提唱し,ユーザスタディにおける厳格さと有効性を高めている。
  論文  参考訳（メタデータ） (2020-11-13T21:02:16Z)
• Explainability in Deep Reinforcement Learning [68.8204255655161]
  説明可能な強化学習(XRL)の実現に向けての最近の成果を概観する。 エージェントの振る舞いを正当化し、説明することが不可欠である重要な状況において、RLモデルのより良い説明可能性と解釈性は、まだブラックボックスと見なされているものの内部動作に関する科学的洞察を得るのに役立つ。
  論文  参考訳（メタデータ） (2020-08-15T10:11:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。