論文の概要: Beyond SHAP and Anchors: A large-scale experiment on how developers struggle to design meaningful end-user explanations

• arxiv url: http://arxiv.org/abs/2503.15512v2
• Date: Fri, 05 Sep 2025 22:58:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-09 14:07:02.979041
• Title: Beyond SHAP and Anchors: A large-scale experiment on how developers struggle to design meaningful end-user explanations
• Title（参考訳）: SHAPとAnchorsを超えて: 開発者が意味のあるエンドユーザの説明を設計するのに苦労する大規模な実験
• Authors: Zahra Abba Omar, Nadia Nahar, Jacob Tjaden, Inès M. Gilles, Fikir Mekonnen, Jane Hsieh, Christian Kästner, Alka Menon,
• Abstract要約: 現代の機械学習は、ユーザーや開発者が完全に理解できないモデルを生成する。 透明性と説明可能性の手法は、モデルの理解にいくつかの助けを提供することを目的としている。 ガイドラインと規則の創出は目標を設定するが、開発者に効果的なガイダンスを提供しない可能性がある。
• 参考スコア（独自算出の注目度）: 9.097371632549322
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern machine learning produces models that are impossible for users or developers to fully understand--raising concerns about trust, oversight, safety, and human dignity when they are integrated into software products. Transparency and explainability methods aim to provide some help in understanding models, but it remains challenging for developers to design explanations that are understandable to target users and effective for their purpose. Emerging guidelines and regulations set goals but may not provide effective actionable guidance to developers. In a large-scale experiment with 124 participants, we explored how developers approach providing end-user explanations, including what challenges they face, and to what extent specific policies can guide their actions. We investigated whether and how specific forms of policy guidance help developers design explanations and provide evidence for policy compliance for an ML-powered screening tool for diabetic retinopathy. Participants across the board struggled to produce quality explanations and comply with the provided policies. Contrary to our expectations, we found that the nature and specificity of policy guidance had little effect. We posit that participant noncompliance is in part due to a failure to imagine and anticipate the needs of non-technical stakeholders. Drawing on cognitive process theory and the sociological imagination to contextualize participants' failure, we recommend educational interventions.
• Abstract（参考訳）: 現代の機械学習は、ユーザや開発者が完全に理解できないモデルを生成します。 透明性と説明可能性の手法は、モデルを理解する上でいくつかの助けを提供することを目的としているが、開発者がユーザをターゲットにして効果的に説明を設計することは、依然として困難である。 ガイドラインと規則の創出は目標を設定するが、開発者に効果的なガイダンスを提供しない可能性がある。 124人の参加者による大規模な実験では、開発者がどのような課題に直面しているのか、具体的なポリシーがどのような行動を導くのかなど、エンドユーザの説明を提供する方法を探った。 糖尿病網膜症に対するMLを用いたスクリーニングツールにおいて,政策ガイダンスの具体的形態が開発者が説明書を設計し,政策遵守の証拠を提供するのにどう役立つかを検討した。 委員会の参加者は、品質の説明を作成し、提供された方針に従うのに苦労した。 当社の期待に反して、政策ガイダンスの性質と特異性はほとんど影響しないことがわかった。 我々は、非技術的ステークホルダーのニーズを想像し予測できないために、参加者の非コンプライアンスが部分的に失敗していると仮定する。 参加者の失敗を文脈化するための認知プロセス理論と社会学的想像力に基づいて、我々は教育介入を推奨する。

関連論文リスト

• Interactive Agents to Overcome Ambiguity in Software Engineering [61.40183840499932]
  AIエージェントは、あいまいで不明確なユーザー指示に基づいて、タスクを自動化するためにますますデプロイされている。 不安定な仮定をし、明確な質問をしないことは、最適以下の結果につながる可能性がある。 対話型コード生成設定において,LLMエージェントが不明瞭な命令を処理する能力について,プロプライエタリモデルとオープンウェイトモデルを評価して検討する。
  論文  参考訳（メタデータ） (2025-02-18T17:12:26Z)
• Machine Unlearning Doesn't Do What You Think: Lessons for Generative AI Policy, Research, and Practice [186.055899073629]
  非学習はしばしば、生成AIモデルからターゲット情報の影響を取り除くソリューションとして呼び出される。 未学習はまた、モデルが出力中にターゲットとなるタイプの情報を生成するのを防ぐ方法として提案されている。 これら2つの目標 - モデルからの情報の標的的除去と、モデル出力からの情報のターゲット的抑制 - は、様々な技術的および現実的な課題を表す。
  論文  参考訳（メタデータ） (2024-12-09T20:18:43Z)
• Evaluating the Utility of Model Explanations for Model Development [54.23538543168767]
  機械学習モデル構築の実践シナリオにおいて、説明が人間の意思決定を改善するかどうかを評価する。 驚いたことに、サリエンシマップが提供されたとき、タスクが大幅に改善されたという証拠は見つからなかった。 以上の結果から,サリエンシに基づく説明における誤解の可能性と有用性について注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2023-12-10T23:13:23Z)
• Evaluating the Instruction-Following Robustness of Large Language Models to Prompt Injection [70.28425745910711]
  LLM(Large Language Models)は、命令追従に非常に熟練した言語である。 この能力は、迅速なインジェクション攻撃のリスクをもたらす。 このような攻撃に対する命令追従LDMの堅牢性を評価する。
  論文  参考訳（メタデータ） (2023-08-17T06:21:50Z)
• Helpful, Misleading or Confusing: How Humans Perceive Fundamental Building Blocks of Artificial Intelligence Explanations [11.667611038005552]
  我々は、洗練された予測アルゴリズムから一歩引いて、単純な意思決定モデルの説明可能性について検討する。 我々は、人々がそれぞれの表現の理解性をどう感じているかを評価することを目的とする。 これにより、さまざまな利害関係者が、より精巧な人工知能の説明が構築される基本的な概念の無知性を判断することができる。
  論文  参考訳（メタデータ） (2023-03-02T03:15:35Z)
• Redefining Counterfactual Explanations for Reinforcement Learning: Overview, Challenges and Opportunities [2.0341936392563063]
  AIのほとんどの説明方法は、開発者とエキスパートユーザーに焦点を当てている。 ブラックボックスモデルの出力が変更されるための入力で何が変更されるのかについて、カウンターファクトな説明がユーザにアドバイスします。 カウンターファクトはユーザフレンドリで、AIシステムから望ましいアウトプットを達成するための実行可能なアドバイスを提供する。
  論文  参考訳（メタデータ） (2022-10-21T09:50:53Z)
• Experiential Explanations for Reinforcement Learning [18.039927414134088]
  強化学習システムは複雑で解釈不能である。 本稿では,実証説明手法を提案する。
  論文  参考訳（メタデータ） (2022-10-10T14:27:53Z)
• Towards a Responsible AI Development Lifecycle: Lessons From Information Security [0.0]
  本稿では,人工知能システムを開発するためのフレームワークを提案する。 特に,脅威モデリング,設計レビュー,浸透試験,インシデント応答の概念を活用することを提案する。
  論文  参考訳（メタデータ） (2022-03-06T13:03:58Z)
• Uncertainty as a Form of Transparency: Measuring, Communicating, and Using Uncertainty [66.17147341354577]
  我々は,モデル予測に関連する不確実性を推定し,伝達することにより,相補的な透明性の形式を考えることについて議論する。 モデルの不公平性を緩和し、意思決定を強化し、信頼できるシステムを構築するために不確実性がどのように使われるかを説明する。 この研究は、機械学習、可視化/HCI、デザイン、意思決定、公平性にまたがる文学から引き出された学際的レビューを構成する。
  論文  参考訳（メタデータ） (2020-11-15T17:26:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。