論文の概要: Beyond SHAP and Anchors: A large-scale experiment on how developers struggle to design meaningful end-user explanations

• arxiv url: http://arxiv.org/abs/2503.15512v3
• Date: Thu, 25 Sep 2025 08:48:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-26 14:16:55.758445
• Title: Beyond SHAP and Anchors: A large-scale experiment on how developers struggle to design meaningful end-user explanations
• Title（参考訳）: SHAPとAnchorsを超えて: 開発者が意味のあるエンドユーザの説明を設計するのに苦労する大規模な実験
• Authors: Zahra Abba Omar, Nadia Nahar, Jacob Tjaden, Inès M. Gilles, Fikir Mekonnen, Erica Okeh, Jane Hsieh, Christian Kästner, Alka Menon,
• Abstract要約: 現代の機械学習は、ユーザーや開発者が完全に理解できないモデルを生成する。 透明性と説明可能性の手法は、モデルの理解にいくつかの助けを提供することを目的としている。 ガイドラインと規則の創出は目標を設定するが、開発者に効果的なガイダンスを提供しない可能性がある。
• 参考スコア（独自算出の注目度）: 11.20554074076788
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern machine learning produces models that are impossible for users or developers to fully understand -- raising concerns about trust, oversight, safety, and human dignity when they are integrated into software products. Transparency and explainability methods aim to provide some help in understanding models, but it remains challenging for developers to design explanations that are understandable to target users and effective for their purpose. Emerging guidelines and regulations set goals but may not provide effective actionable guidance to developers. In a large-scale experiment with 124 participants, we explored how developers approach providing end-user explanations, including what challenges they face, and to what extent specific policies can guide their actions. We investigated whether and how specific forms of policy guidance help developers design explanations and provide evidence for policy compliance for an ML-powered screening tool for diabetic retinopathy. Participants across the board struggled to produce quality explanations and comply with the provided policies. Contrary to our expectations, we found that the nature and specificity of policy guidance had little effect. We posit that participant noncompliance is in part due to a failure to imagine and anticipate the needs of non-technical stakeholders. Drawing on cognitive process theory and the sociological imagination to contextualize participants' failure, we recommend educational interventions.
• Abstract（参考訳）: 現代の機械学習は、ユーザや開発者が完全に理解できないモデルを生成します -- ソフトウェア製品に統合された場合、信頼、監視、安全性、人間の尊厳に対する懸念を提起します。 透明性と説明可能性の手法は、モデルを理解する上でいくつかの助けを提供することを目的としているが、開発者がユーザをターゲットにして効果的な説明を設計することは、依然として困難である。 ガイドラインと規則の創出は目標を設定するが、開発者に効果的なガイダンスを提供しない可能性がある。 124人の参加者による大規模な実験では、開発者がどのような課題に直面しているのか、具体的なポリシーがどのような行動を導くのかなど、エンドユーザの説明を提供する方法を探った。 糖尿病網膜症に対するMLを用いたスクリーニングツールにおいて,政策ガイダンスの具体的形態が開発者が説明書を設計し,政策遵守の証拠を提供するのにどう役立つかを検討した。 委員会の参加者は、品質の説明を作成し、提供された方針に従うのに苦労した。 当社の期待に反して、政策ガイダンスの性質と特異性はほとんど影響しないことがわかった。 我々は、非技術的ステークホルダーのニーズを想像し予測できないために、参加者の非コンプライアンスが部分的に失敗していると仮定する。 参加者の失敗を文脈化するための認知プロセス理論と社会学的想像力に基づいて、我々は教育介入を推奨する。

関連論文リスト

• Interactive Agents to Overcome Ambiguity in Software Engineering [61.40183840499932]
  AIエージェントは、あいまいで不明確なユーザー指示に基づいて、タスクを自動化するためにますますデプロイされている。 不安定な仮定をし、明確な質問をしないことは、最適以下の結果につながる可能性がある。 対話型コード生成設定において,LLMエージェントが不明瞭な命令を処理する能力について,プロプライエタリモデルとオープンウェイトモデルを評価して検討する。
  論文  参考訳（メタデータ） (2025-02-18T17:12:26Z)
• Machine Unlearning Doesn't Do What You Think: Lessons for Generative AI Policy, Research, and Practice [186.055899073629]
  非学習はしばしば、生成AIモデルからターゲット情報の影響を取り除くソリューションとして呼び出される。 未学習はまた、モデルが出力中にターゲットとなるタイプの情報を生成するのを防ぐ方法として提案されている。 これら2つの目標 - モデルからの情報の標的的除去と、モデル出力からの情報のターゲット的抑制 - は、様々な技術的および現実的な課題を表す。
  論文  参考訳（メタデータ） (2024-12-09T20:18:43Z)
• From Critique to Clarity: A Pathway to Faithful and Personalized Code Explanations with Large Language Models [3.5176327869934747]
  本稿では、忠実でパーソナライズされたコード説明を生成する革新的なアプローチを提案する。 本手法は,プロンプト強化,自己消費機構,パーソナライズされたコンテンツカスタマイズ,外部ツールとのインタラクションを統合した手法である。 提案手法は,コード説明の質と関連性を大幅に向上させることが示唆された。
  論文  参考訳（メタデータ） (2024-12-08T09:02:04Z)
• Evaluating the Utility of Model Explanations for Model Development [54.23538543168767]
  機械学習モデル構築の実践シナリオにおいて、説明が人間の意思決定を改善するかどうかを評価する。 驚いたことに、サリエンシマップが提供されたとき、タスクが大幅に改善されたという証拠は見つからなかった。 以上の結果から,サリエンシに基づく説明における誤解の可能性と有用性について注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2023-12-10T23:13:23Z)
• Optimising Human-AI Collaboration by Learning Convincing Explanations [62.81395661556852]
  本研究では,人間による意思決定によって安全を保ちながら協調的なシステムを構築する手法を提案する。 Ardentは、説明のための個人の好みに適応することで、効率的で効果的な意思決定を可能にする。
  論文  参考訳（メタデータ） (2023-11-13T16:00:16Z)
• Explaining by Imitating: Understanding Decisions by Interpretable Policy Learning [72.80902932543474]
  観察されたデータから人間の行動を理解することは、意思決定における透明性と説明責任にとって重要である。 意思決定者の方針をモデル化することが困難である医療などの現実的な設定を考えてみましょう。 本稿では, 設計による透明性の向上, 部分観測可能性の確保, 完全にオフラインで動作可能なデータ駆動型意思決定行動の表現を提案する。
  論文  参考訳（メタデータ） (2023-10-28T13:06:14Z)
• Evaluating the Instruction-Following Robustness of Large Language Models to Prompt Injection [70.28425745910711]
  LLM(Large Language Models)は、命令追従に非常に熟練した言語である。 この能力は、迅速なインジェクション攻撃のリスクをもたらす。 このような攻撃に対する命令追従LDMの堅牢性を評価する。
  論文  参考訳（メタデータ） (2023-08-17T06:21:50Z)
• Helpful, Misleading or Confusing: How Humans Perceive Fundamental Building Blocks of Artificial Intelligence Explanations [11.667611038005552]
  我々は、洗練された予測アルゴリズムから一歩引いて、単純な意思決定モデルの説明可能性について検討する。 我々は、人々がそれぞれの表現の理解性をどう感じているかを評価することを目的とする。 これにより、さまざまな利害関係者が、より精巧な人工知能の説明が構築される基本的な概念の無知性を判断することができる。
  論文  参考訳（メタデータ） (2023-03-02T03:15:35Z)
• Redefining Counterfactual Explanations for Reinforcement Learning: Overview, Challenges and Opportunities [2.0341936392563063]
  AIのほとんどの説明方法は、開発者とエキスパートユーザーに焦点を当てている。 ブラックボックスモデルの出力が変更されるための入力で何が変更されるのかについて、カウンターファクトな説明がユーザにアドバイスします。 カウンターファクトはユーザフレンドリで、AIシステムから望ましいアウトプットを達成するための実行可能なアドバイスを提供する。
  論文  参考訳（メタデータ） (2022-10-21T09:50:53Z)
• Experiential Explanations for Reinforcement Learning [18.039927414134088]
  強化学習システムは複雑で解釈不能である。 本稿では,実証説明手法を提案する。
  論文  参考訳（メタデータ） (2022-10-10T14:27:53Z)
• Inverse Online Learning: Understanding Non-Stationary and Reactionary Policies [79.60322329952453]
  エージェントが意思決定を行う方法の解釈可能な表現を開発する方法を示す。 一連の軌跡に基づく意思決定プロセスを理解することにより,このオンライン学習問題に対して,政策推論問題を逆問題とみなした。 本稿では、エージェントがそれらを更新するプロセスと並行して、その影響を遡及的に推定する実用的なアルゴリズムを提案する。 UNOSの臓器提供受諾決定の分析に応用することで、我々のアプローチは意思決定プロセスを管理する要因や時間とともにどのように変化するかに、貴重な洞察をもたらすことができることを実証する。
  論文  参考訳（メタデータ） (2022-03-14T17:40:42Z)
• Towards a Responsible AI Development Lifecycle: Lessons From Information Security [0.0]
  本稿では,人工知能システムを開発するためのフレームワークを提案する。 特に,脅威モデリング,設計レビュー,浸透試験,インシデント応答の概念を活用することを提案する。
  論文  参考訳（メタデータ） (2022-03-06T13:03:58Z)
• Uncertainty as a Form of Transparency: Measuring, Communicating, and Using Uncertainty [66.17147341354577]
  我々は,モデル予測に関連する不確実性を推定し,伝達することにより,相補的な透明性の形式を考えることについて議論する。 モデルの不公平性を緩和し、意思決定を強化し、信頼できるシステムを構築するために不確実性がどのように使われるかを説明する。 この研究は、機械学習、可視化/HCI、デザイン、意思決定、公平性にまたがる文学から引き出された学際的レビューを構成する。
  論文  参考訳（メタデータ） (2020-11-15T17:26:14Z)
• Explainability Case Studies [2.2872132127037963]
  説明可能性(Explainability)は、AIシステムの設計における重要な倫理概念の1つである。 本稿では, 製品設計者, 開発者, 学生, 教育者に対して, 自社製品に対する総合的な説明可能性戦略を開発するための教育ツールとして機能する, 仮説的AI対応製品に関する一連のケーススタディを提案する。
  論文  参考訳（メタデータ） (2020-09-01T05:54:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。