論文の概要: Beware of "Explanations" of AI

• arxiv url: http://arxiv.org/abs/2504.06791v1
• Date: Wed, 09 Apr 2025 11:31:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-10 13:05:43.676239
• Title: Beware of "Explanations" of AI
• Title（参考訳）: AIの「説明」に気をつけて
• Authors: David Martens, Galit Shmueli, Theodoros Evgeniou, Kevin Bauer, Christian Janiesch, Stefan Feuerriegel, Sebastian Gabel, Sofie Goethals, Travis Greene, Nadja Klein, Mathias Kraus, Niklas Kühl, Claudia Perlich, Wouter Verbeke, Alona Zharova, Patrick Zschech, Foster Provost,
• Abstract要約: ますます複雑なAIシステムによってなされる決定と行動を理解することは、依然として重要な課題である。 これにより、説明可能な人工知能(XAI)の研究分野が拡大した。 何が"よい"説明を構成するのかという問題は、目標、ステークホルダ、コンテキストに依存します。
• 参考スコア（独自算出の注目度）: 16.314859121110945
• License:
• Abstract: Understanding the decisions made and actions taken by increasingly complex AI system remains a key challenge. This has led to an expanding field of research in explainable artificial intelligence (XAI), highlighting the potential of explanations to enhance trust, support adoption, and meet regulatory standards. However, the question of what constitutes a "good" explanation is dependent on the goals, stakeholders, and context. At a high level, psychological insights such as the concept of mental model alignment can offer guidance, but success in practice is challenging due to social and technical factors. As a result of this ill-defined nature of the problem, explanations can be of poor quality (e.g. unfaithful, irrelevant, or incoherent), potentially leading to substantial risks. Instead of fostering trust and safety, poorly designed explanations can actually cause harm, including wrong decisions, privacy violations, manipulation, and even reduced AI adoption. Therefore, we caution stakeholders to beware of explanations of AI: while they can be vital, they are not automatically a remedy for transparency or responsible AI adoption, and their misuse or limitations can exacerbate harm. Attention to these caveats can help guide future research to improve the quality and impact of AI explanations.
• Abstract（参考訳）: ますます複雑なAIシステムによってなされる決定と行動を理解することは、依然として重要な課題である。 これにより、説明可能な人工知能(XAI)の研究分野が拡大し、信頼性を高め、採用をサポートし、規制基準を満たすための説明の可能性を強調している。 しかしながら、何が"良い"説明を構成するのかという問題は、目標、ステークホルダ、コンテキストに依存します。 高いレベルでは、メンタルモデルアライメントの概念のような心理的洞察はガイダンスを提供することができるが、実際の成功は社会的および技術的な要因によって困難である。 この不明確な性質の結果として、説明は質の悪いもの(例えば、不誠実、無関係、または一貫性のないもの)であり、潜在的に重大なリスクをもたらす可能性がある。 信頼と安全性を育む代わりに、誤った判断、プライバシー侵害、操作、さらにはAIの採用削減など、設計の悪い説明が実際に害をもたらす可能性がある。 したがって、私たちは、ステークホルダーがAIの説明に注意するように注意する:それらは不可欠だが、自動的に透明性や責任あるAI採用の救済ではなく、その誤用や制限が害を悪化させる可能性がある。 これらの注意事項への注意は、AI説明の品質と影響を改善するために将来の研究を導くのに役立つ。

関連論文リスト

• Imagining and building wise machines: The centrality of AI metacognition [78.76893632793497]
  AIシステムは知恵を欠いている。 AI研究はタスクレベルの戦略に焦点を当てているが、メタ認知はAIシステムでは未発達である。 メタ認知機能をAIシステムに統合することは、その堅牢性、説明可能性、協力性、安全性を高めるために不可欠である。
  論文  参考訳（メタデータ） (2024-11-04T18:10:10Z)
• Combining AI Control Systems and Human Decision Support via Robustness and Criticality [53.10194953873209]
  我々は、逆説(AE)の方法論を最先端の強化学習フレームワークに拡張する。 学習したAI制御システムは、敵のタンパリングに対する堅牢性を示す。 トレーニング/学習フレームワークでは、この技術は人間のインタラクションを通じてAIの決定と説明の両方を改善することができる。
  論文  参考訳（メタデータ） (2024-07-03T15:38:57Z)
• False Sense of Security in Explainable Artificial Intelligence (XAI) [3.298597939573779]
  我々は、AI規制と現在の市場条件が効果的なAIガバナンスと安全性を脅かすと主張している。 政府は明確な立法と政策ステートメントを通じて説明可能性の問題に明示的に対処しない限り、AIガバナンスのリスクは空虚な「ボックス・ティック」のエクササイズになる。
  論文  参考訳（メタデータ） (2024-05-06T20:02:07Z)
• VerifAI: Verified Generative AI [22.14231506649365]
  生成AIは大きな進歩を遂げているが、その正確性と信頼性に関する懸念は拡大を続けている。 本稿では,データ管理の観点から生成AIの出力を検証することが,生成AIの新たな課題であることを示す。 私たちのビジョンは、検証可能な生成AIの開発を促進し、より信頼性が高く責任あるAIの利用に貢献することです。
  論文  参考訳（メタデータ） (2023-07-06T06:11:51Z)
• It is not "accuracy vs. explainability" -- we need both for trustworthy AI systems [0.0]
  私たちは、AI技術が医療、ビジネス、交通、日常生活の多くの側面に影響を与えつつある、AI経済と社会の出現を目撃しています。 しかし、AIシステムはエラーを発生させ、バイアスを示し、データのノイズに敏感になり、しばしば技術的および司法的透明性が欠如し、その採用における信頼と課題が減少する可能性がある。 これらの最近の欠点や懸念は、科学的に記録されているだけでなく、自動運転車による事故、医療の偏見、有色人種のための雇用と顔認識システムなど、一般的な報道でも報告されている。
  論文  参考訳（メタデータ） (2022-12-16T23:33:10Z)
• Seamful XAI: Operationalizing Seamful Design in Explainable AI [59.89011292395202]
  AIシステムのミスは必然的であり、技術的制限と社会技術的ギャップの両方から生じる。 本稿では, 社会工学的・インフラ的ミスマッチを明らかにすることにより, シームレスな設計がAIの説明可能性を高めることを提案する。 43人のAI実践者と実際のエンドユーザでこのプロセスを探求します。
  論文  参考訳（メタデータ） (2022-11-12T21:54:05Z)
• Cybertrust: From Explainable to Actionable and Interpretable AI (AI2) [58.981120701284816]
  Actionable and Interpretable AI (AI2)は、AIレコメンデーションにユーザの信頼度を明確に定量化し視覚化する。 これにより、AIシステムの予測を調べてテストすることで、システムの意思決定に対する信頼の基盤を確立することができる。
  論文  参考訳（メタデータ） (2022-01-26T18:53:09Z)
• Knowledge-intensive Language Understanding for Explainable AI [9.541228711585886]
  AIが主導する意思決定の仕方と、どの決定要因が含まれているかを理解することが不可欠である。 意思決定に直接関係する人間中心の説明を持つことは重要である。 人間が理解し、使用する明示的なドメイン知識を巻き込む必要がある。
  論文  参考訳（メタデータ） (2021-08-02T21:12:30Z)
• The Who in XAI: How AI Background Shapes Perceptions of AI Explanations [61.49776160925216]
  私たちは、2つの異なるグループ、つまりAIのバックグラウンドを持つ人々といない人たちの、異なるタイプのAI説明に対する理解について、混合手法による研究を行います。 その結果,(1) 両群は異なる理由から不合理な数に対する信頼を示し,(2) それぞれの群は意図した設計以上の異なる説明に価値を見出した。
  論文  参考訳（メタデータ） (2021-07-28T17:32:04Z)
• Trustworthy AI: A Computational Perspective [54.80482955088197]
  我々は,信頼に値するAIを実現する上で最も重要な6つの要素,(i)安全とロバスト性,(ii)非差別と公正,(iii)説明可能性,(iv)プライバシー,(v)説明可能性と監査性,(vi)環境ウェルビーイングに焦点をあてる。 各次元について、分類学に基づく最近の関連技術について概観し、実世界のシステムにおけるそれらの応用を概説する。
  論文  参考訳（メタデータ） (2021-07-12T14:21:46Z)
• The role of explainability in creating trustworthy artificial intelligence for health care: a comprehensive survey of the terminology, design choices, and evaluation strategies [1.2762298148425795]
  透明性の欠如は、医療におけるAIシステムの実装における主要な障壁の1つとして認識されている。 我々は最近の文献をレビューし、説明可能なAIシステムの設計について研究者や実践者にガイダンスを提供する。 我々は、説明可能なモデリングが信頼できるAIに貢献できると結論づけるが、説明可能性の利点は実際に証明する必要がある。
  論文  参考訳（メタデータ） (2020-07-31T09:08:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。