論文の概要: Manipulation Risks in Explainable AI: The Implications of the Disagreement Problem

• arxiv url: http://arxiv.org/abs/2306.13885v1
• Date: Sat, 24 Jun 2023 07:21:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-27 18:28:23.430188
• Title: Manipulation Risks in Explainable AI: The Implications of the Disagreement Problem
• Title（参考訳）: 説明可能なaiにおける操作リスク--不一致問題の意味
• Authors: Sofie Goethals and David Martens and Theodoros Evgeniou
• Abstract要約: 返却された説明を彼らの利益に適応させるために、プロバイダがデプロイできるさまざまな戦略の概要を提供します。 プロバイダが関与しなければならないいくつかの目標と具体的なシナリオを分析します。 これらの手法が広く実施される前に,今,この問題を調査し,緩和策を提案することが重要である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Artificial Intelligence (AI) systems are increasingly used in high-stakes domains of our life, increasing the need to explain these decisions and to make sure that they are aligned with how we want the decision to be made. The field of Explainable AI (XAI) has emerged in response. However, it faces a significant challenge known as the disagreement problem, where multiple explanations are possible for the same AI decision or prediction. While the existence of the disagreement problem is acknowledged, the potential implications associated with this problem have not yet been widely studied. First, we provide an overview of the different strategies explanation providers could deploy to adapt the returned explanation to their benefit. We make a distinction between strategies that attack the machine learning model or underlying data to influence the explanations, and strategies that leverage the explanation phase directly. Next, we analyse several objectives and concrete scenarios the providers could have to engage in this behavior, and the potential dangerous consequences this manipulative behavior could have on society. We emphasize that it is crucial to investigate this issue now, before these methods are widely implemented, and propose some mitigation strategies.
• Abstract（参考訳）: ai(artificial intelligence, 人工知能)システムは、私たちの生活の高リスク領域でますます使われており、これらの決定を説明し、彼らがどのように意思決定をしたいかと一致しているかを確認する必要性が高まっている。 説明可能なAI(XAI)の分野が登場した。 しかし、同じaiの決定や予測に対して複数の説明が可能となる不一致問題として知られる重大な課題に直面している。 不一致問題の存在は認識されているが、この問題に関連する潜在的な影響はまだ広く研究されていない。 まず、返された説明を彼らの利益に適応させるために、プロバイダがデプロイできるさまざまな戦略の概要を提供する。 我々は、説明に影響を与えるために機械学習モデルや基礎となるデータを攻撃する戦略と、説明フェーズを直接活用する戦略とを区別する。 次に、提供者がこの行動に関与しなければならないいくつかの目的と具体的なシナリオを分析し、このマニピュレーション行動が社会に与える影響の可能性について分析する。 我々は,これらの手法が広く実施される前に,この問題を調査することが重要であることを強調し,緩和戦略を提案する。

関連論文リスト

• Combining AI Control Systems and Human Decision Support via Robustness and Criticality [53.10194953873209]
  我々は、逆説(AE)の方法論を最先端の強化学習フレームワークに拡張する。 学習したAI制御システムは、敵のタンパリングに対する堅牢性を示す。 トレーニング/学習フレームワークでは、この技術は人間のインタラクションを通じてAIの決定と説明の両方を改善することができる。
  論文  参考訳（メタデータ） (2024-07-03T15:38:57Z)
• In Search of Verifiability: Explanations Rarely Enable Complementary Performance in AI-Advised Decision Making [25.18203172421461]
  説明は、人間の意思決定者がAIの予測の正しさを検証できる範囲でのみ有用である、と我々は主張する。 また、補完性能の目的と適切な依存度を比較し、後者を結果段階と戦略段階の信頼度の概念に分解する。
  論文  参考訳（メタデータ） (2023-05-12T18:28:04Z)
• Understanding the Role of Human Intuition on Reliance in Human-AI Decision-Making with Explanations [44.01143305912054]
  意思決定者の直感がAI予測と説明の使用に与える影響について検討する。 以上の結果から,AIの予測と説明に関する3種類の直観が明らかになった。 これらの経路を用いて、なぜ機能に基づく説明が参加者の決定結果を改善しなかったのかを説明し、AIへの依存度を高めた。
  論文  参考訳（メタデータ） (2023-01-18T01:33:50Z)
• Inverse Online Learning: Understanding Non-Stationary and Reactionary Policies [79.60322329952453]
  エージェントが意思決定を行う方法の解釈可能な表現を開発する方法を示す。 一連の軌跡に基づく意思決定プロセスを理解することにより,このオンライン学習問題に対して,政策推論問題を逆問題とみなした。 本稿では、エージェントがそれらを更新するプロセスと並行して、その影響を遡及的に推定する実用的なアルゴリズムを提案する。 UNOSの臓器提供受諾決定の分析に応用することで、我々のアプローチは意思決定プロセスを管理する要因や時間とともにどのように変化するかに、貴重な洞察をもたらすことができることを実証する。
  論文  参考訳（メタデータ） (2022-03-14T17:40:42Z)
• Making Things Explainable vs Explaining: Requirements and Challenges under the GDPR [2.578242050187029]
  ExplanatorY AI(YAI)はXAI上に構築され、説明可能な情報の収集と整理を目的としている。 本稿では,自動意思決定システム(ADM)について,説明空間上の適切な経路を特定するための説明を生成する問題について述べる。
  論文  参考訳（メタデータ） (2021-10-02T08:48:47Z)
• On the Importance of Domain-specific Explanations in AI-based Cybersecurity Systems (Technical Report) [7.316266670238795]
  このような決定に対する理解の欠如は、サイバーセキュリティに関連する重要なドメインにおいて大きな欠点となる可能性がある。 本稿では,AIベースのサイバーセキュリティシステムによって生成されたアウトプットを説明するために,デシダラタの提案と議論を行う。 (ii)デシダラタのレンズ下での文献におけるアプローチと,XAIアプローチの検証に一般的に使用される余分な次元の比較分析,および (iii)AIベースのサイバーセキュリティシステムの開発に向けた研究活動の指針となる一般的なアーキテクチャについて述べる。
  論文  参考訳（メタデータ） (2021-08-02T22:55:13Z)
• The Who in XAI: How AI Background Shapes Perceptions of AI Explanations [61.49776160925216]
  私たちは、2つの異なるグループ、つまりAIのバックグラウンドを持つ人々といない人たちの、異なるタイプのAI説明に対する理解について、混合手法による研究を行います。 その結果,(1) 両群は異なる理由から不合理な数に対する信頼を示し,(2) それぞれの群は意図した設計以上の異なる説明に価値を見出した。
  論文  参考訳（メタデータ） (2021-07-28T17:32:04Z)
• Individual Explanations in Machine Learning Models: A Case Study on Poverty Estimation [63.18666008322476]
  機械学習の手法は、敏感な社会的文脈でますます適用されつつある。 本研究の主な目的は2つある。 まず、これらの課題を公開し、関連性のある新しい説明方法の使用にどのように影響するか。 次に、関連するアプリケーションドメインで説明メソッドを実装する際に直面するような課題を軽減する一連の戦略を提示します。
  論文  参考訳（メタデータ） (2021-04-09T01:54:58Z)
• Explainable AI and Adoption of Algorithmic Advisors: an Experimental Study [0.6875312133832077]
  参加者は,人間あるいはアルゴリズムのアドバイザリからアドバイスを受けながら,webベースのゲームをプレイする実験手法を開発した。 異なる種類の説明が採用準備、支払い意欲、および金融AIコンサルタントの信頼に影響を与えるかどうかを評価します。 初対面時の導入を促進する説明の種類は,失敗後の最も成功したものや,コストのかかるものとは異なることが分かりました。
  論文  参考訳（メタデータ） (2021-01-05T09:34:38Z)
• A general framework for scientifically inspired explanations in AI [76.48625630211943]
  我々は、AIシステムの説明を実装可能な一般的なフレームワークの理論的基盤として、科学的説明の構造の概念をインスタンス化する。 このフレームワークは、AIシステムの"メンタルモデル"を構築するためのツールを提供することを目的としている。
  論文  参考訳（メタデータ） (2020-03-02T10:32:21Z)
• Learning from Learning Machines: Optimisation, Rules, and Social Norms [91.3755431537592]
  経済的な実体の行動に最も類似したAIの領域は道徳的に良い意思決定の領域であるようだ。 近年のAIにおけるディープラーニングの成功は、そのような問題を解決するための明示的な仕様よりも暗黙的な仕様の方が優れていることを示唆している。
  論文  参考訳（メタデータ） (2019-12-29T17:42:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。