論文の概要: Deceptive AI Explanations: Creation and Detection

• arxiv url: http://arxiv.org/abs/2001.07641v3
• Date: Thu, 2 Dec 2021 13:11:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-07 23:16:43.707545
• Title: Deceptive AI Explanations: Creation and Detection
• Title（参考訳）: 知覚的AI説明:創造と検出
• Authors: Johannes Schneider, Christian Meske and Michalis Vlachos
• Abstract要約: 我々は、AIモデルを用いて、偽りの説明を作成し、検出する方法について検討する。 実験的な評価として,GradCAMによるテキスト分類と説明の変更に着目した。 被験者200名を対象に, 偽装説明がユーザに与える影響について検討した。
• 参考スコア（独自算出の注目度）: 3.197020142231916
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Artificial intelligence (AI) comes with great opportunities but can also pose significant risks. Automatically generated explanations for decisions can increase transparency and foster trust, especially for systems based on automated predictions by AI models. However, given, e.g., economic incentives to create dishonest AI, to what extent can we trust explanations? To address this issue, our work investigates how AI models (i.e., deep learning, and existing instruments to increase transparency regarding AI decisions) can be used to create and detect deceptive explanations. As an empirical evaluation, we focus on text classification and alter the explanations generated by GradCAM, a well-established explanation technique in neural networks. Then, we evaluate the effect of deceptive explanations on users in an experiment with 200 participants. Our findings confirm that deceptive explanations can indeed fool humans. However, one can deploy machine learning (ML) methods to detect seemingly minor deception attempts with accuracy exceeding 80% given sufficient domain knowledge. Without domain knowledge, one can still infer inconsistencies in the explanations in an unsupervised manner, given basic knowledge of the predictive model under scrutiny.
• Abstract（参考訳）: 人工知能(AI)には大きな機会が伴うが、大きなリスクも伴う。 意思決定のための自動生成の説明は透明性を高め、信頼を高める。特にAIモデルによる自動予測に基づくシステムでは。 しかし、例えば、不正なaiを作る経済的インセンティブを考えると、説明をどの程度信頼できるか? この問題に対処するために、我々の研究は、AIモデル(ディープラーニング、AI決定に関する透明性を高めるための既存の手段)をどのように利用して、詐欺的な説明を作成し、検出するかを調査する。 実験的な評価として,ニューラルネットワークの確立した説明手法であるGradCAMのテキスト分類と説明の変更に注目した。 そして,200人の被験者による実験において,誤認的説明がユーザに与える影響を評価する。 虚偽の説明は、本当に人間を騙すことができることが判明した。 しかし、十分なドメイン知識があれば、機械学習(ml)メソッドをデプロイして、一見小さな偽装の試みを80%以上精度で検出することができる。 ドメイン知識がなければ、監視下にある予測モデルの基本的な知識を考えると、教師なしの方法で説明の不整合を推論することができる。

関連論文リスト

• Towards Human Cognition Level-based Experiment Design for Counterfactual Explanations (XAI) [68.8204255655161]
  XAI研究の重点は、より理解を深めるために、より実践的な説明アプローチに変わったようだ。 認知科学研究がXAIの進歩に大きく影響を与える可能性のある領域は、ユーザの知識とフィードバックを評価することである。 本研究では,異なる認知レベルの理解に基づく説明の生成と評価を実験する枠組みを提案する。
  論文  参考訳（メタデータ） (2022-10-31T19:20:22Z)
• Evaluating Human-like Explanations for Robot Actions in Reinforcement Learning Scenarios [1.671353192305391]
  我々は、自律ロボットが行動を実行した後の目標を達成するために、成功の確率から構築された人間のような説明を活用している。 これらの説明は、人工知能の手法の経験がほとんど、あるいはほとんどない人々によって理解されることを意図している。
  論文  参考訳（メタデータ） (2022-07-07T10:40:24Z)
• Cybertrust: From Explainable to Actionable and Interpretable AI (AI2) [58.981120701284816]
  Actionable and Interpretable AI (AI2)は、AIレコメンデーションにユーザの信頼度を明確に定量化し視覚化する。 これにより、AIシステムの予測を調べてテストすることで、システムの意思決定に対する信頼の基盤を確立することができる。
  論文  参考訳（メタデータ） (2022-01-26T18:53:09Z)
• The Who in XAI: How AI Background Shapes Perceptions of AI Explanations [61.49776160925216]
  私たちは、2つの異なるグループ、つまりAIのバックグラウンドを持つ人々といない人たちの、異なるタイプのAI説明に対する理解について、混合手法による研究を行います。 その結果,(1) 両群は異なる理由から不合理な数に対する信頼を示し,(2) それぞれの群は意図した設計以上の異なる説明に価値を見出した。
  論文  参考訳（メタデータ） (2021-07-28T17:32:04Z)
• A Turing Test for Transparency [0.0]
  説明可能な人工知能(XAI)の中心的な目標は、人間とAIのインタラクションにおける信頼関係を改善することである。 最近の実証的な証拠は、説明が反対の効果を持つことを示している。 この効果はXAIの目的に挑戦し、透明なAI手法の責任ある使用には、人間が人間の説明から生成された機械を区別する能力を考慮する必要があることを示唆している。
  論文  参考訳（メタデータ） (2021-06-21T20:09:40Z)
• Teaching the Machine to Explain Itself using Domain Knowledge [4.462334751640166]
  非技術的人間-ループは、モデル予測の背後にある理論的根拠を理解するのに苦労する。 本稿では、意思決定タスクと関連する説明を共同で学習するニューラルネットワークベースのフレームワークJOELを提案する。 認定された専門家のプールからドメインフィードバックを収集し、それをモデル(人間の教え)を改善するために利用します。
  論文  参考訳（メタデータ） (2020-11-27T18:46:34Z)
• Explainability in Deep Reinforcement Learning [68.8204255655161]
  説明可能な強化学習(XRL)の実現に向けての最近の成果を概観する。 エージェントの振る舞いを正当化し、説明することが不可欠である重要な状況において、RLモデルのより良い説明可能性と解釈性は、まだブラックボックスと見なされているものの内部動作に関する科学的洞察を得るのに役立つ。
  論文  参考訳（メタデータ） (2020-08-15T10:11:42Z)
• Does Explainable Artificial Intelligence Improve Human Decision-Making? [17.18994675838646]
  我々は、AI(制御)を使わずに客観的な人間の意思決定精度を、AI予測(説明なし)とAI予測(説明なし)とを比較して評価する。 あらゆる種類のAI予測は、ユーザの判断精度を改善する傾向がありますが、説明可能なAIが有意義な影響を与えるという決定的な証拠はありません。 我々の結果は、少なくともいくつかの状況において、説明可能なAIが提供する「なぜ」情報は、ユーザの意思決定を促進することができないことを示唆している。
  論文  参考訳（メタデータ） (2020-06-19T15:46:13Z)
• A general framework for scientifically inspired explanations in AI [76.48625630211943]
  我々は、AIシステムの説明を実装可能な一般的なフレームワークの理論的基盤として、科学的説明の構造の概念をインスタンス化する。 このフレームワークは、AIシステムの"メンタルモデル"を構築するためのツールを提供することを目的としている。
  論文  参考訳（メタデータ） (2020-03-02T10:32:21Z)
• Self-explaining AI as an alternative to interpretable AI [0.0]
  二重降下は、深層ニューラルネットワークがデータポイント間のスムーズな補間によって動作することを示している。 複雑な現実世界のデータに基づいてトレーニングされたニューラルネットワークは、本質的に解釈が困難で、外挿を求めると失敗する傾向がある。 自己説明型AIは、決定と説明の両方の信頼性レベルとともに、人間に理解可能な説明を提供することができる。
  論文  参考訳（メタデータ） (2020-02-12T18:50:11Z)
• Explainable Active Learning (XAL): An Empirical Study of How Local Explanations Impact Annotator Experience [76.9910678786031]
  本稿では、最近急増している説明可能なAI(XAI)のテクニックをアクティブラーニング環境に導入することにより、説明可能なアクティブラーニング(XAL)の新たなパラダイムを提案する。 本研究は,機械教育のインタフェースとしてのAI説明の利点として,信頼度校正を支援し,リッチな形式の教示フィードバックを可能にすること,モデル判断と認知作業負荷による潜在的な欠点を克服する効果を示す。
  論文  参考訳（メタデータ） (2020-01-24T22:52:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。