論文の概要: A Turing Test for Transparency
- arxiv url: http://arxiv.org/abs/2106.11394v1
- Date: Mon, 21 Jun 2021 20:09:40 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-23 14:47:42.731614
- Title: A Turing Test for Transparency
- Title（参考訳）: 透明性のためのチューリングテスト
- Authors: Felix Biessmann and Viktor Treu
- Abstract要約: 説明可能な人工知能(XAI)の中心的な目標は、人間とAIのインタラクションにおける信頼関係を改善することである。
最近の実証的な証拠は、説明が反対の効果を持つことを示している。
この効果はXAIの目的に挑戦し、透明なAI手法の責任ある使用には、人間が人間の説明から生成された機械を区別する能力を考慮する必要があることを示唆している。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: A central goal of explainable artificial intelligence (XAI) is to improve the
trust relationship in human-AI interaction. One assumption underlying research
in transparent AI systems is that explanations help to better assess
predictions of machine learning (ML) models, for instance by enabling humans to
identify wrong predictions more efficiently. Recent empirical evidence however
shows that explanations can have the opposite effect: When presenting
explanations of ML predictions humans often tend to trust ML predictions even
when these are wrong. Experimental evidence suggests that this effect can be
attributed to how intuitive, or human, an AI or explanation appears. This
effect challenges the very goal of XAI and implies that responsible usage of
transparent AI methods has to consider the ability of humans to distinguish
machine generated from human explanations. Here we propose a quantitative
metric for XAI methods based on Turing's imitation game, a Turing Test for
Transparency. A human interrogator is asked to judge whether an explanation was
generated by a human or by an XAI method. Explanations of XAI methods that can
not be detected by humans above chance performance in this binary
classification task are passing the test. Detecting such explanations is a
requirement for assessing and calibrating the trust relationship in human-AI
interaction. We present experimental results on a crowd-sourced text
classification task demonstrating that even for basic ML models and XAI
approaches most participants were not able to differentiate human from machine
generated explanations. We discuss ethical and practical implications of our
results for applications of transparent ML.
- Abstract（参考訳）: 説明可能な人工知能(XAI)の中心的な目標は、人間とAIのインタラクションにおける信頼関係を改善することである。
例えば、人間が間違った予測をより効率的に特定できるようにすることで、説明が機械学習(ML)モデルの予測をより正確に評価するのに役立つという仮説がある。
しかし、最近の実証的な証拠は、説明が反対の効果を持つことを示している: ML予測の説明を提示する場合、人間がML予測を信頼する傾向がしばしばある。
実験的な証拠は、この効果がいかに直感的、あるいは人間、AIや説明が現れるかに起因することを示唆している。
この効果はXAIの目的に挑戦し、透明なAI手法の責任ある使用には、人間が人間の説明から生成された機械を区別する能力を考慮する必要があることを示唆している。
本稿では、チューリングの模倣ゲームであるTuring Test for Transparencyに基づくXAI手法の定量化について述べる。
人間の尋問者は、説明が人間によるものなのか、またはxai方式なのかを判断する。
この二項分類タスクにおいて、人間によって検出できないXAI手法の説明は、試験に合格している。
このような説明を検出することは、人間とAIの相互作用における信頼関係の評価と校正の要件である。
我々は,基本MLモデルやXAIアプローチであっても,ほとんどの参加者が機械による説明と人間を区別することができないことを示す,クラウドソーステキスト分類タスクの実験結果を示した。
透明MLの応用における結果の倫理的・実践的意義について論じる。
関連論文リスト
- Don't be Fooled: The Misinformation Effect of Explanations in Human-AI Collaboration [11.824688232910193]
我々は,人間がXAIに支えられたAIによる意思決定について研究している。
その結果,誤った説明が正しいAIアドバイスに付随する場合に誤報が生じることがわかった。
この効果は、人間が欠陥のある推論戦略を推測し、タスクの実行を妨げ、手続き的知識の障害を示す。
論文 参考訳（メタデータ） (2024-09-19T14:34:20Z) - Explaining Explainability: Towards Deeper Actionable Insights into Deep
Learning through Second-order Explainability [70.60433013657693]
2階説明可能なAI(SOXAI)は、最近インスタンスレベルからデータセットレベルまで説明可能なAI(XAI)を拡張するために提案されている。
そこで本研究では,SOXAIの動作可能な洞察に基づくトレーニングセットから無関係な概念を除外することで,モデルの性能を向上させることができることを示す。
論文 参考訳（メタデータ） (2023-06-14T23:24:01Z) - Towards Human Cognition Level-based Experiment Design for Counterfactual
Explanations (XAI) [68.8204255655161]
XAI研究の重点は、より理解を深めるために、より実践的な説明アプローチに変わったようだ。
認知科学研究がXAIの進歩に大きく影響を与える可能性のある領域は、ユーザの知識とフィードバックを評価することである。
本研究では,異なる認知レベルの理解に基づく説明の生成と評価を実験する枠組みを提案する。
論文 参考訳（メタデータ） (2022-10-31T19:20:22Z) - Responsibility: An Example-based Explainable AI approach via Training
Process Inspection [1.4610038284393165]
我々は、特定の決定に対して最も責任あるトレーニング例を特定する新しいXAIアプローチを提案する。
この例は、"これが私が(AI)学んだことであり、それが私をそのようにしました"、という説明として示されます。
以上の結果から,ヒューマンエンドユーザとセカンダリMLモデルの両方において,責任が精度の向上に有効であることが示唆された。
論文 参考訳（メタデータ） (2022-09-07T19:30:01Z) - CX-ToM: Counterfactual Explanations with Theory-of-Mind for Enhancing
Human Trust in Image Recognition Models [84.32751938563426]
我々は、深層畳み込みニューラルネットワーク(CNN)による決定を説明するための、新しい説明可能なAI(XAI)フレームワークを提案する。
単発応答として説明を生成するXAIの現在の手法とは対照的に,我々は反復的な通信プロセスとして説明を行う。
本フレームワークは,機械の心と人間の心の相違を媒介し,対話における説明文のシーケンスを生成する。
論文 参考訳（メタデータ） (2021-09-03T09:46:20Z) - Quality Metrics for Transparent Machine Learning With and Without Humans
In the Loop Are Not Correlated [0.0]
心理物理学の手法を用いて,解釈可能なコンピュータビジョンアルゴリズムの品質について検討する。
この結果から,心理物理学的な実験により,機械学習における透明性の堅牢な品質評価が可能であることが示唆された。
論文 参考訳（メタデータ） (2021-07-01T12:30:51Z) - A Comparative Approach to Explainable Artificial Intelligence Methods in
Application to High-Dimensional Electronic Health Records: Examining the
Usability of XAI [0.0]
XAIは、コミュニケーション手段によって人間に達成される信頼の実証的要因を生み出すことを目的としている。
機械を信頼して人間の生き方に向くというイデオロギーは倫理的な混乱を引き起こします。
XAIメソッドは、ローカルレベルとグローバルレベルの両方で出力される特定のモデルに対する機能貢献を視覚化します。
論文 参考訳（メタデータ） (2021-03-08T18:15:52Z) - Joint Inference of States, Robot Knowledge, and Human (False-)Beliefs [90.20235972293801]
本稿では,人間(時間的)・人間(時間的)・人間(時間的)・人間(時間的)・人間(時間的)・人間(時間的)・人間(時間的)・人間(時間的)・人間(時間的)・人間(時間的)・人間(時間的)・人間(時間的)の認知能力が,ロボットとの相互作用にどのように影響するかを理解するために,対象状態,ロボット知識,人間(時間的)の認知能力の表現にグラフィカルモデルを採用することを提案する。
推論アルゴリズムは、複数のビューにまたがる全てのロボットから個別のpgを融合し、単一のビューから発生したエラーを克服するより効果的な推論能力を得る。
論文 参考訳（メタデータ） (2020-04-25T23:02:04Z) - A general framework for scientifically inspired explanations in AI [76.48625630211943]
我々は、AIシステムの説明を実装可能な一般的なフレームワークの理論的基盤として、科学的説明の構造の概念をインスタンス化する。
このフレームワークは、AIシステムの"メンタルモデル"を構築するためのツールを提供することを目的としている。
論文 参考訳（メタデータ） (2020-03-02T10:32:21Z) - Explainable Active Learning (XAL): An Empirical Study of How Local
Explanations Impact Annotator Experience [76.9910678786031]
本稿では、最近急増している説明可能なAI(XAI)のテクニックをアクティブラーニング環境に導入することにより、説明可能なアクティブラーニング(XAL)の新たなパラダイムを提案する。
本研究は,機械教育のインタフェースとしてのAI説明の利点として,信頼度校正を支援し,リッチな形式の教示フィードバックを可能にすること,モデル判断と認知作業負荷による潜在的な欠点を克服する効果を示す。
論文 参考訳（メタデータ） (2020-01-24T22:52:18Z) - Deceptive AI Explanations: Creation and Detection [3.197020142231916]
我々は、AIモデルを用いて、偽りの説明を作成し、検出する方法について検討する。
実験的な評価として,GradCAMによるテキスト分類と説明の変更に着目した。
被験者200名を対象に, 偽装説明がユーザに与える影響について検討した。
論文 参考訳（メタデータ） (2020-01-21T16:41:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。