論文の概要: SIDEs: Separating Idealization from Deceptive Explanations in xAI
- arxiv url: http://arxiv.org/abs/2404.16534v1
- Date: Thu, 25 Apr 2024 11:47:39 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-26 13:59:41.131131
- Title: SIDEs: Separating Idealization from Deceptive Explanations in xAI
- Title(参考訳): SIDEs: xAIにおける認知的説明から理想化を分離する
- Authors: Emily Sullivan,
- Abstract要約: 理想化評価に携わるxAI研究の必要性について概説する。
既存の研究が理想化評価に果たす役割について論じる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Explainable AI (xAI) methods are important for establishing trust in using black-box models. However, recent criticism has mounted against current xAI methods that they disagree, are necessarily false, and can be manipulated, which has started to undermine the deployment of black-box models. Rudin (2019) goes so far as to say that we should stop using black-box models altogether in high-stakes cases because xAI explanations "must be wrong". However, strict fidelity to the truth is historically not a desideratum in science. Idealizations -- the intentional distortions introduced to scientific theories and models -- are commonplace in the natural sciences and are seen as a successful scientific tool. Thus, it is not falsehood qua falsehood that is the issue. In this paper, I outline the need for xAI research to engage in idealization evaluation. Drawing on the use of idealizations in the natural sciences and philosophy of science, I introduce a novel framework for evaluating whether xAI methods engage in successful idealizations or deceptive explanations (SIDEs). SIDEs evaluates whether the limitations of xAI methods, and the distortions that they introduce, can be part of a successful idealization or are indeed deceptive distortions as critics suggest. I discuss the role that existing research can play in idealization evaluation and where innovation is necessary. Through a qualitative analysis we find that leading feature importance methods and counterfactual explanations are subject to idealization failure and suggest remedies for ameliorating idealization failure.
- Abstract(参考訳): ブラックボックスモデルを使用する信頼を確立する上で、説明可能なAI(xAI)メソッドが重要である。
しかし、最近の批判は、それらが反対する現在のxAIメソッドに対して、必ずしも偽であり、操作可能であることへの批判が強まり、ブラックボックスモデルの展開を損なうようになった。
Rudin (2019) は、XAI の説明が「間違ってはならない」ため、高精細なケースでブラックボックスモデルを完全に使うのをやめるべきであると述べている。
しかし、真理への厳格な忠実さは歴史的に科学の偏見ではない。
科学理論やモデルに意図的な歪みをもたらす理想化は、自然科学において一般的であり、科学的ツールとして成功していると見なされている。
したがって、それが問題となるのは偽造準偽造ではない。
本稿では,xAI研究の理想化評価への関与の必要性について概説する。
自然科学・科学哲学における理想化の活用を基礎として、xAI手法が理想化を成功させるか、または、偽りの説明(SIDE)を行うかを評価するための新しい枠組みを導入する。
SIDEは、xAI手法の限界とそれらが導入する歪みが、成功している理想化の一部なのか、それとも実際に偽りの歪みなのかを評価する。
私は、既存の研究が理想化評価において果たす役割と、イノベーションがどこに必要かについて議論する。
定性的な分析を通して、主要な特徴重要度法と反実的説明が理想化失敗の対象となることを発見し、理想化失敗を改善するための改善策を提案する。
関連論文リスト
- What makes an image realistic? [5.656581242851759]
非現実的なデータから現実的なデータを確実に検出できる関数を設計する、リアリズムの定量化の問題について議論する。
この問題がなぜ難しいのか、なぜ優れた生成モデルだけで解決できないのか、そして良い解決策がどのようなものかについて議論する。
我々は、敵の批判者と異なり、敵の訓練を必要としない普遍的な批判の概念を導入する。
論文 参考訳(メタデータ) (2024-03-07T13:49:43Z) - A Closer Look at the Self-Verification Abilities of Large Language Models in Logical Reasoning [73.77088902676306]
論理的推論の文脈において,大規模言語モデル(LLM)の自己検証能力について詳しく検討する。
本研究の主目的は,既存のLCMが誤った推論手順を正確に識別するのに苦労し,自己検証法の有効性を保証できないことにある。
論文 参考訳(メタデータ) (2023-11-14T07:13:10Z) - The future of human-centric eXplainable Artificial Intelligence (XAI) is
not post-hoc explanations [0.6445605125467573]
人間中心のXAIにおける現在のアプローチは、単一の説明器に依存する傾向がある。
我々は、ポストホックな説明可能性から解釈可能なニューラルネットワークアーキテクチャの設計に移行することを提案する。
論文 参考訳(メタデータ) (2023-07-01T15:24:47Z) - A Brief Review of Explainable Artificial Intelligence in Healthcare [7.844015105790313]
XAIは、AIアプリケーションを構築するための技術と方法を指す。
モデル説明可能性と解釈可能性は、医療実践におけるAIモデルのデプロイを成功させる上で不可欠である。
論文 参考訳(メタデータ) (2023-04-04T05:41:57Z) - The XAI Alignment Problem: Rethinking How Should We Evaluate
Human-Centered AI Explainability Techniques [25.40212979946771]
可視性は、機械の説明が人間の説明といかに妥当かを測定する。
XAIアルゴリズムは機械の説明を規則化し、人間の説明と全く同じ内容を表現する。
論文 参考訳(メタデータ) (2023-03-30T20:59:44Z) - Deep Grey-Box Modeling With Adaptive Data-Driven Models Toward
Trustworthy Estimation of Theory-Driven Models [88.63781315038824]
本稿では,ニューラルネットワークのアーキテクチャとトレーニング目標にわずかな変化を伴って,レギュレータの動作を経験的に分析することのできるフレームワークを提案する。
論文 参考訳(メタデータ) (2022-10-24T10:42:26Z) - Optimising Equal Opportunity Fairness in Model Training [60.0947291284978]
既存のデバイアス法、例えば、敵の訓練や、表現から保護された情報を取り除くことは、バイアスを減らすことが示されている。
2つの新たな学習目標を提案し,2つの分類課題における高い性能を維持しつつ,バイアスの低減に有効であることを示す。
論文 参考訳(メタデータ) (2022-05-05T01:57:58Z) - Beyond Explaining: Opportunities and Challenges of XAI-Based Model
Improvement [75.00655434905417]
説明可能な人工知能(XAI)は、高度に複雑な機械学習(ML)モデルに透明性をもたらす新たな研究分野である。
本稿では,機械学習モデルの諸特性を改善するために,XAIを実用的に応用する手法を概観する。
実験では,モデル一般化能力や推論などの特性を改善する上で,説明がどのように役立つのかを,おもちゃと現実的な設定で実証的に示す。
論文 参考訳(メタデータ) (2022-03-15T15:44:28Z) - On Generating Plausible Counterfactual and Semi-Factual Explanations for
Deep Learning [15.965337956587373]
PlausIble Exceptionality-based Contrastive Explanations (PIECE) は、テストイメージにおけるすべての例外的特徴を、対実クラスの観点から正規化するように修正する。
2つの制御された実験は、PIECEを文献上の他のものと比較し、PIECEはいくつかの尺度において最も妥当な反事実を生成するだけでなく、最良の半事実も生成することを示した。
論文 参考訳(メタデータ) (2020-09-10T14:48:12Z) - Explainability in Deep Reinforcement Learning [68.8204255655161]
説明可能な強化学習(XRL)の実現に向けての最近の成果を概観する。
エージェントの振る舞いを正当化し、説明することが不可欠である重要な状況において、RLモデルのより良い説明可能性と解釈性は、まだブラックボックスと見なされているものの内部動作に関する科学的洞察を得るのに役立つ。
論文 参考訳(メタデータ) (2020-08-15T10:11:42Z) - Plausible Counterfactuals: Auditing Deep Learning Classifiers with
Realistic Adversarial Examples [84.8370546614042]
ディープラーニングモデルのブラックボックスの性質は、彼らがデータから何を学ぶかについて、未回答の疑問を提起している。
GAN(Generative Adversarial Network)とマルチオブジェクトは、監査されたモデルに妥当な攻撃を与えるために使用される。
その実用性は人間の顔の分類タスクの中で示され、提案されたフレームワークの潜在的可能性を明らかにしている。
論文 参考訳(メタデータ) (2020-03-25T11:08:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。