論文の概要: SIDEs: Separating Idealization from Deceptive Explanations in xAI
- arxiv url: http://arxiv.org/abs/2404.16534v1
- Date: Thu, 25 Apr 2024 11:47:39 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-26 13:59:41.131131
- Title: SIDEs: Separating Idealization from Deceptive Explanations in xAI
- Title（参考訳）: SIDEs: xAIにおける認知的説明から理想化を分離する
- Authors: Emily Sullivan,
- Abstract要約: 理想化評価に携わるxAI研究の必要性について概説する。
既存の研究が理想化評価に果たす役割について論じる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Explainable AI (xAI) methods are important for establishing trust in using black-box models. However, recent criticism has mounted against current xAI methods that they disagree, are necessarily false, and can be manipulated, which has started to undermine the deployment of black-box models. Rudin (2019) goes so far as to say that we should stop using black-box models altogether in high-stakes cases because xAI explanations "must be wrong". However, strict fidelity to the truth is historically not a desideratum in science. Idealizations -- the intentional distortions introduced to scientific theories and models -- are commonplace in the natural sciences and are seen as a successful scientific tool. Thus, it is not falsehood qua falsehood that is the issue. In this paper, I outline the need for xAI research to engage in idealization evaluation. Drawing on the use of idealizations in the natural sciences and philosophy of science, I introduce a novel framework for evaluating whether xAI methods engage in successful idealizations or deceptive explanations (SIDEs). SIDEs evaluates whether the limitations of xAI methods, and the distortions that they introduce, can be part of a successful idealization or are indeed deceptive distortions as critics suggest. I discuss the role that existing research can play in idealization evaluation and where innovation is necessary. Through a qualitative analysis we find that leading feature importance methods and counterfactual explanations are subject to idealization failure and suggest remedies for ameliorating idealization failure.
- Abstract（参考訳）: ブラックボックスモデルを使用する信頼を確立する上で、説明可能なAI(xAI)メソッドが重要である。
しかし、最近の批判は、それらが反対する現在のxAIメソッドに対して、必ずしも偽であり、操作可能であることへの批判が強まり、ブラックボックスモデルの展開を損なうようになった。
Rudin (2019) は、XAI の説明が「間違ってはならない」ため、高精細なケースでブラックボックスモデルを完全に使うのをやめるべきであると述べている。
しかし、真理への厳格な忠実さは歴史的に科学の偏見ではない。
科学理論やモデルに意図的な歪みをもたらす理想化は、自然科学において一般的であり、科学的ツールとして成功していると見なされている。
したがって、それが問題となるのは偽造準偽造ではない。
本稿では,xAI研究の理想化評価への関与の必要性について概説する。
自然科学・科学哲学における理想化の活用を基礎として、xAI手法が理想化を成功させるか、または、偽りの説明(SIDE)を行うかを評価するための新しい枠組みを導入する。
SIDEは、xAI手法の限界とそれらが導入する歪みが、成功している理想化の一部なのか、それとも実際に偽りの歪みなのかを評価する。
私は、既存の研究が理想化評価において果たす役割と、イノベーションがどこに必要かについて議論する。
定性的な分析を通して、主要な特徴重要度法と反実的説明が理想化失敗の対象となることを発見し、理想化失敗を改善するための改善策を提案する。
関連論文リスト
- Explainable AI needs formal notions of explanation correctness [2.1309989863595677]
医学のような重要な分野における機械学習はリスクをもたらし、規制を必要とする。
1つの要件は、リスクの高いアプリケーションにおけるMLシステムの決定は、人間に理解可能なものであるべきです。
現在の形式では、XAIはMLの品質管理に不適であり、それ自体は精査が必要である。
論文 参考訳（メタデータ） (2024-09-22T20:47:04Z) - CHILLI: A data context-aware perturbation method for XAI [3.587367153279351]
機械学習(ML)モデルの信頼性は評価が難しいが、リスクの高いアプリケーションや倫理的に敏感なアプリケーションでは重要である。
本稿では,文脈に意識された摂動を生成することで,データコンテキストをXAIに組み込む新しいフレームワークCHILLIを提案する。
これは説明の正確さと正確さを両立させることが示されている。
論文 参考訳（メタデータ） (2024-07-10T10:18:07Z) - Conceptual and Unbiased Reasoning in Language Models [98.90677711523645]
本稿では,抽象的質問に対する概念的推論をモデルに強制する,新しい概念化フレームワークを提案する。
既存の大規模言語モデルは概念的推論では不足しており、様々なベンチマークでは9%から28%に低下している。
ハイレベルな抽象的推論が不偏で一般化可能な意思決定の鍵となるので、モデルがどのように改善できるかについて議論する。
論文 参考訳（メタデータ） (2024-03-30T00:53:53Z) - What makes an image realistic? [5.656581242851759]
非現実的なデータから現実的なデータを確実に検出できる関数を設計する、リアリズムの定量化の問題について議論する。
この問題がなぜ難しいのか、なぜ優れた生成モデルだけで解決できないのか、そして良い解決策がどのようなものかについて議論する。
我々は、敵の批判者と異なり、敵の訓練を必要としない普遍的な批判の概念を導入する。
論文 参考訳（メタデータ） (2024-03-07T13:49:43Z) - Position: Explain to Question not to Justify [17.79812812111111]
説明可能な人工知能(XAI)は有望な研究分野である。
我々はXAI領域内で絡み合った様々なスレッドを、人間/価値指向の説明の相補的な2つの文化に分けた。
RED XAIの領域は、AIシステムの安全性を確保するために必要な重要な研究の機会と可能性を秘めている。
論文 参考訳（メタデータ） (2024-02-21T16:30:24Z) - A Closer Look at the Self-Verification Abilities of Large Language Models in Logical Reasoning [73.77088902676306]
論理的推論の文脈において,大規模言語モデル(LLM)の自己検証能力について詳しく検討する。
本研究の主目的は,既存のLCMが誤った推論手順を正確に識別するのに苦労し,自己検証法の有効性を保証できないことにある。
論文 参考訳（メタデータ） (2023-11-14T07:13:10Z) - Deep Grey-Box Modeling With Adaptive Data-Driven Models Toward
Trustworthy Estimation of Theory-Driven Models [88.63781315038824]
本稿では,ニューラルネットワークのアーキテクチャとトレーニング目標にわずかな変化を伴って,レギュレータの動作を経験的に分析することのできるフレームワークを提案する。
論文 参考訳（メタデータ） (2022-10-24T10:42:26Z) - Optimising Equal Opportunity Fairness in Model Training [60.0947291284978]
既存のデバイアス法、例えば、敵の訓練や、表現から保護された情報を取り除くことは、バイアスを減らすことが示されている。
2つの新たな学習目標を提案し,2つの分類課題における高い性能を維持しつつ,バイアスの低減に有効であることを示す。
論文 参考訳（メタデータ） (2022-05-05T01:57:58Z) - Beyond Explaining: Opportunities and Challenges of XAI-Based Model
Improvement [75.00655434905417]
説明可能な人工知能(XAI)は、高度に複雑な機械学習(ML)モデルに透明性をもたらす新たな研究分野である。
本稿では,機械学習モデルの諸特性を改善するために,XAIを実用的に応用する手法を概観する。
実験では,モデル一般化能力や推論などの特性を改善する上で,説明がどのように役立つのかを,おもちゃと現実的な設定で実証的に示す。
論文 参考訳（メタデータ） (2022-03-15T15:44:28Z) - On Generating Plausible Counterfactual and Semi-Factual Explanations for
Deep Learning [15.965337956587373]
PlausIble Exceptionality-based Contrastive Explanations (PIECE) は、テストイメージにおけるすべての例外的特徴を、対実クラスの観点から正規化するように修正する。
2つの制御された実験は、PIECEを文献上の他のものと比較し、PIECEはいくつかの尺度において最も妥当な反事実を生成するだけでなく、最良の半事実も生成することを示した。
論文 参考訳（メタデータ） (2020-09-10T14:48:12Z) - Explainability in Deep Reinforcement Learning [68.8204255655161]
説明可能な強化学習(XRL)の実現に向けての最近の成果を概観する。
エージェントの振る舞いを正当化し、説明することが不可欠である重要な状況において、RLモデルのより良い説明可能性と解釈性は、まだブラックボックスと見なされているものの内部動作に関する科学的洞察を得るのに役立つ。
論文 参考訳（メタデータ） (2020-08-15T10:11:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。