論文の概要: Does Faithfulness Conflict with Plausibility? An Empirical Study in Explainable AI across NLP Tasks

• arxiv url: http://arxiv.org/abs/2404.00140v1
• Date: Fri, 29 Mar 2024 20:28:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-04 07:07:01.821607
• Title: Does Faithfulness Conflict with Plausibility? An Empirical Study in Explainable AI across NLP Tasks
• Title（参考訳）: 信条はプラウザビリティと矛盾するか? : NLPタスクにおける説明可能なAIの実証的研究
• Authors: Xiaolei Lu, Jianghong Ma,
• Abstract要約: 私たちは、Shapleyの価値とLIMEがより忠実で妥当性が高いことを示す。 この結果から,一方の次元を一方の次元に最適化するのではなく,2つの目的を持つ説明可能性アルゴリズムを最適化する可能性が示唆された。
• 参考スコア（独自算出の注目度）: 9.979726030996051
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Explainability algorithms aimed at interpreting decision-making AI systems usually consider balancing two critical dimensions: 1) \textit{faithfulness}, where explanations accurately reflect the model's inference process. 2) \textit{plausibility}, where explanations are consistent with domain experts. However, the question arises: do faithfulness and plausibility inherently conflict? In this study, through a comprehensive quantitative comparison between the explanations from the selected explainability methods and expert-level interpretations across three NLP tasks: sentiment analysis, intent detection, and topic labeling, we demonstrate that traditional perturbation-based methods Shapley value and LIME could attain greater faithfulness and plausibility. Our findings suggest that rather than optimizing for one dimension at the expense of the other, we could seek to optimize explainability algorithms with dual objectives to achieve high levels of accuracy and user accessibility in their explanations.
• Abstract（参考訳）: 意思決定AIシステムの解釈を目的とした説明可能性アルゴリズムは、通常、2つの重要な次元のバランスを考える。 1) \textit{faithfulness} ここでは、説明がモデルの推論プロセスを正確に反映する。 2) \textit{plausibility} ここでは、説明がドメインの専門家と一致している。 しかし、疑問が生じる: 忠実さと可否性は本質的に矛盾しているか? 本研究では、選択された説明可能性法と3つのNLPタスク(感情分析、意図検出、トピックラベリング)における専門家レベルの解釈とを総合的に比較することにより、従来の摂動に基づく手法がより忠実で信頼性が高いことを示す。 この結果から,一方の次元を一方の次元に最適化するのではなく,2つの目的を持つ説明可能性アルゴリズムを最適化し,高い精度とユーザアクセシビリティを実現することが示唆された。

関連論文リスト

• Independence Constrained Disentangled Representation Learning from Epistemological Perspective [13.51102815877287]
  Disentangled Representation Learningは、データ生成プロセスにおいて意味論的に意味のある潜伏変数を識別するデータエンコーダをトレーニングすることで、ディープラーニングメソッドの説明可能性を向上させることを目的としている。 不整合表現学習の目的については合意が得られない。 本稿では,相互情報制約と独立性制約を統合した非絡み合い表現学習手法を提案する。
  論文  参考訳（メタデータ） (2024-09-04T13:00:59Z)
• Can you trust your explanations? A robustness test for feature attribution methods [42.36530107262305]
  説明可能なAI(XAI)の分野は急速に成長しているが、その技術の使用は時々予期せぬ結果をもたらした。 多様体仮説とアンサンブルアプローチの活用が、ロバスト性の詳細な解析にどのように役立つかを示す。
  論文  参考訳（メタデータ） (2024-06-20T14:17:57Z)
• Clarify When Necessary: Resolving Ambiguity Through Interaction with LMs [58.620269228776294]
  そこで本稿では,ユーザに対して,あいまいさを解消するためのタスク非依存のフレームワークを提案する。 我々は3つのNLPアプリケーション(質問応答、機械翻訳、自然言語推論)にまたがるシステムを評価する。 インテントシムは堅牢であり、幅広いNLPタスクやLMの改善を実証している。
  論文  参考訳（メタデータ） (2023-11-16T00:18:50Z)
• From Heuristic to Analytic: Cognitively Motivated Strategies for Coherent Physical Commonsense Reasoning [66.98861219674039]
  ヒューリスティック分析推論(HAR)戦略は、モデル決定のための合理化のコヒーレンスを大幅に改善する。 以上の結果から, PLM推論の一貫性と信頼性を効果的に向上できる可能性が示唆された。
  論文  参考訳（メタデータ） (2023-10-24T19:46:04Z)
• Explaining Explainability: Towards Deeper Actionable Insights into Deep Learning through Second-order Explainability [70.60433013657693]
  2階説明可能なAI(SOXAI)は、最近インスタンスレベルからデータセットレベルまで説明可能なAI(XAI)を拡張するために提案されている。 そこで本研究では,SOXAIの動作可能な洞察に基づくトレーニングセットから無関係な概念を除外することで,モデルの性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-06-14T23:24:01Z)
• Beyond Model Interpretability: On the Faithfulness and Adversarial Robustness of Contrastive Textual Explanations [2.543865489517869]
  本研究は、説明の忠実さに触発された新たな評価手法の基盤を築き、テキストの反事実を動機づけるものである。 感情分析データを用いた実験では, 両モデルとも, 対物関係の関連性は明らかでないことがわかった。
  論文  参考訳（メタデータ） (2022-10-17T09:50:02Z)
• Exploring the Trade-off between Plausibility, Change Intensity and Adversarial Power in Counterfactual Explanations using Multi-objective Optimization [73.89239820192894]
  自動対物生成は、生成した対物インスタンスのいくつかの側面を考慮すべきである。 本稿では, 対実例生成のための新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2022-05-20T15:02:53Z)
• The Unreliability of Explanations in Few-Shot In-Context Learning [50.77996380021221]
  我々は、テキスト上の推論、すなわち質問応答と自然言語推論を含む2つのNLPタスクに焦点を当てる。 入力と論理的に整合した説明は、通常より正確な予測を示す。 本稿では,説明の信頼性に基づいてモデル予測を校正する枠組みを提案する。
  論文  参考訳（メタデータ） (2022-05-06T17:57:58Z)
• AR-LSAT: Investigating Analytical Reasoning of Text [57.1542673852013]
  テキストの分析的推論の課題を研究し、1991年から2016年までのロースクール入学試験からの質問からなる新しいデータセットを紹介します。 我々は,この課題をうまくこなすために必要な知識理解と推論能力を分析する。
  論文  参考訳（メタデータ） (2021-04-14T02:53:32Z)
• Explaining Black-Box Algorithms Using Probabilistic Contrastive Counterfactuals [7.727206277914709]
  ブラックボックス決定システムを説明するための因果性に基づく原則的アプローチを提案する。 本稿では,変数の直接的および間接的影響が,アルゴリズムによる決定に与える影響を定量的に示す。 このような反事実は,アルゴリズムの決定に負の影響を受ける個人に対して,どのように行動可能なリコースを提供できるかを示す。
  論文  参考訳（メタデータ） (2021-03-22T16:20:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。