論文の概要: On the Evaluation of the Plausibility and Faithfulness of Sentiment Analysis Explanations

• arxiv url: http://arxiv.org/abs/2210.06916v1
• Date: Thu, 13 Oct 2022 11:29:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-14 15:50:57.445102
• Title: On the Evaluation of the Plausibility and Faithfulness of Sentiment Analysis Explanations
• Title（参考訳）: 感性分析説明の妥当性と信条性の評価について
• Authors: Julia El Zini, Mohamad Mansour, Basel Mousi, and Mariette Awad
• Abstract要約: 2つの角度からSAモデルの説明可能性を評価するために,異なる指標と手法を提案する。 まず,抽出した「有理数」の強度を評価し,予測結果の忠実な説明を行う。 第2に、自家製のデータセット上で、ExAI法と人的判断の一致を計測する。
• 参考スコア（独自算出の注目度）: 2.071923272918415
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Current Explainable AI (ExAI) methods, especially in the NLP field, are conducted on various datasets by employing different metrics to evaluate several aspects. The lack of a common evaluation framework is hindering the progress tracking of such methods and their wider adoption. In this work, inspired by offline information retrieval, we propose different metrics and techniques to evaluate the explainability of SA models from two angles. First, we evaluate the strength of the extracted "rationales" in faithfully explaining the predicted outcome. Second, we measure the agreement between ExAI methods and human judgment on a homegrown dataset1 to reflect on the rationales plausibility. Our conducted experiments comprise four dimensions: (1) the underlying architectures of SA models, (2) the approach followed by the ExAI method, (3) the reasoning difficulty, and (4) the homogeneity of the ground-truth rationales. We empirically demonstrate that anchors explanations are more aligned with the human judgment and can be more confident in extracting supporting rationales. As can be foreseen, the reasoning complexity of sentiment is shown to thwart ExAI methods from extracting supporting evidence. Moreover, a remarkable discrepancy is discerned between the results of different explainability methods on the various architectures suggesting the need for consolidation to observe enhanced performance. Predominantly, transformers are shown to exhibit better explainability than convolutional and recurrent architectures. Our work paves the way towards designing more interpretable NLP models and enabling a common evaluation ground for their relative strengths and robustness.
• Abstract（参考訳）: 現在の説明可能なAI(ExAI)手法は、特にNLP分野において、様々な側面を評価するために異なるメトリクスを用いて様々なデータセット上で実行される。 共通の評価フレームワークの欠如は、そのような方法の進捗追跡と、より広範な採用を妨げる。 本研究は,オフライン情報検索にヒントを得て,2つの角度からSAモデルの説明可能性を評価するために,異なる指標と手法を提案する。 まず,抽出した「有理数」の強度を評価し,予測結果を忠実に説明する。 第2に,自家製データセット1上でのExAI法と人的判断の一致を測定し,理論的妥当性を考察する。 実験は,(1)SAモデルの基盤となるアーキテクチャ,(2)ExAI法によるアプローチ,(3)推論の難しさ,(4)地中真理の均一性,の4次元からなる。 実証実験により,アンカーの説明が人間の判断と一致し,支持する根拠を抽出する上でより自信を持てることを示す。 予見できるように、感情の理由づけの複雑さは、ExAIの手法が証拠の抽出を妨げていることを示している。 また,様々なアーキテクチャにおける説明可能性の異なる方法の結果から,性能向上を観察するための統合の必要性が示唆される。 主にトランスフォーマーは畳み込みや再帰的なアーキテクチャよりも説明しやすいことが示されている。 我々の研究は、より解釈可能なNLPモデルを設計し、相対的な強度と頑健さの共通評価基盤を実現するための道を開いた。

関連論文リスト

• Building Bridges, Not Walls -- Advancing Interpretability by Unifying Feature, Data, and Model Component Attribution [25.096987279649436]
  本稿では,特徴,データ,コンポーネント属性の手法が基本的類似性を共有し,それらをブリッジすることで解釈可能性の研究に役立つことを論じる。 これら3つの帰属的側面のメソッドの詳細な解析を行い、これらの明らかに異なる手法が類似したアプローチを用いており、主にコア技術よりもその観点で異なることを示す統一的な視点を示す。
  論文  参考訳（メタデータ） (2025-01-31T04:42:45Z)
• Learning to Generate and Evaluate Fact-checking Explanations with Transformers [10.970249299147866]
  XAI(Explainable Artificial Antelligence)の研究 我々は,人間のアクセス可能な説明を生成することによって,意思決定を文脈化し,正当化するトランスフォーマーベースの事実チェックモデルを開発した。 我々は人工知能(AI)による説明と人間の判断を一致させる必要性を強調した。
  論文  参考訳（メタデータ） (2024-10-21T06:22:51Z)
• Can you trust your explanations? A robustness test for feature attribution methods [42.36530107262305]
  説明可能なAI(XAI)の分野は急速に成長しているが、その技術の使用は時々予期せぬ結果をもたらした。 多様体仮説とアンサンブルアプローチの活用が、ロバスト性の詳細な解析にどのように役立つかを示す。
  論文  参考訳（メタデータ） (2024-06-20T14:17:57Z)
• MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
  大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。 本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。 メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
  論文  参考訳（メタデータ） (2024-06-20T03:50:23Z)
• A Survey of Explainable Knowledge Tracing [14.472784840283099]
  本稿では,KTアルゴリズムの解釈可能性について詳細に解析する。 説明可能な知識追跡のための現在の評価方法が不足している。 本稿では,教育関係者の視点から評価手法について考察する。
  論文  参考訳（メタデータ） (2024-03-12T03:17:59Z)
• Explaining Explainability: Towards Deeper Actionable Insights into Deep Learning through Second-order Explainability [70.60433013657693]
  2階説明可能なAI(SOXAI)は、最近インスタンスレベルからデータセットレベルまで説明可能なAI(XAI)を拡張するために提案されている。 そこで本研究では,SOXAIの動作可能な洞察に基づくトレーニングセットから無関係な概念を除外することで,モデルの性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-06-14T23:24:01Z)
• Multimodal Relation Extraction with Cross-Modal Retrieval and Synthesis [89.04041100520881]
  本研究は,対象物,文,画像全体に基づいて,テキストおよび視覚的証拠を検索することを提案する。 我々は,オブジェクトレベル,画像レベル,文レベル情報を合成し,同一性と異なるモダリティ間の推論を改善する新しい手法を開発した。
  論文  参考訳（メタデータ） (2023-05-25T15:26:13Z)
• An Experimental Investigation into the Evaluation of Explainability Methods [60.54170260771932]
  この研究は、9つの最先端XAI法と3つのダミー法(例えば、ランダム・サリエンシ・マップ)に適用された14の異なるメトリクスを比較した。 実験の結果、これらの指標のどれが高い相関関係を示し、潜在的な冗長性を示している。
  論文  参考訳（メタデータ） (2023-05-25T08:07:07Z)
• INTERACTION: A Generative XAI Framework for Natural Language Inference Explanations [58.062003028768636]
  現在のXAIアプローチは、ひとつの説明を提供することにのみ焦点をあてています。 本稿では、生成型XAIフレームワーク、InterACTION(explaIn aNd predicT thEn queRy with contextuAl CondiTional variational autO-eNcoder)を提案する。 提案するフレームワークは,説明とラベル予測の2つのステップ,および(ステップ2)異種証拠生成の2つのステップで説明を行う。
  論文  参考訳（メタデータ） (2022-09-02T13:52:39Z)
• Variational Distillation for Multi-View Learning [104.17551354374821]
  我々は,多視点表現学習における2つの重要な特徴を利用するために,様々な情報ボトルネックを設計する。 厳密な理論的保証の下で,本手法は,観察とセマンティックラベルの内在的相関の把握を可能にする。
  論文  参考訳（メタデータ） (2022-06-20T03:09:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。