Fugu-MT 論文翻訳(概要): SCENE: Evaluating Explainable AI Techniques Using Soft Counterfactuals

論文の概要: SCENE: Evaluating Explainable AI Techniques Using Soft Counterfactuals

arxiv url: http://arxiv.org/abs/2408.04575v1
Date: Thu, 8 Aug 2024 16:36:24 GMT
ステータス: 処理完了
システム内更新日: 2024-08-09 14:58:04.800200
Title: SCENE: Evaluating Explainable AI Techniques Using Soft Counterfactuals
Title（参考訳）: SCENE: ソフトカウンタによる説明可能なAI技術の評価
Authors: Haoran Zheng, Utku Pamuksuz,
Abstract要約: SCENE(Soft Counterfactual Evaluation for Natural Language Explainability)は,新たな評価手法である。トークンベースの置換に焦点を当てることで、SCENEは文脈的に適切でセマンティックに意味のあるソフトカウンターファクトを作成できる。 SCENEは様々なXAI技法の強みと限界についての貴重な洞察を提供する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Explainable Artificial Intelligence (XAI) is essential for enhancing the transparency and accountability of AI models, especially in natural language processing (NLP) tasks. This paper introduces SCENE (Soft Counterfactual Evaluation for Natural language Explainability), a novel evaluation method that leverages large language models (LLMs) to generate Soft Counterfactual explanations in a zero-shot manner. By focusing on token-based substitutions, SCENE creates contextually appropriate and seman-tically meaningful Soft Counterfactuals without extensive fine-tuning. SCENE adopts Validitysoft and Csoft metrics to evaluate the effectiveness of model-agnostic XAI methods in text classification tasks. Applied to CNN, RNN, and BERT architectures, SCENE provides valuable insights into the strengths and limitations of various XAI techniques.
Abstract（参考訳）: 説明可能な人工知能(XAI)は、特に自然言語処理(NLP)タスクにおいて、AIモデルの透明性と説明責任を高めるために不可欠である。本稿では,SCENE(Soft Counterfactual Evaluation for Natural Language Explainability)について紹介する。トークンベースの置換に焦点を当てることで、SCENEは文脈的に適切でセマンティックに意味のあるソフトカウンターファクトを広範囲の微調整なしで作成する。 SCENEは、テキスト分類タスクにおけるモデルに依存しないXAI手法の有効性を評価するために、ValiditysoftとCsoftメトリクスを採用している。 CNN、RNN、BERTアーキテクチャに適用されたSCENEは、様々なXAI技術の長所と短所に関する貴重な洞察を提供する。

関連論文リスト

Robustness of Explainable Artificial Intelligence in Industrial Process Modelling [43.388607981317016]
我々は,地中真実シミュレーションと感度解析に基づいて,現在のXAI手法を評価する。モデル化された産業プロセスの真の感度を正確に予測する能力において,XAI法とXAI法の違いを示す。
論文参考訳（メタデータ） (2024-07-12T09:46:26Z)
Explainable AI for Enhancing Efficiency of DL-based Channel Estimation [1.0136215038345013]
人工知能に基づく意思決定のサポートは、将来の6Gネットワークの重要な要素である。このようなアプリケーションでは、ブラックボックスモデルとしてAIを使用するのは危険で難しい。本稿では,無線通信におけるチャネル推定を目的とした新しいXAI-CHESTフレームワークを提案する。
論文参考訳（メタデータ） (2024-07-09T16:24:21Z)
EXACT: Towards a platform for empirically benchmarking Machine Learning model explanation methods [1.6383837447674294]
本稿では、初期ベンチマークプラットフォームにおいて、様々なベンチマークデータセットと新しいパフォーマンス指標をまとめる。我々のデータセットには、クラス条件の特徴に対する真実の説明が組み込まれています。このプラットフォームは、それらが生成する説明の品質において、ポストホックなXAIメソッドのパフォーマンスを評価する。
論文参考訳（メタデータ） (2024-05-20T14:16:06Z)
CELA: Cost-Efficient Language Model Alignment for CTR Prediction [71.85120354973073]
CTR(Click-Through Rate)予測は、レコメンダシステムにおいて最重要位置を占める。最近の取り組みは、プレトレーニング言語モデル(PLM)を統合することでこれらの課題を緩和しようとしている。 CTR予測のためのtextbfCost-textbfEfficient textbfLanguage Model textbfAlignment (textbfCELA)を提案する。
論文参考訳（メタデータ） (2024-05-17T07:43:25Z)
Counterfactual Explanations as Interventions in Latent Space [62.997667081978825]
反現実的な説明は、望ましい結果を達成するために変更が必要な機能のセットをエンドユーザに提供することを目的としています。現在のアプローチでは、提案された説明を達成するために必要な行動の実現可能性を考慮することはめったにない。本稿では,非現実的説明を生成する手法として,潜時空間における干渉としての対実的説明(CEILS)を提案する。
論文参考訳（メタデータ） (2021-06-14T20:48:48Z)
Explaining the Deep Natural Language Processing by Mining Textual Interpretable Features [3.819533618886143]
T-EBAnOは、深層自然言語モデルに適した、予測ローカルでクラスベースのモデル-言語的説明戦略である。自動意思決定プロセスの背後にある理由について、客観的で、人間可読で、ドメイン固有の評価を提供する。
論文参考訳（メタデータ） (2021-06-12T06:25:09Z)
Obtaining Better Static Word Embeddings Using Contextual Embedding Models [53.86080627007695]
提案手法はCBOWをベースとした簡易な蒸留法である。副作用として、我々の手法は文脈的および静的な埋め込みの公正な比較を可能にする。
論文参考訳（メタデータ） (2021-06-08T12:59:32Z)
TextFlint: Unified Multilingual Robustness Evaluation Toolkit for Natural Language Processing [73.16475763422446]
NLPタスク(TextFlint)のための多言語ロバスト性評価プラットフォームを提案する。普遍的なテキスト変換、タスク固有の変換、敵攻撃、サブポピュレーション、およびそれらの組み合わせを取り入れ、包括的な堅牢性分析を提供する。 TextFlintは、モデルの堅牢性の欠点に対処するために、完全な分析レポートとターゲットとした拡張データを生成します。
論文参考訳（メタデータ） (2021-03-21T17:20:38Z)
Generative Counterfactuals for Neural Networks via Attribute-Informed Perturbation [51.29486247405601]
AIP(Attribute-Informed Perturbation)の提案により,生データインスタンスの反事実を生成するフレームワークを設計する。異なる属性を条件とした生成モデルを利用することで、所望のラベルとの反事実を効果的かつ効率的に得ることができる。実世界のテキストや画像に対する実験結果から, 設計したフレームワークの有効性, サンプル品質, および効率が示された。
論文参考訳（メタデータ） (2021-01-18T08:37:13Z)
Why model why? Assessing the strengths and limitations of LIME [0.0]
本稿では,LIME(Local Interpretable Model-Agnostic Explanations) xAIフレームワークの有効性について検討する。 LIMEは、文献で見られる最も人気のあるモデルに依存しないフレームワークの1つである。従来の性能評価手法を補うためにLIMEをどのように利用できるかを示す。
論文参考訳（メタデータ） (2020-11-30T21:08:07Z)
A Diagnostic Study of Explainability Techniques for Text Classification [52.879658637466605]
既存の説明可能性技術を評価するための診断特性のリストを作成する。そこで本研究では, モデルの性能と有理性との整合性の関係を明らかにするために, 説明可能性手法によって割り当てられた有理性スコアと有理性入力領域の人間のアノテーションを比較した。
論文参考訳（メタデータ） (2020-09-25T12:01:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。