Fugu-MT 論文翻訳(概要): SCENE: Evaluating Explainable AI Techniques Using Soft Counterfactuals

論文の概要: SCENE: Evaluating Explainable AI Techniques Using Soft Counterfactuals

arxiv url: http://arxiv.org/abs/2408.04575v1
Date: Thu, 8 Aug 2024 16:36:24 GMT
ステータス: 処理完了
システム内更新日: 2024-08-09 14:58:04.800200
Title: SCENE: Evaluating Explainable AI Techniques Using Soft Counterfactuals
Title（参考訳）: SCENE: ソフトカウンタによる説明可能なAI技術の評価
Authors: Haoran Zheng, Utku Pamuksuz,
Abstract要約: SCENE(Soft Counterfactual Evaluation for Natural Language Explainability)は,新たな評価手法である。トークンベースの置換に焦点を当てることで、SCENEは文脈的に適切でセマンティックに意味のあるソフトカウンターファクトを作成できる。 SCENEは様々なXAI技法の強みと限界についての貴重な洞察を提供する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Explainable Artificial Intelligence (XAI) is essential for enhancing the transparency and accountability of AI models, especially in natural language processing (NLP) tasks. This paper introduces SCENE (Soft Counterfactual Evaluation for Natural language Explainability), a novel evaluation method that leverages large language models (LLMs) to generate Soft Counterfactual explanations in a zero-shot manner. By focusing on token-based substitutions, SCENE creates contextually appropriate and seman-tically meaningful Soft Counterfactuals without extensive fine-tuning. SCENE adopts Validitysoft and Csoft metrics to evaluate the effectiveness of model-agnostic XAI methods in text classification tasks. Applied to CNN, RNN, and BERT architectures, SCENE provides valuable insights into the strengths and limitations of various XAI techniques.
Abstract（参考訳）: 説明可能な人工知能(XAI)は、特に自然言語処理(NLP)タスクにおいて、AIモデルの透明性と説明責任を高めるために不可欠である。本稿では,SCENE(Soft Counterfactual Evaluation for Natural Language Explainability)について紹介する。トークンベースの置換に焦点を当てることで、SCENEは文脈的に適切でセマンティックに意味のあるソフトカウンターファクトを広範囲の微調整なしで作成する。 SCENEは、テキスト分類タスクにおけるモデルに依存しないXAI手法の有効性を評価するために、ValiditysoftとCsoftメトリクスを採用している。 CNN、RNN、BERTアーキテクチャに適用されたSCENEは、様々なXAI技術の長所と短所に関する貴重な洞察を提供する。

関連論文リスト

Explainable artificial intelligence (XAI): from inherent explainability to large language models [0.0]
説明可能なAI(XAI)技術は、機械学習モデルの説明可能性や解釈可能性を促進する。本稿では、本質的に解釈可能なモデルから現代的なアプローチまで、説明可能なAI手法の進歩について詳述する。我々は、視覚言語モデル(VLM)フレームワークを利用して、他の機械学習モデルの説明可能性を自動化または改善する説明可能なAI技術についてレビューする。
論文参考訳（メタデータ） (2025-01-17T06:16:57Z)
A Unified Framework for Evaluating the Effectiveness and Enhancing the Transparency of Explainable AI Methods in Real-World Applications [2.0681376988193843]
AIモデルの特徴である"ブラックボックス"は、解釈可能性、透明性、信頼性を制約する。本研究では,AIモデルによる説明の正確性,解釈可能性,堅牢性,公正性,完全性を評価するための統合XAI評価フレームワークを提案する。
論文参考訳（メタデータ） (2024-12-05T05:30:10Z)
Explainable AI for Enhancing Efficiency of DL-based Channel Estimation [1.0136215038345013]
人工知能に基づく意思決定のサポートは、将来の6Gネットワークの重要な要素である。このようなアプリケーションでは、ブラックボックスモデルとしてAIを使用するのは危険で難しい。本稿では,無線通信におけるチャネル推定を目的とした新しいXAI-CHESTフレームワークを提案する。
論文参考訳（メタデータ） (2024-07-09T16:24:21Z)
EXACT: Towards a platform for empirically benchmarking Machine Learning model explanation methods [1.6383837447674294]
本稿では、初期ベンチマークプラットフォームにおいて、様々なベンチマークデータセットと新しいパフォーマンス指標をまとめる。我々のデータセットには、クラス条件の特徴に対する真実の説明が組み込まれています。このプラットフォームは、それらが生成する説明の品質において、ポストホックなXAIメソッドのパフォーマンスを評価する。
論文参考訳（メタデータ） (2024-05-20T14:16:06Z)
CELA: Cost-Efficient Language Model Alignment for CTR Prediction [70.65910069412944]
CTR(Click-Through Rate)予測は、レコメンダシステムにおいて最重要位置を占める。最近の取り組みは、プレトレーニング言語モデル(PLM)を統合することでこれらの課題を緩和しようとしている。 CTR予測のためのtextbfCost-textbfEfficient textbfLanguage Model textbfAlignment (textbfCELA)を提案する。
論文参考訳（メタデータ） (2024-05-17T07:43:25Z)
AutoGuide: Automated Generation and Selection of Context-Aware Guidelines for Large Language Model Agents [74.17623527375241]
オフライン体験からコンテキスト認識ガイドラインを自動的に生成する,AutoGuideという新しいフレームワークを導入する。その結果,本ガイドラインはエージェントの現在の意思決定プロセスに関連性のある知識の提供を促進する。評価の結果, AutoGuide は複雑なベンチマーク領域において, 競争ベースラインを著しく上回っていることがわかった。
論文参考訳（メタデータ） (2024-03-13T22:06:03Z)
Counterfactual Explanations as Interventions in Latent Space [62.997667081978825]
反現実的な説明は、望ましい結果を達成するために変更が必要な機能のセットをエンドユーザに提供することを目的としています。現在のアプローチでは、提案された説明を達成するために必要な行動の実現可能性を考慮することはめったにない。本稿では,非現実的説明を生成する手法として,潜時空間における干渉としての対実的説明(CEILS)を提案する。
論文参考訳（メタデータ） (2021-06-14T20:48:48Z)
Obtaining Better Static Word Embeddings Using Contextual Embedding Models [53.86080627007695]
提案手法はCBOWをベースとした簡易な蒸留法である。副作用として、我々の手法は文脈的および静的な埋め込みの公正な比較を可能にする。
論文参考訳（メタデータ） (2021-06-08T12:59:32Z)
Generative Counterfactuals for Neural Networks via Attribute-Informed Perturbation [51.29486247405601]
AIP(Attribute-Informed Perturbation)の提案により,生データインスタンスの反事実を生成するフレームワークを設計する。異なる属性を条件とした生成モデルを利用することで、所望のラベルとの反事実を効果的かつ効率的に得ることができる。実世界のテキストや画像に対する実験結果から, 設計したフレームワークの有効性, サンプル品質, および効率が示された。
論文参考訳（メタデータ） (2021-01-18T08:37:13Z)
Why model why? Assessing the strengths and limitations of LIME [0.0]
本稿では,LIME(Local Interpretable Model-Agnostic Explanations) xAIフレームワークの有効性について検討する。 LIMEは、文献で見られる最も人気のあるモデルに依存しないフレームワークの1つである。従来の性能評価手法を補うためにLIMEをどのように利用できるかを示す。
論文参考訳（メタデータ） (2020-11-30T21:08:07Z)
A Diagnostic Study of Explainability Techniques for Text Classification [52.879658637466605]
既存の説明可能性技術を評価するための診断特性のリストを作成する。そこで本研究では, モデルの性能と有理性との整合性の関係を明らかにするために, 説明可能性手法によって割り当てられた有理性スコアと有理性入力領域の人間のアノテーションを比較した。
論文参考訳（メタデータ） (2020-09-25T12:01:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。