論文の概要: Are Your Explanations Reliable? Investigating the Stability of LIME in
Explaining Text Classifiers by Marrying XAI and Adversarial Attack
- arxiv url: http://arxiv.org/abs/2305.12351v2
- Date: Sun, 15 Oct 2023 13:19:44 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-18 05:08:47.402724
- Title: Are Your Explanations Reliable? Investigating the Stability of LIME in
Explaining Text Classifiers by Marrying XAI and Adversarial Attack
- Title（参考訳）: あなたの説明は信頼できますか?
xaiと敵対的攻撃によるテキスト分類におけるライムの安定性の検討
- Authors: Christopher Burger, Lingwei Chen, Thai Le
- Abstract要約: LIMEは、説明可能なAI(XAI)フレームワークで最も一般的に参照されるツールの1つとして登場した。
本稿では,テキストデータにおけるLIMEの本質的不安定性をまず評価し,ベースラインを確立する。
次に,テキスト入力を摂動する新しいアルゴリズムXAIFoolerを提案し,テキスト摂動最適化問題としてLIMEの安定性について検討する。
- 参考スコア（独自算出の注目度）: 11.437660523661338
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: LIME has emerged as one of the most commonly referenced tools in explainable
AI (XAI) frameworks that is integrated into critical machine learning
applications--e.g., healthcare and finance. However, its stability remains
little explored, especially in the context of text data, due to the unique
text-space constraints. To address these challenges, in this paper, we first
evaluate the inherent instability of LIME on text data to establish a baseline,
and then propose a novel algorithm XAIFooler to perturb text inputs and
manipulate explanations that casts investigation on the stability of LIME as a
text perturbation optimization problem. XAIFooler conforms to the constraints
to preserve text semantics and original prediction with small perturbations,
and introduces Rank-biased Overlap (RBO) as a key part to guide the
optimization of XAIFooler that satisfies all the requirements for explanation
similarity measure. Extensive experiments on real-world text datasets
demonstrate that XAIFooler significantly outperforms all baselines by large
margins in its ability to manipulate LIME's explanations with high semantic
preservability.
- Abstract（参考訳）: LIMEは、医療やファイナンスなど、重要な機械学習アプリケーションに統合される説明可能なAI(XAI)フレームワークにおいて、最も一般的なツールの1つとして登場した。
しかし、テキスト空間の制約のため、特にテキストデータの文脈において、その安定性はほとんど探求されていない。
そこで本研究では,まず,テキストデータに対するlimeの固有不安定性を評価し,ベースラインを確立するとともに,テキスト入力を摂動させ,テキスト摂動最適化問題としてlimeの安定性を問う説明を操る新しいアルゴリズムであるxaifoolerを提案する。
XAIFoolerは、テキストセマンティクスとオリジナルの予測を小さな摂動で保存する制約に準拠しており、説明類似度尺度のすべての要件を満たすXAIFoolerの最適化を導く重要な部分としてランクバイアスオーバーラップ(RBO)を導入している。
実世界のテキストデータセットに関する大規模な実験により、XAIFoolerはLIMEの説明を高いセマンティックな保存性で操作する能力において、すべてのベースラインを大幅に上回ることを示した。
関連論文リスト
- Vulnerability of LLMs to Vertically Aligned Text Manipulations [108.6908427615402]
大規模言語モデル(LLM)は、テキスト分類タスクの実行に非常に効果的である。
エンコーダベースのモデルのために単語を垂直に整列させるような入力形式を変更することは、テキスト分類タスクにおいてかなり精度を低下させる。
デコーダベースのLLMは、垂直フォーマットのテキスト入力と同じような脆弱性を示すか?
論文 参考訳（メタデータ） (2024-10-26T00:16:08Z) - TS-HTFA: Advancing Time Series Forecasting via Hierarchical Text-Free Alignment with Large Language Models [14.411646409316624]
時系列予測の新しい手法である textbfHierarchical textbfText-textbfFree textbfAlignment (textbfTS-HTFA) を導入する。
我々は、QR分解語埋め込みと学習可能なプロンプトに基づいて、ペア化されたテキストデータを適応的な仮想テキストに置き換える。
複数の時系列ベンチマークの実験は、HTFAが最先端のパフォーマンスを達成することを示した。
論文 参考訳（メタデータ） (2024-09-23T12:57:24Z) - SCENE: Evaluating Explainable AI Techniques Using Soft Counterfactuals [0.0]
本稿では,新たな評価手法であるSCENE(Soft Counterfactual Evaluation for Natural Language Explainability)を紹介する。
トークンベースの置換に焦点を当てることで、SCENEは文脈的に適切で意味論的に意味のあるソフトカウンタブルを作成する。
SCENEは様々なXAI技法の強みと限界についての貴重な洞察を提供する。
論文 参考訳（メタデータ） (2024-08-08T16:36:24Z) - CLAIM Your Data: Enhancing Imputation Accuracy with Contextual Large Language Models [0.18416014644193068]
本稿では,精度インプット法(CLAIM)の文脈言語モデルを提案する。
従来の計算法とは異なり、CLAIMは文脈に関連のある自然言語記述子を使用して、欠落した値を埋める。
多様なデータセットや欠落パターンに対する評価は,既存の計算手法よりもCLAIMの方が優れた性能を示している。
論文 参考訳（メタデータ） (2024-05-28T00:08:29Z) - How Well Do Text Embedding Models Understand Syntax? [50.440590035493074]
テキスト埋め込みモデルが幅広い構文的文脈にまたがって一般化する能力は、まだ解明されていない。
その結果,既存のテキスト埋め込みモデルは,これらの構文的理解課題に十分対応していないことが明らかとなった。
多様な構文シナリオにおけるテキスト埋め込みモデルの一般化能力を高めるための戦略を提案する。
論文 参考訳（メタデータ） (2023-11-14T08:51:00Z) - An xAI Approach for Data-to-Text Processing with ASP [39.58317527488534]
本稿では,xAI要求に準拠するフレームワークを提案する。
テキスト記述は階層的に整理され、テキストがさらに詳細で豊かになるトップダウン構造になっている。
自然言語記述の構造の生成も論理規則によって管理される。
論文 参考訳（メタデータ） (2023-08-30T09:09:09Z) - Watermarking Conditional Text Generation for AI Detection: Unveiling
Challenges and a Semantic-Aware Watermark Remedy [52.765898203824975]
本研究では,条件付きテキスト生成と入力コンテキストの特性を考慮した意味認識型透かしアルゴリズムを提案する。
実験結果から,提案手法は様々なテキスト生成モデルに対して大幅な改善をもたらすことが示された。
論文 参考訳（メタデータ） (2023-07-25T20:24:22Z) - Revisiting the Roles of "Text" in Text Games [102.22750109468652]
本稿では,強化学習におけるテキストの役割について検討する。
本稿では,関連するコンテキスト情報を近似状態ハッシュに抽出する簡単な手法を提案する。
このような軽量なプラグインは最先端のテキストエージェントとの競合性能を実現する。
論文 参考訳（メタデータ） (2022-10-15T21:52:39Z) - Mixed-modality Representation Learning and Pre-training for Joint
Table-and-Text Retrieval in OpenQA [85.17249272519626]
最適化された OpenQA Table-Text Retriever (OTTeR) を提案する。
検索中心の混合モード合成事前学習を行う。
OTTeRはOTT-QAデータセット上でのテーブル・アンド・テキスト検索の性能を大幅に改善する。
論文 参考訳（メタデータ） (2022-10-11T07:04:39Z) - SUN: Exploring Intrinsic Uncertainties in Text-to-SQL Parsers [61.48159785138462]
本稿では,ニューラルネットワークに基づくアプローチ(SUN)における本質的な不確かさを探索することにより,テキストから依存への変換性能を向上させることを目的とする。
5つのベンチマークデータセットの大規模な実験により、我々の手法は競合より大幅に優れ、新しい最先端の結果が得られた。
論文 参考訳（メタデータ） (2022-09-14T06:27:51Z) - Why model why? Assessing the strengths and limitations of LIME [0.0]
本稿では,LIME(Local Interpretable Model-Agnostic Explanations) xAIフレームワークの有効性について検討する。
LIMEは、文献で見られる最も人気のあるモデルに依存しないフレームワークの1つである。
従来の性能評価手法を補うためにLIMEをどのように利用できるかを示す。
論文 参考訳（メタデータ） (2020-11-30T21:08:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。