論文の概要: Are Your Explanations Reliable? Investigating the Stability of LIME in
Explaining Text Classifiers by Marrying XAI and Adversarial Attack
- arxiv url: http://arxiv.org/abs/2305.12351v2
- Date: Sun, 15 Oct 2023 13:19:44 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-18 05:08:47.402724
- Title: Are Your Explanations Reliable? Investigating the Stability of LIME in
Explaining Text Classifiers by Marrying XAI and Adversarial Attack
- Title(参考訳): あなたの説明は信頼できますか?
xaiと敵対的攻撃によるテキスト分類におけるライムの安定性の検討
- Authors: Christopher Burger, Lingwei Chen, Thai Le
- Abstract要約: LIMEは、説明可能なAI(XAI)フレームワークで最も一般的に参照されるツールの1つとして登場した。
本稿では,テキストデータにおけるLIMEの本質的不安定性をまず評価し,ベースラインを確立する。
次に,テキスト入力を摂動する新しいアルゴリズムXAIFoolerを提案し,テキスト摂動最適化問題としてLIMEの安定性について検討する。
- 参考スコア(独自算出の注目度): 11.437660523661338
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: LIME has emerged as one of the most commonly referenced tools in explainable
AI (XAI) frameworks that is integrated into critical machine learning
applications--e.g., healthcare and finance. However, its stability remains
little explored, especially in the context of text data, due to the unique
text-space constraints. To address these challenges, in this paper, we first
evaluate the inherent instability of LIME on text data to establish a baseline,
and then propose a novel algorithm XAIFooler to perturb text inputs and
manipulate explanations that casts investigation on the stability of LIME as a
text perturbation optimization problem. XAIFooler conforms to the constraints
to preserve text semantics and original prediction with small perturbations,
and introduces Rank-biased Overlap (RBO) as a key part to guide the
optimization of XAIFooler that satisfies all the requirements for explanation
similarity measure. Extensive experiments on real-world text datasets
demonstrate that XAIFooler significantly outperforms all baselines by large
margins in its ability to manipulate LIME's explanations with high semantic
preservability.
- Abstract(参考訳): LIMEは、医療やファイナンスなど、重要な機械学習アプリケーションに統合される説明可能なAI(XAI)フレームワークにおいて、最も一般的なツールの1つとして登場した。
しかし、テキスト空間の制約のため、特にテキストデータの文脈において、その安定性はほとんど探求されていない。
そこで本研究では,まず,テキストデータに対するlimeの固有不安定性を評価し,ベースラインを確立するとともに,テキスト入力を摂動させ,テキスト摂動最適化問題としてlimeの安定性を問う説明を操る新しいアルゴリズムであるxaifoolerを提案する。
XAIFoolerは、テキストセマンティクスとオリジナルの予測を小さな摂動で保存する制約に準拠しており、説明類似度尺度のすべての要件を満たすXAIFoolerの最適化を導く重要な部分としてランクバイアスオーバーラップ(RBO)を導入している。
実世界のテキストデータセットに関する大規模な実験により、XAIFoolerはLIMEの説明を高いセマンティックな保存性で操作する能力において、すべてのベースラインを大幅に上回ることを示した。
関連論文リスト
- Artificial Text Boundary Detection with Topological Data Analysis and
Sliding Window Techniques [7.268650032347209]
我々は,この人工テキスト境界検出問題に対して,様々なアプローチを検討・比較する。
本稿では,RoBERTaモデルの教師付き微調整が,一般に有効であることを示す。
本研究では,凍結言語モデルの埋め込みから抽出した特徴に基づく新しい手法を提案する。
論文 参考訳(メタデータ) (2023-11-14T17:48:19Z) - How Well Do Text Embedding Models Understand Syntax? [50.440590035493074]
テキスト埋め込みモデルが幅広い構文的文脈にまたがって一般化する能力は、まだ解明されていない。
その結果,既存のテキスト埋め込みモデルは,これらの構文的理解課題に十分対応していないことが明らかとなった。
多様な構文シナリオにおけるテキスト埋め込みモデルの一般化能力を高めるための戦略を提案する。
論文 参考訳(メタデータ) (2023-11-14T08:51:00Z) - An xAI Approach for Data-to-Text Processing with ASP [39.58317527488534]
本稿では,xAI要求に準拠するフレームワークを提案する。
テキスト記述は階層的に整理され、テキストがさらに詳細で豊かになるトップダウン構造になっている。
自然言語記述の構造の生成も論理規則によって管理される。
論文 参考訳(メタデータ) (2023-08-30T09:09:09Z) - Watermarking Conditional Text Generation for AI Detection: Unveiling
Challenges and a Semantic-Aware Watermark Remedy [52.765898203824975]
本研究では,条件付きテキスト生成と入力コンテキストの特性を考慮した意味認識型透かしアルゴリズムを提案する。
実験結果から,提案手法は様々なテキスト生成モデルに対して大幅な改善をもたらすことが示された。
論文 参考訳(メタデータ) (2023-07-25T20:24:22Z) - TextFormer: A Query-based End-to-End Text Spotter with Mixed Supervision [72.79006668848186]
Transformerアーキテクチャを用いた問合せベースのエンドツーエンドテキストスポッターであるTextFormerを提案する。
TextFormerは、画像エンコーダとテキストデコーダの上に構築され、マルチタスクモデリングのための共同セマンティック理解を学ぶ。
分類、セグメンテーション、認識のブランチの相互訓練と最適化を可能にし、より深い特徴共有をもたらす。
論文 参考訳(メタデータ) (2023-06-06T03:37:41Z) - Revisiting the Roles of "Text" in Text Games [102.22750109468652]
本稿では,強化学習におけるテキストの役割について検討する。
本稿では,関連するコンテキスト情報を近似状態ハッシュに抽出する簡単な手法を提案する。
このような軽量なプラグインは最先端のテキストエージェントとの競合性能を実現する。
論文 参考訳(メタデータ) (2022-10-15T21:52:39Z) - Mixed-modality Representation Learning and Pre-training for Joint
Table-and-Text Retrieval in OpenQA [85.17249272519626]
最適化された OpenQA Table-Text Retriever (OTTeR) を提案する。
検索中心の混合モード合成事前学習を行う。
OTTeRはOTT-QAデータセット上でのテーブル・アンド・テキスト検索の性能を大幅に改善する。
論文 参考訳(メタデータ) (2022-10-11T07:04:39Z) - SUN: Exploring Intrinsic Uncertainties in Text-to-SQL Parsers [61.48159785138462]
本稿では,ニューラルネットワークに基づくアプローチ(SUN)における本質的な不確かさを探索することにより,テキストから依存への変換性能を向上させることを目的とする。
5つのベンチマークデータセットの大規模な実験により、我々の手法は競合より大幅に優れ、新しい最先端の結果が得られた。
論文 参考訳(メタデータ) (2022-09-14T06:27:51Z) - Differential Privacy for Text Analytics via Natural Text Sanitization [44.95170585853761]
本稿では,本論文のテキスト・サニタイズへの直接的なアプローチとして,新たなローカルDP概念による感度と類似性を考察する。
衛生化されたテキストは、我々の衛生に配慮した事前訓練と微調整にも貢献し、将来性のあるユーティリティを備えたBERT言語モデル上でのプライバシー保護自然言語処理を可能にします。
論文 参考訳(メタデータ) (2021-06-02T15:15:10Z) - Why model why? Assessing the strengths and limitations of LIME [0.0]
本稿では,LIME(Local Interpretable Model-Agnostic Explanations) xAIフレームワークの有効性について検討する。
LIMEは、文献で見られる最も人気のあるモデルに依存しないフレームワークの1つである。
従来の性能評価手法を補うためにLIMEをどのように利用できるかを示す。
論文 参考訳(メタデータ) (2020-11-30T21:08:07Z) - Text as Environment: A Deep Reinforcement Learning Text Readability
Assessment Model [2.826553192869411]
最先端のテキスト可読性評価モデルの効率は、深層強化学習モデルを用いてさらに改善することができる。
WeebitとCambridge ExamsのモデルとBERTテキスト可読性モデルのような最先端のモデルを比較すると、他のモデルよりもはるかに少ない入力テキストで最先端の精度を達成できることが示される。
論文 参考訳(メタデータ) (2019-12-12T13:54:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。