論文の概要: Evaluating the Effectiveness of XAI Techniques for Encoder-Based Language Models

• arxiv url: http://arxiv.org/abs/2501.15374v1
• Date: Sun, 26 Jan 2025 03:08:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-28 13:59:41.930315
• Title: Evaluating the Effectiveness of XAI Techniques for Encoder-Based Language Models
• Title（参考訳）: エンコーダに基づく言語モデルにおけるXAI手法の有効性の評価
• Authors: Melkamu Abay Mersha, Mesay Gemeda Yigezu, Jugal Kalita,
• Abstract要約: 本研究は,人間関係協定(HA),ロバスト性,一貫性,コントラスト性という,4つの主要な指標を用いた一般的な評価枠組みを提案する。 5種類のXAIカテゴリから6つの説明可能性手法の有効性を評価した。 その結果,モデルの単純化に基づくXAI法(LIME)は,複数の指標やモデルに対して一貫して優れていた。
• 参考スコア（独自算出の注目度）: 6.349503549199403
• License:
• Abstract: The black-box nature of large language models (LLMs) necessitates the development of eXplainable AI (XAI) techniques for transparency and trustworthiness. However, evaluating these techniques remains a challenge. This study presents a general evaluation framework using four key metrics: Human-reasoning Agreement (HA), Robustness, Consistency, and Contrastivity. We assess the effectiveness of six explainability techniques from five different XAI categories model simplification (LIME), perturbation-based methods (SHAP), gradient-based approaches (InputXGradient, Grad-CAM), Layer-wise Relevance Propagation (LRP), and attention mechanisms-based explainability methods (Attention Mechanism Visualization, AMV) across five encoder-based language models: TinyBERT, BERTbase, BERTlarge, XLM-R large, and DeBERTa-xlarge, using the IMDB Movie Reviews and Tweet Sentiment Extraction (TSE) datasets. Our findings show that the model simplification-based XAI method (LIME) consistently outperforms across multiple metrics and models, significantly excelling in HA with a score of 0.9685 on DeBERTa-xlarge, robustness, and consistency as the complexity of large language models increases. AMV demonstrates the best Robustness, with scores as low as 0.0020. It also excels in Consistency, achieving near-perfect scores of 0.9999 across all models. Regarding Contrastivity, LRP performs the best, particularly on more complex models, with scores up to 0.9371.
• Abstract（参考訳）: 大規模言語モデル(LLM)のブラックボックスの性質は、透明性と信頼性のためのeXplainable AI(XAI)技術の開発を必要とする。 しかし、これらの手法の評価は依然として課題である。 本研究は,人間関係協定(HA),ロバスト性,一貫性,コントラスト性という,4つの主要な指標を用いた一般的な評価枠組みを提案する。 IMDB Movie Reviews と Tweet Sentiment extract (TSE) を用いた,5つのエンコーダベース言語モデル(TinyBERT, BERTbase, BERTlarge, BERTlarge, XLM-R large, DeBERTa-xlarge, IMDB Movie Reviews と Tweet Sentiment extract (TSE) のデータセットを用いた,5種類のXAIカテゴリモデル単純化(LIME), 摂動ベース手法(SHAP), 勾配ベースアプローチ(InputXGradient, Grad-CAM), レイヤワイド・レバレンス・プロパゲーション(LRP), 注意機構に基づく説明可能性手法(Attention Mechanism Visualization Visualization, AMV) による6つの説明可能性手法の有効性を評価した。 その結果,モデル単純化に基づくXAI法(LIME)は,大規模言語モデルの複雑性が増大するにつれて,DeBERTa-xlargeのスコア0.9685,ロバスト性,一貫性など,複数の指標やモデルで一貫して優れることがわかった。 AMVは最高のロバスト性を示し、スコアは0.0020である。 一貫性も優れており、全モデルで0.9999のほぼ完全なスコアを達成している。 対照的性に関して、LPPは特により複雑なモデルにおいて最高のパフォーマンスを示し、スコアは0.9371までである。

関連論文リスト

• IMPACTX: Improving Model Performance by Appropriately predicting CorrecT eXplanations [0.0]
  IMPACTXは、完全に自動化された注意機構としてXAIを活用する新しいアプローチである。 外部XAIメソッドに頼ることなく、モデルの判断に適切な機能属性マップを提供する。
  論文  参考訳（メタデータ） (2025-02-17T14:15:20Z)
• A Statistical Framework for Ranking LLM-Based Chatbots [57.59268154690763]
  本稿では、ペア比較分析における特定の課題に対処するために、重要な進歩を取り入れた統計フレームワークを提案する。 まず,人力比較のグルーピング処理能力を高める要因付きタイモデルを提案する。 第2に、フレームワークを拡張して、競合間の共分散層をモデル化することで、パフォーマンス関係に関するより深い洞察を可能にします。 第三に、パラメータ非特異性に起因する最適化の課題を、新しい制約を導入することで解決する。
  論文  参考訳（メタデータ） (2024-12-24T12:54:19Z)
• Linear Discriminant Analysis in Credit Scoring: A Transparent Hybrid Model Approach [9.88281854509076]
  特徴量削減手法として線形判別分析 (LDA) を実装し, モデルの複雑さの軽減を図る。 我々のハイブリッドモデルであるXG-DNNは、99.45%の精度と99%のF1スコアでLDAを上回りました。 モデル決定を解釈するために、LIME (local) と Morris Sensitivity Analysis (global) という2つの異なる説明可能なAI技術を適用した。
  論文  参考訳（メタデータ） (2024-12-05T14:21:18Z)
• Critical Tokens Matter: Token-Level Contrastive Estimation Enhances LLM's Reasoning Capability [53.51560766150442]
  臨界トークンは推論軌道内の要素であり、誤った結果に大きな影響を及ぼす。 本稿では,これらのトークンをロールアウトサンプリングによって識別する新しいフレームワークを提案する。 クリティカルトークンの識別と置換がモデル精度を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2024-11-29T18:58:22Z)
• Automatic Evaluation for Text-to-image Generation: Task-decomposed Framework, Distilled Training, and Meta-evaluation Benchmark [62.58869921806019]
  GPT-4oに基づくタスク分解評価フレームワークを提案し、新しいトレーニングデータセットを自動構築する。 我々は、GPT-4oの評価能力を7BオープンソースMLLM、MiniCPM-V-2.6に効果的に蒸留するための革新的なトレーニング戦略を設計する。 実験結果から,我々の蒸留したオープンソースMLLMは,現在のGPT-4oベースラインよりも有意に優れていた。
  論文  参考訳（メタデータ） (2024-11-23T08:06:06Z)
• Can Large Language Model Predict Employee Attrition? [0.0]
  本研究では,GPT-3.5モデルの予測精度と解釈可能性について,従来の機械学習(ML)と比較した。 GPT-3.5の精度は0.91、リコールは0.94、F1スコアは0.92、SVMはF1スコアは0.82、ランダムフォレストとXGBoostは0.80である。
  論文  参考訳（メタデータ） (2024-11-02T19:50:39Z)
• Enhancing Authorship Attribution through Embedding Fusion: A Novel Approach with Masked and Encoder-Decoder Language Models [0.0]
  本稿では,AI生成テキストと人間認証テキストを区別するために,事前学習言語モデルからのテキスト埋め込みを用いた新しいフレームワークを提案する。 提案手法では, Embedding Fusion を用いて複数の言語モデルからの意味情報を統合し,その補完的強みを利用して性能を向上させる。
  論文  参考訳（メタデータ） (2024-11-01T07:18:27Z)
• SynthTree: Co-supervised Local Model Synthesis for Explainable Prediction [15.832975722301011]
  本稿では,最小限の精度で説明可能性を向上させる手法を提案する。 我々は,AI技術を利用してノードを推定する新しい手法を開発した。 我々の研究は、統計的方法論が説明可能なAIを前進させる上で重要な役割を担っている。
  論文  参考訳（メタデータ） (2024-06-16T14:43:01Z)
• QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
  モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。 QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。 例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
  論文  参考訳（メタデータ） (2023-11-06T00:21:44Z)
• Plex: Towards Reliability using Pretrained Large Model Extensions [69.13326436826227]
  我々は,視覚と言語モダリティのための事前訓練された大規模モデル拡張であるViT-PlexとT5-Plexを開発した。 Plexは信頼性タスク間の最先端性を大幅に改善し、従来のプロトコルを単純化する。 最大1Bパラメータまでのモデルサイズに対するスケーリング効果と,最大4B例までのデータセットサイズを事前トレーニングした。
  論文  参考訳（メタデータ） (2022-07-15T11:39:37Z)
• Sparse MoEs meet Efficient Ensembles [49.313497379189315]
  このようなモデルの2つの一般的なクラス、すなわちニューラルネットワークのアンサンブルと専門家のスパースミックス(スパースMoE)の相互作用について研究する。 Efficient Ensemble of Experts (E$3$)は、両モデルのクラスを最大限に活用するスケーラブルでシンプルなMoEのアンサンブルであり、深いアンサンブルよりも最大45%少ないFLOPを使用する。
  論文  参考訳（メタデータ） (2021-10-07T11:58:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。