論文の概要: MASE: Interpretable NLP Models via Model-Agnostic Saliency Estimation

• arxiv url: http://arxiv.org/abs/2512.04386v1
• Date: Thu, 04 Dec 2025 02:20:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-05 21:11:45.954939
• Title: MASE: Interpretable NLP Models via Model-Agnostic Saliency Estimation
• Title（参考訳）: MASE:モデル非依存性推定による解釈可能なNLPモデル
• Authors: Zhou Yang, Shunyan Luo, Jiazhen Zhu, Fang Jin,
• Abstract要約: 本稿では,MASE(Model-Agnostic Saliency Estimation)フレームワークを紹介する。 MASEは、モデルの内部アーキテクチャに関する詳細な知識を必要とせずに、テキストベースの予測モデルに局所的な説明を提供する。 本結果は,他のモデルに依存しない解釈手法よりも,特にデルタ精度においてMASEの方が優れていることを示す。
• 参考スコア（独自算出の注目度）: 3.163339926484699
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep neural networks (DNNs) have made significant strides in Natural Language Processing (NLP), yet their interpretability remains elusive, particularly when evaluating their intricate decision-making processes. Traditional methods often rely on post-hoc interpretations, such as saliency maps or feature visualization, which might not be directly applicable to the discrete nature of word data in NLP. Addressing this, we introduce the Model-agnostic Saliency Estimation (MASE) framework. MASE offers local explanations for text-based predictive models without necessitating in-depth knowledge of a model's internal architecture. By leveraging Normalized Linear Gaussian Perturbations (NLGP) on the embedding layer instead of raw word inputs, MASE efficiently estimates input saliency. Our results indicate MASE's superiority over other model-agnostic interpretation methods, especially in terms of Delta Accuracy, positioning it as a promising tool for elucidating the operations of text-based models in NLP.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、自然言語処理(NLP)において大きな進歩を遂げているが、その解釈性は、特に複雑な意思決定プロセスを評価する際には、明らかなままである。 伝統的な手法は、サリエンシマップや特徴視覚化のようなポストホックな解釈に依存しており、NLPにおける単語データの離散的な性質に直接適用できない可能性がある。 これに対応するために、モデル非依存のSaliency Estimation(MASE)フレームワークを紹介します。 MASEは、モデルの内部アーキテクチャに関する詳細な知識を必要とせずに、テキストベースの予測モデルに局所的な説明を提供する。 正規化線形ガウス摂動(NLGP)を生単語入力の代わりに埋め込み層に利用することにより、MASEは入力の精度を効率的に推定する。 以上の結果から,他のモデルに依存しない解釈手法よりも,特にデルタ精度においてMASEの方が優れていることが示唆され,NLPにおけるテキストベースモデルの操作を解明するための有望なツールとして位置づけられた。

関連論文リスト

• Evaluating and Explaining Large Language Models for Code Using Syntactic Structures [74.93762031957883]
  本稿では,コード用大規模言語モデルに特有の説明可能性手法であるASTxplainerを紹介する。 その中核にあるASTxplainerは、トークン予測をASTノードに整合させる自動メソッドを提供する。 私たちは、最も人気のあるGitHubプロジェクトのキュレートデータセットを使用して、コード用の12の人気のあるLLMに対して、実証的な評価を行います。
  論文  参考訳（メタデータ） (2023-08-07T18:50:57Z)
• Generalizing Backpropagation for Gradient-Based Interpretability [103.2998254573497]
  モデルの勾配は、半環を用いたより一般的な定式化の特別な場合であることを示す。 この観測により、バックプロパゲーションアルゴリズムを一般化し、他の解釈可能な統計を効率的に計算することができる。
  論文  参考訳（メタデータ） (2023-07-06T15:19:53Z)
• Large Language Models as Annotators: Enhancing Generalization of NLP Models at Minimal Cost [6.662800021628275]
  入力のアノテートやNLPモデルの一般化のための大言語モデル(LLM)について検討する。 ベースモデルと微調整NLPモデルとの予測スコアの差に基づくサンプリング戦略を提案する。
  論文  参考訳（メタデータ） (2023-06-27T19:29:55Z)
• Augmenting Interpretable Models with LLMs during Training [73.40079895413861]
  本稿では,効率よく解釈可能なモデルを構築するための拡張解釈モデル (Aug-imodels) を提案する。 Aug-imodel は、フィッティング時に LLM を使用するが、推論中に使用せず、完全な透明性を実現する。 自然言語処理におけるAug-imodelのインスタンス化について検討する: (i) Aug-GAM, (ii) Aug-Tree, (ii) LLM機能拡張による決定木の拡大。
  論文  参考訳（メタデータ） (2022-09-23T18:36:01Z)
• Locally Aggregated Feature Attribution on Natural Language Model Understanding [12.233103741197334]
  Locally Aggregated Feature Attribution (LAFA) は、NLPモデルのための新しい勾配に基づく特徴属性法である。 あいまいな参照トークンに頼る代わりに、言語モデル埋め込みから派生した類似参照テキストを集約することで勾配を円滑にする。 評価のために、公開データセット上でのエンティティ認識やセンチメント分析を含む異なるNLPタスクの実験も設計する。
  論文  参考訳（メタデータ） (2022-04-22T18:59:27Z)
• Evaluating the Robustness of Neural Language Models to Input Perturbations [7.064032374579076]
  本研究では,雑音の多い入力テキストをシミュレートするために,文字レベルおよび単語レベルの摂動法を設計し,実装する。 本稿では,BERT,XLNet,RoBERTa,ELMoなどの高性能言語モデルを用いて,入力摂動の異なるタイプの処理能力について検討する。 その結果, 言語モデルは入力摂動に敏感であり, 小さな変化が生じても性能が低下することが示唆された。
  論文  参考訳（メタデータ） (2021-08-27T12:31:17Z)
• Masked Language Modeling and the Distributional Hypothesis: Order Word Matters Pre-training for Little [74.49773960145681]
  マスク言語モデル(MLM)トレーニングの印象的なパフォーマンスの可能な説明は、そのようなモデルがNLPパイプラインで広く普及している構文構造を表現することを学びました。 本稿では,先行訓練がダウンストリームタスクでほぼ完全に成功する理由として,高次単語共起統計をモデル化できることを挙げる。 以上の結果から,純粋分布情報は,事前学習の成功を主に説明し,深い言語知識を必要とする難易度評価データセットのキュレーションの重要性を強調する。
  論文  参考訳（メタデータ） (2021-04-14T06:30:36Z)
• Explaining and Improving Model Behavior with k Nearest Neighbor Representations [107.24850861390196]
  モデルの予測に責任のあるトレーニング例を特定するために, k 近傍表現を提案する。 我々は,kNN表現が学習した素因関係を明らかにするのに有効であることを示す。 以上の結果から,kNN手法により,直交モデルが逆入力に対してより堅牢であることが示唆された。
  論文  参考訳（メタデータ） (2020-10-18T16:55:25Z)
• Interpreting Graph Neural Networks for NLP With Differentiable Edge Masking [63.49779304362376]
  グラフニューラルネットワーク(GNN)は、構造的帰納バイアスをNLPモデルに統合する一般的なアプローチとなっている。 本稿では,不要なエッジを識別するGNNの予測を解釈するポストホック手法を提案する。 モデルの性能を劣化させることなく,多数のエッジを落とせることを示す。
  論文  参考訳（メタデータ） (2020-10-01T17:51:19Z)
• Surrogate Locally-Interpretable Models with Supervised Machine Learning Algorithms [8.949704905866888]
  近年,従来の統計的手法よりも予測性能が優れているため,機械学習アルゴリズムが普及している。 主な焦点は解釈可能性であり、結果として得られるサロゲートモデルは、合理的に優れた予測性能を持つ。
  論文  参考訳（メタデータ） (2020-07-28T23:46:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。