論文の概要: Locally Aggregated Feature Attribution on Natural Language Model Understanding

• arxiv url: http://arxiv.org/abs/2204.10893v2
• Date: Tue, 26 Apr 2022 01:09:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-27 10:25:47.738736
• Title: Locally Aggregated Feature Attribution on Natural Language Model Understanding
• Title（参考訳）: 自然言語モデル理解における局所的特徴の帰属
• Authors: Sheng Zhang, Jin Wang, Haitao Jiang, Rui Song
• Abstract要約: Locally Aggregated Feature Attribution (LAFA) は、NLPモデルのための新しい勾配に基づく特徴属性法である。 あいまいな参照トークンに頼る代わりに、言語モデル埋め込みから派生した類似参照テキストを集約することで勾配を円滑にする。 評価のために、公開データセット上でのエンティティ認識やセンチメント分析を含む異なるNLPタスクの実験も設計する。
• 参考スコア（独自算出の注目度）: 12.233103741197334
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the growing popularity of deep-learning models, model understanding becomes more important. Much effort has been devoted to demystify deep neural networks for better interpretability. Some feature attribution methods have shown promising results in computer vision, especially the gradient-based methods where effectively smoothing the gradients with reference data is key to a robust and faithful result. However, direct application of these gradient-based methods to NLP tasks is not trivial due to the fact that the input consists of discrete tokens and the "reference" tokens are not explicitly defined. In this work, we propose Locally Aggregated Feature Attribution (LAFA), a novel gradient-based feature attribution method for NLP models. Instead of relying on obscure reference tokens, it smooths gradients by aggregating similar reference texts derived from language model embeddings. For evaluation purpose, we also design experiments on different NLP tasks including Entity Recognition and Sentiment Analysis on public datasets as well as key feature detection on a constructed Amazon catalogue dataset. The superior performance of the proposed method is demonstrated through experiments.
• Abstract（参考訳）: ディープラーニングモデルの人気が高まり、モデル理解がより重要になる。 深いニューラルネットワークを解釈しやすくするために、多くの努力が注がれている。 いくつかの特徴帰属法はコンピュータビジョンにおいて有望な結果を示しており、特に基準データによる勾配の円滑化が堅牢で忠実な結果の鍵となっている。 しかし、nlpタスクへの勾配に基づくメソッドの直接適用は、入力が離散トークンで構成され、「参照」トークンが明示的に定義されていないため、自明ではない。 本研究では,NLPモデルのための新しい勾配に基づく特徴属性法である局所集約特徴属性(LAFA)を提案する。 あいまいな参照トークンに頼る代わりに、言語モデル埋め込みから派生した類似参照テキストを集約することで勾配を滑らかにする。 評価目的として,公開データセットのエンティティ認識や感情分析,構築したamazonカタログデータセットにおけるキー特徴検出など,さまざまなnlpタスクに関する実験も設計する。 提案手法の優れた性能を実験により実証した。

関連論文リスト

• Co-training for Low Resource Scientific Natural Language Inference [65.37685198688538]
  遠隔教師付きラベルに分類器のトレーニング力学に基づいて重みを割り当てる新しいコトレーニング手法を提案する。 予測された信頼度に対する任意のしきい値に基づいてサンプルをフィルタリングするのではなく、重要重みを割り当てることにより、自動ラベル付きデータの使用を最大化する。 提案手法は、遠隔監視ベースラインに対するマクロF1の1.5%の改善と、他の強力なSSLベースラインよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2024-06-20T18:35:47Z)
• Influence Scores at Scale for Efficient Language Data Sampling [3.072340427031969]
  影響スコア」は、データの重要なサブセットを特定するために使われる。 本稿では,言語分類タスクにおける影響スコアの適用性について検討する。
  論文  参考訳（メタデータ） (2023-11-27T20:19:22Z)
• Generalizing Backpropagation for Gradient-Based Interpretability [103.2998254573497]
  モデルの勾配は、半環を用いたより一般的な定式化の特別な場合であることを示す。 この観測により、バックプロパゲーションアルゴリズムを一般化し、他の解釈可能な統計を効率的に計算することができる。
  論文  参考訳（メタデータ） (2023-07-06T15:19:53Z)
• Tell Model Where to Attend: Improving Interpretability of Aspect-Based Sentiment Classification via Small Explanation Annotations [23.05672636220897]
  我々はtextbfInterpretation-textbfEnhanced textbfGradient-based framework for textbfABSC を提案する。 我々のモデルは、既存のABSCメソッドや他のタスクに統合できるように、モデル非依存およびタスク非依存である。
  論文  参考訳（メタデータ） (2023-02-21T06:55:08Z)
• Modeling Multi-Granularity Hierarchical Features for Relation Extraction [26.852869800344813]
  本稿では,原文のみに基づく多粒度特徴抽出手法を提案する。 外部知識を必要とせずに,効果的な構造的特徴が達成可能であることを示す。
  論文  参考訳（メタデータ） (2022-04-09T09:44:05Z)
• Combining Feature and Instance Attribution to Detect Artifacts [62.63504976810927]
  トレーニングデータアーティファクトの識別を容易にする手法を提案する。 提案手法は,トレーニングデータのアーティファクトの発見に有効であることを示す。 我々は,これらの手法が実際にNLP研究者にとって有用かどうかを評価するために,小規模なユーザスタディを実施している。
  論文  参考訳（メタデータ） (2021-07-01T09:26:13Z)
• Visualization of Supervised and Self-Supervised Neural Networks via Attribution Guided Factorization [87.96102461221415]
  クラスごとの説明性を提供するアルゴリズムを開発した。 実験の広範なバッテリーでは、クラス固有の可視化のための手法の能力を実証する。
  論文  参考訳（メタデータ） (2020-12-03T18:48:39Z)
• Interpretable Multi-dataset Evaluation for Named Entity Recognition [110.64368106131062]
  本稿では,名前付きエンティティ認識(NER)タスクに対する一般的な評価手法を提案する。 提案手法は,モデルとデータセットの違いと,それらの間の相互作用を解釈することを可能にする。 分析ツールを利用可能にすることで、将来の研究者が同様の分析を実行し、この分野の進歩を促進することができる。
  論文  参考訳（メタデータ） (2020-11-13T10:53:27Z)
• Gradient-based Analysis of NLP Models is Manipulable [44.215057692679494]
  モデルの勾配は容易に操作可能であることを実証し、勾配に基づく解析の信頼性に疑問を呈する。 特に、ターゲットモデルの層をファサードとマージし、予測に影響を与えることなく勾配を圧倒する。
  論文  参考訳（メタデータ） (2020-10-12T02:54:22Z)
• SEKD: Self-Evolving Keypoint Detection and Description [42.114065439674036]
  ラベルのない自然画像から高度な局所特徴モデルを学ぶための自己教師型フレームワークを提案する。 提案手法は, ホモグラフィー推定, 相対的なポーズ推定, および動きからの構造的タスクについてベンチマークする。 トレーニングされたモデルとともに、コードを公開します。
  論文  参考訳（メタデータ） (2020-06-09T06:56:50Z)
• Coreferential Reasoning Learning for Language Representation [88.14248323659267]
  本稿では,コンテキスト内でコアファーデンシャル関係をキャプチャ可能な新しい言語表現モデルCorefBERTを提案する。 実験の結果,既存のベースラインモデルと比較して,CorefBERTは下流のNLPタスクにおいて一貫した大幅な改善を達成できることがわかった。
  論文  参考訳（メタデータ） (2020-04-15T03:57:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。