論文の概要: Uniform Discretized Integrated Gradients: An effective attribution based method for explaining large language models

• arxiv url: http://arxiv.org/abs/2412.03886v1
• Date: Thu, 05 Dec 2024 05:39:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-06 14:42:41.397523
• Title: Uniform Discretized Integrated Gradients: An effective attribution based method for explaining large language models
• Title（参考訳）: 統一離散化統合グラディエント:大規模言語モデル記述のための効果的な帰属法
• Authors: Swarnava Sinha Roy, Ayan Kundu,
• Abstract要約: 統合グラディエンス(Integrated Gradients)は、ディープラーニングモデルを説明するテクニックとしてよく知られている。 本稿では,UDIG(Uniform Discretized Integrated Gradients)と呼ばれる手法を提案する。 本手法は,2種類のNLPタスクに対して,3つのメトリクスビズログオッズ,包括性,十分性に対する感性分類と質問応答について検討した。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Integrated Gradients is a well-known technique for explaining deep learning models. It calculates feature importance scores by employing a gradient based approach computing gradients of the model output with respect to input features and accumulating them along a linear path. While this works well for continuous features spaces, it may not be the most optimal way to deal with discrete spaces like word embeddings. For interpreting LLMs (Large Language Models), there exists a need for a non-linear path where intermediate points, whose gradients are to be computed, lie close to actual words in the embedding space. In this paper, we propose a method called Uniform Discretized Integrated Gradients (UDIG) based on a new interpolation strategy where we choose a favorable nonlinear path for computing attribution scores suitable for predictive language models. We evaluate our method on two types of NLP tasks- Sentiment Classification and Question Answering against three metrics viz Log odds, Comprehensiveness and Sufficiency. For sentiment classification, we have used the SST2, IMDb and Rotten Tomatoes datasets for benchmarking and for Question Answering, we have used the fine-tuned BERT model on SQuAD dataset. Our approach outperforms the existing methods in almost all the metrics.
• Abstract（参考訳）: 統合グラディエンス(Integrated Gradients)は、ディープラーニングモデルを説明するテクニックとしてよく知られている。 入力特徴に対するモデル出力の勾配に基づくアプローチ勾配を用いて特徴重要性スコアを計算し、それらを線形経路に沿って蓄積する。 これは連続的な特徴空間でうまく機能するが、単語埋め込みのような離散空間を扱う最も最適な方法ではないかもしれない。 LLM(Large Language Models)を解釈するためには、勾配を計算すべき中間点が埋め込み空間の実際の単語に近接する非線形パスが必要である。 本稿では,一様離散化統合勾配法(UDIG, Uniform Discretized Integrated Gradients)という手法を提案する。 本手法は,2種類のNLPタスクに対して,3つのメトリクスビズログオッズ,包括性,十分性に対する感性分類と質問応答について検討した。 感情分類には、SST2、IMDb、Rotten Tomatoesのデータセットをベンチマークに使用し、質問回答には、SQuADデータセット上の細調整BERTモデルを使用しました。 当社のアプローチは,既存のメソッドをほぼすべてのメトリクスで上回ります。

関連論文リスト

• Class Gradient Projection For Continual Learning [99.105266615448]
  破滅的な忘れは継続的学習(CL)における最も重要な課題の1つです。 タスクではなく個々のクラスから勾配部分空間を計算するクラスグラディエント・プロジェクション(CGP)を提案する。
  論文  参考訳（メタデータ） (2023-11-25T02:45:56Z)
• GRANDE: Gradient-Based Decision Tree Ensembles for Tabular Data [9.107782510356989]
  そこで本研究では,エンドツーエンドの勾配勾配勾配を用いた軸方向決定木アンサンブルの学習手法を提案する。 Grandeはツリーアンサンブルの密度の高い表現に基づいており、ストレートスルー演算子でバックプロパゲーションを使用することができる。 提案手法は,ほとんどのデータセットにおいて,既存の勾配ブースティングおよびディープラーニングフレームワークよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-09-29T10:49:14Z)
• The Languini Kitchen: Enabling Language Modelling Research at Different Scales of Compute [66.84421705029624]
  本稿では,アクセル時間で測定された等価計算に基づくモデル比較を可能にする実験的プロトコルを提案する。 私たちは、既存の学術的ベンチマークを上回り、品質、多様性、文書の長さで上回る、大規模で多様で高品質な書籍データセットを前処理します。 この研究は、GPT-2アーキテクチャから派生したフィードフォワードモデルと、10倍のスループットを持つ新しいLSTMの形式でのリカレントモデルという2つのベースラインモデルも提供する。
  論文  参考訳（メタデータ） (2023-09-20T10:31:17Z)
• Neural Gradient Learning and Optimization for Oriented Point Normal Estimation [53.611206368815125]
  本研究では,3次元点雲から勾配ベクトルを一貫した向きで学習し,正規推定を行うためのディープラーニング手法を提案する。 局所平面幾何に基づいて角距離場を学習し、粗勾配ベクトルを洗練する。 本手法は,局所特徴記述の精度と能力の一般化を図りながら,グローバル勾配近似を効率的に行う。
  論文  参考訳（メタデータ） (2023-09-17T08:35:11Z)
• Geometrically Guided Integrated Gradients [0.3867363075280543]
  我々は「幾何学的誘導積分勾配」と呼ばれる解釈可能性法を導入する。 提案手法は,入力の複数のスケールバージョンからモデルの動的挙動を探索し,各入力に対する最適な属性をキャプチャする。 また,従来のモデルランダム化試験を補完する「モデル摂動」正当性チェックを提案する。
  論文  参考訳（メタデータ） (2022-06-13T05:05:43Z)
• Bi-level Alignment for Cross-Domain Crowd Counting [113.78303285148041]
  現在の手法は、補助的なタスクを訓練したり、高価な粗大な見積もりを適用したりするための外部データに依存している。 そこで我々は, 簡易かつ効率的に適用可能な, 逆学習に基づく新しい手法を開発した。 実世界の5つのクラウドカウントベンチマークに対するアプローチを評価し、既存のアプローチを大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2022-05-12T02:23:25Z)
• Locally Aggregated Feature Attribution on Natural Language Model Understanding [12.233103741197334]
  Locally Aggregated Feature Attribution (LAFA) は、NLPモデルのための新しい勾配に基づく特徴属性法である。 あいまいな参照トークンに頼る代わりに、言語モデル埋め込みから派生した類似参照テキストを集約することで勾配を円滑にする。 評価のために、公開データセット上でのエンティティ認識やセンチメント分析を含む異なるNLPタスクの実験も設計する。
  論文  参考訳（メタデータ） (2022-04-22T18:59:27Z)
• Efficient Nearest Neighbor Language Models [114.40866461741795]
  非パラメトリックニューラルネットワークモデル(NLM)は、外部データストアを用いてテキストの予測分布を学習する。 比較性能を維持しながら、推論速度の最大6倍の高速化を実現する方法を示す。
  論文  参考訳（メタデータ） (2021-09-09T12:32:28Z)
• Discretized Integrated Gradients for Explaining Language Models [43.2877233809206]
  Integrated Gradients (IG) は属性に基づく説明アルゴリズムである。 非線型経路に沿った効果的な帰属を可能にする離散化統合勾配(DIG)を提案する。
  論文  参考訳（メタデータ） (2021-08-31T07:36:34Z)
• Differentiable Segmentation of Sequences [2.1485350418225244]
  我々は、連続的なワープ関数の学習の進歩の上に構築し、双方向パワー(TSP)分布に基づく新しいワープ関数のファミリーを提案する。 我々の定式化は特別な場合として分割一般化線型モデルの重要なクラスを含む。 我々は、PoissonレグレッションによるCOVID-19の拡散をモデル化し、変化点検出タスクに適用し、概念ドリフトによる分類モデルを学習する。
  論文  参考訳（メタデータ） (2020-06-23T15:51:48Z)
• Spatial Pyramid Based Graph Reasoning for Semantic Segmentation [67.47159595239798]
  セマンティックセグメンテーションタスクにグラフ畳み込みを適用し、改良されたラプラシアンを提案する。 グラフ推論は、空間ピラミッドとして構成された元の特徴空間で直接実行される。 計算とメモリのオーバーヘッドの利点で同等のパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2020-03-23T12:28:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。