論文の概要: Discretized Integrated Gradients for Explaining Language Models

• arxiv url: http://arxiv.org/abs/2108.13654v1
• Date: Tue, 31 Aug 2021 07:36:34 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-02 00:44:16.512710
• Title: Discretized Integrated Gradients for Explaining Language Models
• Title（参考訳）: 言語モデル記述のための離散化統合勾配
• Authors: Soumya Sanyal, Xiang Ren
• Abstract要約: Integrated Gradients (IG) は属性に基づく説明アルゴリズムである。 非線型経路に沿った効果的な帰属を可能にする離散化統合勾配(DIG)を提案する。
• 参考スコア（独自算出の注目度）: 43.2877233809206
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As a prominent attribution-based explanation algorithm, Integrated Gradients (IG) is widely adopted due to its desirable explanation axioms and the ease of gradient computation. It measures feature importance by averaging the model's output gradient interpolated along a straight-line path in the input data space. However, such straight-line interpolated points are not representative of text data due to the inherent discreteness of the word embedding space. This questions the faithfulness of the gradients computed at the interpolated points and consequently, the quality of the generated explanations. Here we propose Discretized Integrated Gradients (DIG), which allows effective attribution along non-linear interpolation paths. We develop two interpolation strategies for the discrete word embedding space that generates interpolation points that lie close to actual words in the embedding space, yielding more faithful gradient computation. We demonstrate the effectiveness of DIG over IG through experimental and human evaluations on multiple sentiment classification datasets. We provide the source code of DIG to encourage reproducible research.
• Abstract（参考訳）: 主観的帰属に基づく説明アルゴリズムとして,その望ましい説明公理と勾配計算の容易さから統合勾配 (ig) が広く採用されている。 入力データ空間の直線経路に沿って補間されたモデルの出力勾配を平均することで、特徴量を測定する。 しかし、このような直線補間点は、単語埋め込み空間の固有離散性のため、テキストデータの代表ではない。 このことは、補間点で計算された勾配の忠実さと、結果として生成された説明の質に疑問を呈する。 本稿では、非線形補間経路に沿った効果的な帰属を可能にする離散化統合勾配(DIG)を提案する。 埋め込み空間内の実際の単語に近接する補間点を生成し,より忠実な勾配計算を行う離散単語埋め込み空間に対する補間戦略を2つ開発する。 複数の感情分類データセットを用いた実験および人的評価により,DIGのIGに対する効果を示す。 我々は再現可能な研究を促進するためにDIGのソースコードを提供する。

関連論文リスト

• Thinner Latent Spaces: Detecting dimension and imposing invariance through autoencoder gradient constraints [9.380902608139902]
  ネットワークの潜在層内の直交関係を利用して、非線形多様体データセットの内在次元性を推定できることを示す。 微分幾何学に依拠する関係理論を概説し、対応する勾配偏光最適化アルゴリズムについて述べる。
  論文  参考訳（メタデータ） (2024-08-28T20:56:35Z)
• Neural Gradient Learning and Optimization for Oriented Point Normal Estimation [53.611206368815125]
  本研究では,3次元点雲から勾配ベクトルを一貫した向きで学習し,正規推定を行うためのディープラーニング手法を提案する。 局所平面幾何に基づいて角距離場を学習し、粗勾配ベクトルを洗練する。 本手法は,局所特徴記述の精度と能力の一般化を図りながら,グローバル勾配近似を効率的に行う。
  論文  参考訳（メタデータ） (2023-09-17T08:35:11Z)
• The Manifold Hypothesis for Gradient-Based Explanations [55.01671263121624]
  勾配に基づく説明アルゴリズムは知覚的に整合した説明を提供する。 特徴属性がデータの接する空間と一致しているほど、知覚的に一致している傾向にあることを示す。 説明アルゴリズムは、その説明をデータ多様体と整合させるよう積極的に努力すべきである。
  論文  参考訳（メタデータ） (2022-06-15T08:49:24Z)
• Geometrically Guided Integrated Gradients [0.3867363075280543]
  我々は「幾何学的誘導積分勾配」と呼ばれる解釈可能性法を導入する。 提案手法は,入力の複数のスケールバージョンからモデルの動的挙動を探索し,各入力に対する最適な属性をキャプチャする。 また,従来のモデルランダム化試験を補完する「モデル摂動」正当性チェックを提案する。
  論文  参考訳（メタデータ） (2022-06-13T05:05:43Z)
• Revisiting Latent-Space Interpolation via a Quantitative Evaluation Framework [14.589372535816619]
  本稿では,意味的連続属性をラベル付けしたデータを用いて,潜在空間アルゴリズムの定量的評価を行う方法について述べる。 我々のフレームワークは、標準的な定性比較を補完するために使用することができ、また、視覚化が難しい領域(グラフなど)の評価も可能である。
  論文  参考訳（メタデータ） (2021-10-13T01:01:42Z)
• Cogradient Descent for Dependable Learning [64.02052988844301]
  双線形最適化問題に対処するために,CoGDアルゴリズムに基づく信頼度の高い学習法を提案する。 CoGDは、ある変数がスパーシティ制約を持つ場合の双線形問題を解くために導入された。 また、特徴と重みの関連を分解するためにも使用できるため、畳み込みニューラルネットワーク(CNN)をより良く訓練するための我々の手法をさらに一般化することができる。
  論文  参考訳（メタデータ） (2021-06-20T04:28:20Z)
• Cogradient Descent for Bilinear Optimization [124.45816011848096]
  双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。 一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。 本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
  論文  参考訳（メタデータ） (2020-06-16T13:41:54Z)
• Spatial Pyramid Based Graph Reasoning for Semantic Segmentation [67.47159595239798]
  セマンティックセグメンテーションタスクにグラフ畳み込みを適用し、改良されたラプラシアンを提案する。 グラフ推論は、空間ピラミッドとして構成された元の特徴空間で直接実行される。 計算とメモリのオーバーヘッドの利点で同等のパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2020-03-23T12:28:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。