Fugu-MT 論文翻訳(概要): Grad-SAM: Explaining Transformers via Gradient Self-Attention Maps

論文の概要: Grad-SAM: Explaining Transformers via Gradient Self-Attention Maps

arxiv url: http://arxiv.org/abs/2204.11073v1
Date: Sat, 23 Apr 2022 13:56:55 GMT
ステータス: 処理完了
システム内更新日: 2022-04-26 14:54:54.078099
Title: Grad-SAM: Explaining Transformers via Gradient Self-Attention Maps
Title（参考訳）: Grad-SAM: 勾配自己注意マップによるトランスフォーマーの説明
Authors: Oren Barkan, Edan Hauon, Avi Caciularu, Ori Katz, Itzik Malkiel, Omri Armstrong, Noam Koenigstein
Abstract要約: トランスフォーマーベースの言語モデルは、多くの言語タスクにおいて最先端の言語モデルを大きく進歩させた。 Grad-SAMは、自己認識ユニットを分析し、モデルの予測を説明する入力要素を最もよく識別する勾配ベースの手法である。
参考スコア（独自算出の注目度）: 29.25416559343331
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Transformer-based language models significantly advanced the state-of-the-art in many linguistic tasks. As this revolution continues, the ability to explain model predictions has become a major area of interest for the NLP community. In this work, we present Gradient Self-Attention Maps (Grad-SAM) - a novel gradient-based method that analyzes self-attention units and identifies the input elements that explain the model's prediction the best. Extensive evaluations on various benchmarks show that Grad-SAM obtains significant improvements over state-of-the-art alternatives.
Abstract（参考訳）: トランスフォーマーベースの言語モデルは、多くの言語タスクにおいて最先端の技術を著しく進歩させた。この革命が進むにつれて、モデル予測を説明する能力はNLPコミュニティにとって大きな関心事となっている。本研究では, 自己認識単位を解析し, モデルの予測を最もよく説明する入力要素を同定する, グラディエントな自己認識マップ(Grad-SAM)を提案する。様々なベンチマークによる大規模な評価では、Grad-SAMは最先端の代替よりも大幅に改善されている。

関連論文リスト

No Train, all Gain: Self-Supervised Gradients Improve Deep Frozen Representations [30.9134119244757]
FUNGIは、自己教師付き勾配を利用してトランスフォーマーエンコーダの特徴を高める方法である。事前訓練されたモデルがあれば、まず入力毎に様々な自己教師対象からの勾配を計算します。得られた特徴は、視覚からの11データセット、自然言語処理からの5データセット、オーディオからの2データセットの k-nearest 隣の分類に基づいて評価される。
論文参考訳（メタデータ） (2024-07-15T17:58:42Z)
A Transformer Model for Boundary Detection in Continuous Sign Language [55.05986614979846]
Transformerモデルは、分離された手話認識と連続手話認識の両方に使用される。トレーニングプロセスは、入力されたビデオから抽出された手指キーポイントの特徴を豊かにする、孤立した手指ビデオを使用する。トレーニングされたモデルと後処理の手法が組み合わさって、連続した手話ビデオ内の孤立した手話境界を検出する。
論文参考訳（メタデータ） (2024-02-22T17:25:01Z)
Consensus-Adaptive RANSAC [104.87576373187426]
本稿では,パラメータ空間の探索を学習する新しいRANSACフレームワークを提案する。注意機構は、ポイント・ツー・モデル残差のバッチで動作し、軽量のワンステップ・トランスフォーマーで見いだされたコンセンサスを考慮するために、ポイント・ツー・モデル推定状態を更新する。
論文参考訳（メタデータ） (2023-07-26T08:25:46Z)
Generalizing Backpropagation for Gradient-Based Interpretability [103.2998254573497]
モデルの勾配は、半環を用いたより一般的な定式化の特別な場合であることを示す。この観測により、バックプロパゲーションアルゴリズムを一般化し、他の解釈可能な統計を効率的に計算することができる。
論文参考訳（メタデータ） (2023-07-06T15:19:53Z)
ExpPoint-MAE: Better interpretability and performance for self-supervised point cloud transformers [7.725095281624494]
マスク付き自動符号化の有効性を事前学習方式として評価し,代替手段としてMomentum Contrastを探索する。我々は,トランスフォーマーが意味論的に意味のある領域への参加を学ぶことを観察し,事前学習が基礎となる幾何学の理解を深めることを示す。
論文参考訳（メタデータ） (2023-06-19T09:38:21Z)
Training Discrete Deep Generative Models via Gapped Straight-Through Estimator [72.71398034617607]
再サンプリングのオーバーヘッドを伴わずに分散を低減するため, GST (Gapped Straight-Through) 推定器を提案する。この推定子は、Straight-Through Gumbel-Softmaxの本質的な性質に着想を得たものである。実験により,提案したGST推定器は,2つの離散的な深部生成モデリングタスクの強いベースラインと比較して,優れた性能を享受できることが示された。
論文参考訳（メタデータ） (2022-06-15T01:46:05Z)
Survey on Automated Short Answer Grading with Deep Learning: from Word Embeddings to Transformers [5.968260239320591]
教育課題を学生数の増加に拡大する手段として,ASAG (Automated Short answer grading) が教育において注目を集めている。自然言語処理と機械学習の最近の進歩はASAGの分野に大きな影響を与えた。
論文参考訳（メタデータ） (2022-03-11T13:47:08Z)
XAI for Transformers: Better Explanations through Conservative Propagation [60.67748036747221]
変換器の勾配は局所的にのみ関数を反映しており、入力特徴の予測への寄与を確実に識別できないことを示す。我々の提案は、よく確立されたLPP法のトランスフォーマーへの適切な拡張と見なすことができる。
論文参考訳（メタデータ） (2022-02-15T10:47:11Z)
Automated Essay Scoring Using Transformer Models [0.415623340386296]
自動エッセイスコアリング(AES)におけるトランスフォーマーに基づくアプローチの検討本稿では,BOWアプローチに基づくロジスティック回帰モデルと比較し,それらの差について考察する。このようなモデルが、人間のレーダの精度を高めるのにどのように役立つかを示す。
論文参考訳（メタデータ） (2021-10-13T17:09:47Z)
Machine Learning approach for Credit Scoring [0.0]
我々は、最先端の信用格付けとデフォルト予測システムを構築することを目的とした、機械学習モデルのスタックを構築します。私たちのアプローチは、最新のML/AI概念を駆使したものです。
論文参考訳（メタデータ） (2020-07-20T21:29:06Z)
Interpretable Learning-to-Rank with Generalized Additive Models [78.42800966500374]
ラーニング・ツー・ランクのモデルの解釈可能性は、非常に重要でありながら、比較的過小評価されている研究分野である。解釈可能なランキングモデルの最近の進歩は、主に既存のブラックボックスランキングモデルに対するポストホックな説明の生成に焦点を当てている。一般化加法モデル(GAM)をランキングタスクに導入することにより,本質的に解釈可能な学習 to ランクの基盤を築いた。
論文参考訳（メタデータ） (2020-05-06T01:51:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。