論文の概要: Reversed Attention: On The Gradient Descent Of Attention Layers In GPT

• arxiv url: http://arxiv.org/abs/2412.17019v1
• Date: Sun, 22 Dec 2024 13:48:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 15:59:46.674381
• Title: Reversed Attention: On The Gradient Descent Of Attention Layers In GPT
• Title（参考訳）: 逆アテンション:GPTのアテンションレイヤーのグラディエントDescentについて
• Authors: Shahar Katz, Lior Wolf,
• Abstract要約: 我々は、後ろ向きの注意パスの数学を研究し、それが「逆注意」と呼ぶ注意行列を暗黙的に計算することを明らかにする。 実験的な設定では,モデルの重みを変更することなく,前向きの注意パスを直接変更することができる。 LMがバックプロパゲーション中に注意層を構成する方法の理解を深めるだけでなく、Reversed Attention Mapはより解釈可能な後方パスに寄与する。
• 参考スコア（独自算出の注目度）: 55.2480439325792
• License:
• Abstract: The success of Transformer-based Language Models (LMs) stems from their attention mechanism. While this mechanism has been extensively studied in explainability research, particularly through the attention values obtained during the forward pass of LMs, the backward pass of attention has been largely overlooked. In this work, we study the mathematics of the backward pass of attention, revealing that it implicitly calculates an attention matrix we refer to as "Reversed Attention". We examine the properties of Reversed Attention and demonstrate its ability to elucidate the models' behavior and edit dynamics. In an experimental setup, we showcase the ability of Reversed Attention to directly alter the forward pass of attention, without modifying the model's weights, using a novel method called "attention patching". In addition to enhancing the comprehension of how LM configure attention layers during backpropagation, Reversed Attention maps contribute to a more interpretable backward pass.
• Abstract（参考訳）: Transformer-based Language Models (LM) の成功は、その注意機構に由来する。 このメカニズムは、説明可能性の研究、特にLMの前方通過で得られた注意値を通じて広範囲に研究されてきたが、後向きの注意の通過は概ね見過ごされている。 本研究では,後ろ向きの注意パスの数学を考察し,それが「逆注意」と呼ぶ注意行列を暗黙的に計算することを明らかにする。 本稿では,Reversed Attentionの特性を検証し,モデルの振る舞いを解明し,ダイナミックスを編集する能力を示す。 実験では,「アテンションパッチング」と呼ばれる新しい手法を用いて,モデルの重みを変更することなく,アテンションの前方通過を直接修正する能力を示す。 LMがバックプロパゲーション中に注意層を構成する方法の理解を深めるだけでなく、Reversed Attention Mapはより解釈可能な後方パスに寄与する。

関連論文リスト

• When Attention Sink Emerges in Language Models: An Empirical View [39.36282162213973]
  言語モデル(LM)は、意味的に重要でない場合でも、最初のトークンに注意を向ける。 この現象は、ストリーミング/ロングコンテキスト生成、KVキャッシュ最適化、推論アクセラレーション、モデル量子化などのアプリケーションで広く採用されている。 我々はまず、小さなモデルであっても様々な入力を持つLMにおいて、注意シンクが普遍的に存在することを実証した。
  論文  参考訳（メタデータ） (2024-10-14T17:50:28Z)
• Attention Meets Post-hoc Interpretability: A Mathematical Perspective [6.492879435794228]
  簡単な注意に基づくアーキテクチャを数学的に研究し、ポストホックとアテンションに基づく説明の違いを指摘する。 それらとは全く異なる結果が得られており、その制限にもかかわらず、ポストホック法は単に注意重みを調べるだけでなく、より有用な洞察を捉えることができることを示した。
  論文  参考訳（メタデータ） (2024-02-05T19:56:56Z)
• AiATrack: Attention in Attention for Transformer Visual Tracking [89.94386868729332]
  トランスフォーマートラッカーは近年,注目機構が重要な役割を担っている,目覚ましい進歩を遂げている。 我々は,すべての相関ベクトル間のコンセンサスを求めることにより,適切な相関性を高め,誤相関を抑制する注意モジュール(AiA)を提案する。 我々のAiAモジュールは自己認識ブロックとクロスアテンションブロックの両方に容易に適用でき、視覚追跡のための特徴集約と情報伝達を容易にする。
  論文  参考訳（メタデータ） (2022-07-20T00:44:03Z)
• Guiding Visual Question Answering with Attention Priors [76.21671164766073]
  本稿では,言語・視覚的接地による注意機構の導出について述べる。 この基礎は、クエリ内の構造化言語概念を視覚オブジェクト間の参照物に接続することで導かれる。 このアルゴリズムは、注意に基づく推論モデルを調べ、関連する連想的知識を注入し、コア推論プロセスを制御する。
  論文  参考訳（メタデータ） (2022-05-25T09:53:47Z)
• Attention cannot be an Explanation [99.37090317971312]
  私たちは、人間の信頼と信頼を高める上で、注意に基づく説明がどの程度効果的か尋ねる。 我々は,注意に基づく説明が適している程度を質的かつ定量的に評価することを目的とした広範囲な人間実験を行った。 実験の結果,注意は説明として利用できないことが明らかとなった。
  論文  参考訳（メタデータ） (2022-01-26T21:34:05Z)
• SparseBERT: Rethinking the Importance Analysis in Self-attention [107.68072039537311]
  トランスフォーマーベースのモデルは、その強力な能力のために自然言語処理(NLP)タスクに人気がある。 事前学習モデルの注意マップの可視化は,自己着脱機構を理解するための直接的な方法の一つである。 本研究では,sparsebert設計の指導にも適用可能な微分可能アテンションマスク(dam)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-25T14:13:44Z)
• Why Attentions May Not Be Interpretable? [46.69116768203185]
  近年の研究では、注目・重要解釈は期待どおりに機能しないことが多いことが判明した。 この現象の根本原因の一つがショートカットであり、注意重み自体が余分な情報を運ぶ可能性があることを示している。 この問題を緩和する2つの方法を提案する。
  論文  参考訳（メタデータ） (2020-06-10T05:08:30Z)
• Staying True to Your Word: (How) Can Attention Become Explanation? [0.17767466724342063]
  シーケンス分類タスクにおいて、繰り返しネットワークを使用する場合、注意が適切な批判を見る理由について説明する。 本稿では,これらの問題に対して,単語レベルの客観的な対処法を提案する。
  論文  参考訳（メタデータ） (2020-05-19T11:55:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。