論文の概要: Attend First, Consolidate Later: On the Importance of Attention in Different LLM Layers

• arxiv url: http://arxiv.org/abs/2409.03621v2
• Date: Thu, 31 Oct 2024 09:11:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-07 23:23:02.483908
• Title: Attend First, Consolidate Later: On the Importance of Attention in Different LLM Layers
• Title（参考訳）: Attend First, Consolidate Later: 異なるLDM層における注意の重要性について
• Authors: Amit Ben-Artzy, Roy Schwartz,
• Abstract要約: 本稿では,現在のトークンの計算において,次のレイヤへの入力として,将来のトークンの注意機構への入力として,与えられたレイヤの表現が2つの目的を果たすことを示す。 4つのLDMと4つのタスクを実験したところ、この操作は、しばしば小さくて無視できない性能低下につながることが示されている。 以上の結果から,トランスフォーマーをベースとしたLLMの2段階プロセスが示唆された。
• 参考スコア（独自算出の注目度）: 6.474939955469084
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In decoder-based LLMs, the representation of a given layer serves two purposes: as input to the next layer during the computation of the current token; and as input to the attention mechanism of future tokens. In this work, we show that the importance of the latter role might be overestimated. To show that, we start by manipulating the representations of previous tokens; e.g. by replacing the hidden states at some layer k with random vectors. Our experimenting with four LLMs and four tasks show that this operation often leads to small to negligible drop in performance. Importantly, this happens if the manipulation occurs in the top part of the model-k is in the final 30-50% of the layers. In contrast, doing the same manipulation in earlier layers might lead to chance level performance. We continue by switching the hidden state of certain tokens with hidden states of other tokens from another prompt; e.g., replacing the word "Italy" with "France" in "What is the capital of Italy?". We find that when applying this switch in the top 1/3 of the model, the model ignores it (answering "Rome"). However if we apply it before, the model conforms to the switch ("Paris"). Our results hint at a two stage process in transformer-based LLMs: the first part gathers input from previous tokens, while the second mainly processes that information internally.
• Abstract（参考訳）: デコーダベースのLCMでは、与えられたレイヤの表現は、現在のトークンの計算中に次のレイヤへの入力として、将来のトークンの注意機構への入力として、2つの目的を果たす。 本研究では,後者の役割の重要性が過大評価される可能性があることを示す。 例えば、ある層 k の隠れた状態をランダムなベクトルに置き換えることで、以前のトークンの表現を操作することから始める。 4つのLDMと4つのタスクを実験したところ、この操作は、しばしば小さくて無視できない性能低下につながることが示されている。 重要なことに、モデル-kの上部で操作がおこなわれると、レイヤの最後の30～50%が処理される。 対照的に、以前のレイヤで同じ操作を行うと、チャンスレベルのパフォーマンスにつながる可能性がある。 我々は、あるトークンの隠された状態を他のプロンプトから他のトークンの隠された状態に切り替え、例えば、"Italy" を "What is the capital of Italy?" の "France" に置き換える。 モデルのトップ1/3にこのスイッチを適用すると、モデルはそれを無視する("Rome"を答える)。 しかし、前もってそれを適用すれば、モデルはスイッチ("Paris")に適合する。 以上の結果から,トランスフォーマーをベースとしたLLMにおける2段階のプロセスが示唆された。

関連論文リスト

• FIRP: Faster LLM inference via future intermediate representation prediction [54.897493351694195]
  FIRPはデコードステップ毎に1つではなく複数のトークンを生成する。 いくつかのモデルとデータセットで1.9x-3xのスピードアップ比を示す広範な実験を行った。
  論文  参考訳（メタデータ） (2024-10-27T15:53:49Z)
• Looking Beyond The Top-1: Transformers Determine Top Tokens In Order [13.032106683136394]
  トップ1予測が修正された後、トランスフォーマーが層内で行う計算を解析する。 これらの飽和事象は、対応するトークンのランクの順に発生する。 この逐次飽和に対するタスク遷移のメカニズムを提案する。
  論文  参考訳（メタデータ） (2024-10-26T16:00:38Z)
• Unveiling Induction Heads: Provable Training Dynamics and Feature Learning in Transformers [54.20763128054692]
  我々は,2層変換器が$n$-gramのマルコフ連鎖データ上でICLを実行するためにどのように訓練されているかを検討する。 クロスエントロピー ICL 損失に対する勾配流が極限モデルに収束することを証明する。
  論文  参考訳（メタデータ） (2024-09-09T18:10:26Z)
• Looking into Black Box Code Language Models [2.5324062203985935]
  私たちは、最先端の2つのコードLM、Codegen-MonoとPloycoderを使用し、Java、Go、Pythonの3つの広く使われているプログラミング言語を使用します。 CodeLMの性能を損なうことなく、フィードフォワード層内で興味ある概念を編集できることを示す。
  論文  参考訳（メタデータ） (2024-07-05T21:13:41Z)
• Matryoshka Query Transformer for Large Vision-Language Models [103.84600181927884]
  我々は,Materyoshka Query Transformer (MQT)を導入し,推論中に画像をmビジュアルトークンにエンコードする。 単一のモデルを一度トレーニングし、フレキシブルかつ劇的に、推論時の視覚トークンの数を削減します。 MQT-LLAVAは,LLaVAの固定576の代わりに最大256トークンを用いて,11ベンチマークでLLaVA-1.5のパフォーマンスと一致した。
  論文  参考訳（メタデータ） (2024-05-29T17:39:42Z)
• Implicit Multimodal Alignment: On the Generalization of Frozen LLMs to Multimodal Inputs [63.29737699997859]
  大規模言語モデル(LLM)は、マルチモーダルな微調整をせずに、マルチモーダルなタスクにおいて印象的なパフォーマンスを示した。 本研究では,画像,ビデオ,音声,テキストの入力に凍結LDMを公開し,内部表現を解析する。
  論文  参考訳（メタデータ） (2024-05-26T21:31:59Z)
• Boosting Multimodal Large Language Models with Visual Tokens Withdrawal for Rapid Inference [59.91176945361035]
  高速推論のためにMLLMを高速化するプラグイン・アンド・プレイモジュールであるVisual Tokens Withdrawal (VTW)を紹介した。 私たちのアプローチは、私たちが観察した2つの興味深い現象にインスピレーションを受けています。 我々のVTWアプローチは、性能を維持しながら、様々なマルチモーダルタスクで計算オーバーヘッドを40%以上削減できる。
  論文  参考訳（メタデータ） (2024-05-09T14:38:53Z)
• Jump to Conclusions: Short-Cutting Transformers With Linear Transformations [60.37563766047492]
  トランスフォーマーベースの言語モデルは、各層で入力の隠れ表現を生成するが、予測には最終層表現のみを使用する。 これは、モデルの内部決定過程と、その中間表現の有用性を曖昧にする。 線形変換を用いた簡単な鋳造法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T16:10:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。