論文の概要: A2SF: Accumulative Attention Scoring with Forgetting Factor for Token Pruning in Transformer Decoder

• arxiv url: http://arxiv.org/abs/2407.20485v1
• Date: Tue, 30 Jul 2024 01:13:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-31 18:38:42.372785
• Title: A2SF: Accumulative Attention Scoring with Forgetting Factor for Token Pruning in Transformer Decoder
• Title（参考訳）: A2SF: 変圧器デコーダにおけるトーケンプルーニングの予測因子による累積アテンションスコアリング
• Authors: Hyun Rae Jo, Dong Kun Shin,
• Abstract要約: 本稿では, 留意点蓄積プロセスにおいて, 留意点累積係数を導入した累積留意点 (A2SF) 手法を提案する。 A2SFは古いトークンから生成された過去の注意スコアにペナルティを適用します。 OPTおよびLLaMAモデルにおけるA2SFによる精度向上を検証し、A2SFは1ショットと0ショットでLLaMA 2の精度を最大7.8%改善する。
• 参考スコア（独自算出の注目度）: 1.6114012813668932
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Recently, large language models (LLM) based on transformers are facing memory bottleneck issues due to KV cache, especially in long sequence handling. Previous researches proposed KV cache compression techniques that identify insignificant tokens based on Accumulative Attention Scores and removes their items from KV cache, noting that only few tokens play an important role in attention operations. However, we have observed that the existing Accumulative Attention Score is not suitable for the transformer decoder structure. In the decoder model, the number of times the Attention Score accumulates varies depending on the order of token appearance due to the effect of masking, causing an uneven comparison between tokens. To solve this, we propose Accumulative Attention Score with Forgetting Factor (A2SF) technique, which introduces a Forgetting Factor in the Attention Score accumulation process. A2SF applies a penalty to the past Attention Score generated from old tokens by repeatedly multiplying the Forgetting Factor to the Attention Score over time. Therefore, older tokens receive a larger penalty, providing fairness among different ages of tokens. Through the fair comparison among tokens, we can more effectively select important tokens. We have verified the accuracy improvement through A2SF in the OPT and LLaMA models and A2SF improves the accuracy of LLaMA 2 by up to 7.8% and 5.1% on 1-shot and 0-shot.
• Abstract（参考訳）: 近年,大規模な言語モデル(LLM)がKVキャッシュによるメモリボトルネックに直面している。 従来の研究では、累積注意スコアに基づいて重要なトークンを識別し、KVキャッシュからアイテムを除去するKVキャッシュ圧縮技術が提案されており、注意操作において重要な役割を果たすトークンはごくわずかである。 しかし,既存の累積アテンションスコアはトランスデコーダ構造には適さないことがわかった。 デコーダモデルでは、アテンションスコアが蓄積する回数はマスキングの影響によりトークンの出現順序によって異なり、トークン間の不均一な比較を引き起こす。 そこで本研究では, 留意点蓄積プロセスにおいて, 留意点累積係数を導入した累積留意点(A2SF)技術を提案する。 A2SFは古いトークンから生成された過去の注意スコアにペナルティを適用します。 したがって、古いトークンはより大きなペナルティを受け、異なる時代のトークンに公平さをもたらす。 トークン間の公正比較により、重要なトークンをより効果的に選択できる。 OPTおよびLLaMAモデルにおけるA2SFによる精度向上を検証し、A2SFは1ショットと0ショットでLLaMA 2の精度を最大7.8%改善する。

関連論文リスト

• Recycled Attention: Efficient inference for long-context language models [54.00118604124301]
  本稿では,入力トークンのサブセットに対して,フルコンテキストアテンションとアテンションを交互に切り替える推論時間手法であるRecycled Attentionを提案する。 部分的に注意を払っていると、全注意を払っている前のトークンの注意パターンをリサイクルし、最も出席しているトークンの上位Kにのみ出席する。 提案手法は,局所的な文脈や注目スコアの高いトークンにのみ参加する推論時加速度法と比較して,現在の復号ステップに関連するトークンを柔軟に選択する。
  論文  参考訳（メタデータ） (2024-11-08T18:57:07Z)
• ToSA: Token Selective Attention for Efficient Vision Transformers [50.13756218204456]
  ToSAはトークン選択型アテンションアプローチで、コンバータ層をスキップできるトークンだけでなく、参加する必要のあるトークンも識別できる。 ToSAは,ImageNet分類ベンチマークの精度を維持しながら,計算コストを大幅に削減できることを示す。
  論文  参考訳（メタデータ） (2024-06-13T05:17:21Z)
• Focus on the Core: Efficient Attention via Pruned Token Compression for Document Classification [6.660834045805309]
  BERTのような事前訓練されたトランスフォーマーは計算コストのかかる自己保持機構に悩まされる。 トークンプルーニングとトークンの組み合わせという2つの戦略を統合することを提案する。 さまざまなデータセットによる実験は、ベースラインモデルよりも優れたパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-06-03T12:51:52Z)
• Vcc: Scaling Transformers to 128K Tokens or More by Prioritizing Important Tokens [65.4435926060951]
  本稿では,超長周期の変換器の効率を,各層でより小さな表現に圧縮することで向上することを提案する。 我々のアルゴリズムは効率的であるだけでなく(4Kと16Kのベースラインに比べて3倍以上の効率向上を達成する)、多数のタスクで競合/ベターパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2023-05-07T10:32:18Z)
• Efficient Video Action Detection with Token Dropout and Context Refinement [67.10895416008911]
  効率的なビデオアクション検出(ViT)のためのエンドツーエンドフレームワークを提案する。 ビデオクリップでは、他のフレームからのアクターの動きに関連するトークンを保存しながら、その視点でトークンを維持する。 第二に、残ったトークンを利用してシーンコンテキストを洗練し、アクターのアイデンティティをよりよく認識する。
  論文  参考訳（メタデータ） (2023-04-17T17:21:21Z)
• Robustifying Token Attention for Vision Transformers [72.07710236246285]
  ビジョントランスフォーマー(ViT)は、一般的な汚職の存在下でも精度が著しく低下している。 本稿では,2つの一般的な手法を用いて,より注意を安定させる2つの手法を提案する。 まず,Token-Aware Average Pooling (TAP)モジュールは,各トークンの局所的近傍に注意機構に参加することを奨励する。 第二に、出力トークンは、ほんの少しだけに集中するのではなく、多様な入力トークンの集合から情報を集約するように強制する。
  論文  参考訳（メタデータ） (2023-03-20T14:04:40Z)
• Input-length-shortening and text generation via attention values [1.8222946691865871]
  我々は,第1層の注意和が,与えられたシーケンス内のトークンをフィルタリングするのに有効であることを示す。 また、元のシーケンスの約6%を保持するだけで86.5%の精度が得られることを示す。
  論文  参考訳（メタデータ） (2023-03-14T02:11:24Z)
• Beyond Attentive Tokens: Incorporating Token Importance and Diversity for Efficient Vision Transformers [32.972945618608726]
  視覚変換器は様々な視覚タスクにおいて大幅に改善されているが、トークン間の2次相互作用は計算効率を大幅に低下させた。 本稿では,トークン分離におけるトークンの重要性と多様性を共同で検討できる,効率的なトークン分離とマージ手法を提案する。 FLOPを40%削減した後,DeiT-Tの精度を0.1%向上させることができる。
  論文  参考訳（メタデータ） (2022-11-21T09:57:11Z)
• Token-Label Alignment for Vision Transformers [93.58540411138164]
  データ混合戦略(例えば、CutMix)は、畳み込みニューラルネットワーク(CNN)の性能を大幅に改善する能力を示している。 我々は,データ混合戦略の可能性を抑制するトークン変動現象を同定する。 本稿では,各トークンのラベルを保持するために,変換されたトークンと元のトークンとの対応をトレースするトークンラベルアライメント(TL-Align)手法を提案する。
  論文  参考訳（メタデータ） (2022-10-12T17:54:32Z)
• Fine- and Coarse-Granularity Hybrid Self-Attention for Efficient BERT [22.904252855587348]
  本稿では, 計算列長を漸進的に短縮することにより, コストを低減できる, 微細で粗い粒度ハイブリッド型自己アテンションを提案する。 FCAは従来の手法に比べて精度とFLOPのトレードオフが著しく優れていることを示す。
  論文  参考訳（メタデータ） (2022-03-17T03:33:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。