Fugu-MT 論文翻訳(概要): CAOTE: KV Caching through Attention Output Error based Token Eviction

論文の概要: CAOTE: KV Caching through Attention Output Error based Token Eviction

arxiv url: http://arxiv.org/abs/2504.14051v1
Date: Fri, 18 Apr 2025 19:46:54 GMT
ステータス: 翻訳完了
システム内更新日: 2025-04-30 05:37:44.296038
Title: CAOTE: KV Caching through Attention Output Error based Token Eviction
Title（参考訳）: CAOTE: 注意出力エラーに基づくToken EvictionによるKVキャッシング
Authors: Raghavv Goel, Junyoung Park, Mukul Gagrani, Dalton Jones, Matthew Morse, Harper Langston, Mingu Lee, Chris Lott,
Abstract要約: Token Evictionは、キャッシュからあまり重要でないトークンを排除してボトルネックを軽減するために設計された、広く採用されているポストトレーニング手法である。本稿では,キャッシュされたトークンのアテンション出力への寄与に基づく簡単な消去基準を提案する。本稿では,CAOTEと最先端の注目スコアベースの手法を組み合わせることで,下流タスクの精度が常に向上することを示す。
参考スコア（独自算出の注目度）: 6.1346213444758355
License: http://creativecommons.org/licenses/by/4.0/
Abstract: While long context support of large language models has extended their abilities, it also incurs challenges in memory and compute which becomes crucial bottlenecks in resource-restricted devices. Token eviction, a widely adopted post-training methodology designed to alleviate the bottlenecks by evicting less important tokens from the cache, typically uses attention scores as proxy metrics for token importance. However, one major limitation of attention score as a token-wise importance metrics is that it lacks the information about contribution of tokens to the attention output. In this paper, we propose a simple eviction criterion based on the contribution of cached tokens to attention outputs. Our method, CAOTE, optimizes for eviction error due to token eviction, by seamlessly integrating attention scores and value vectors. This is the first method which uses value vector information on top of attention-based eviction scores. Additionally, CAOTE can act as a meta-heuristic method with flexible usage with any token eviction method. We show that CAOTE, when combined with the state-of-the-art attention score-based methods, always improves accuracies on the downstream task, indicating the importance of leveraging information from values during token eviction process.
Abstract（参考訳）: 大規模言語モデルの長期のコンテキストサポートは、その能力を拡張する一方で、リソース制限されたデバイスにおいて重要なボトルネックとなるメモリと計算の課題も引き起こす。 Token Evictionは、キャッシュからあまり重要でないトークンを排除してボトルネックを軽減するために設計された、広く採用されているポストトレーニング方法論である。しかし、トークン単位の重要度指標としての注目スコアの1つの大きな制限は、注意出力へのトークンの寄与に関する情報が欠けていることである。本稿では,キャッシュされたトークンのアテンション出力への寄与に基づく簡易な消去基準を提案する。本手法は,トークンの消去による消去誤差を最適化し,注意点と値ベクトルをシームレスに統合する。これは注意に基づく消去スコアの上の値ベクトル情報を利用する最初の方法である。加えて、CAOTEは任意のトークン消去メソッドで柔軟な使用法を持つメタヒューリスティックな方法として機能することができる。本稿では,CAOTEと最先端の注目スコアベースの手法を組み合わせることで,常に下流タスクの精度を向上し,トークンの排除過程において,価値からの情報を活用することが重要であることを示す。

関連論文リスト

Learning to Attribute with Attention [75.61481181755744]
本稿では,異なる注目頭部の注意重みを特徴として扱うことを提案する。このようにして、属性に注意重みを効果的に活用する方法を学ぶことができる。提案手法であるAtribution with Attention (AT2) は,多くのアブリケーションを含むアプローチと確実に同等に機能する。
論文参考訳（メタデータ） (2025-04-18T15:36:28Z)
Tactic: Adaptive Sparse Attention with Clustering and Distribution Fitting for Long-Context LLMs [10.52833484759311]
本稿では,空間適応型かつキャリブレーションフリーなスパースアテンション機構であるTacticを提案する。固定されたトークン予算ではなく、累積的な注意スコアに基づいてトークンを動的に選択する。我々は、Tacticが既存のスパースアテンションアルゴリズムより優れており、精度が良く、7.29倍のデコードアテンションスピードアップを実現していることを示す。
論文参考訳（メタデータ） (2025-02-17T08:39:43Z)
AttentionPredictor: Temporal Pattern Matters for Efficient LLM Inference [51.1972443343829]
本稿では,最初の学習に基づくクリティカルトークン識別手法であるAttentionPredictorを提案する。注意予測器は、無視可能なメモリを消費しながら、注意スコアを正確に予測する。また、トークン時間オーバーヘッドを隠蔽してデコードステージを高速化する、クロストークンクリティカルキャッシュプリフェッチフレームワークを提案する。
論文参考訳（メタデータ） (2025-02-06T13:41:46Z)
Core Context Aware Attention for Long Context Language Modeling [50.774702091154204]
本稿では,CCA(Core Context Aware)アテンションを効果的に長距離コンテキストモデリングのためのプラグイン・アンド・プレイとして提案する。 CCA-Attentionは、計算効率と長文モデリング能力の観点から、最先端モデルよりも大幅に優れています。
論文参考訳（メタデータ） (2024-12-17T01:54:08Z)
SepLLM: Accelerate Large Language Models by Compressing One Segment into One Separator [65.62084602011596]
大規模言語モデル(LLM)は、自然言語処理タスクの範囲で例外的な性能を示した。特定の意味のないセパレータトークン(句読点)は意味的に意味のあるトークンと比較して注意点に不均等に寄与する。 SepLLMは,これらのセグメントを圧縮し,冗長なトークンを除去することによって推論を高速化する,プラグアンドプレイフレームワークである。
論文参考訳（メタデータ） (2024-12-16T18:58:57Z)
RefreshKV: Updating Small KV Cache During Long-form Generation [54.00118604124301]
生成中の入力トークンのサブセットに対して、完全なコンテキストアテンションとアテンションを柔軟に交互に交互に切り替える新しい推論手法RefreshKVを提案する。本手法をオフザシェルフ LLM に適用することにより,様々な長文生成タスクの性能を向上しつつ,エビクションベースの手法に匹敵する高速化を実現する。
論文参考訳（メタデータ） (2024-11-08T18:57:07Z)
In-context KV-Cache Eviction for LLMs via Attention-Gate [12.732519329131392]
KVキャッシュ技術は、大規模言語モデル(LLM)の推論の標準となっている。本稿では,Attention-Gateと呼ばれる軽量モジュールをモデルに注入することで,KVキャッシュの動的な消去ポリシーを実現する。提案手法は複数のシナリオにまたがって実験的に評価され,冗長トークンの有効排除は効率を向上するだけでなく,性能も向上することを示した。
論文参考訳（メタデータ） (2024-10-15T05:01:19Z)
When Attention Sink Emerges in Language Models: An Empirical View [39.36282162213973]
言語モデル(LM)は、意味的に重要でない場合でも、最初のトークンに注意を向ける。この現象は、ストリーミング/ロングコンテキスト生成、KVキャッシュ最適化、推論アクセラレーション、モデル量子化などのアプリケーションで広く採用されている。我々はまず、小さなモデルであっても様々な入力を持つLMにおいて、注意シンクが普遍的に存在することを実証した。
論文参考訳（メタデータ） (2024-10-14T17:50:28Z)
Efficient Inference of Vision Instruction-Following Models with Elastic Cache [76.44955111634545]
我々は,命令追従型大規模視覚言語モデルの効率的なデプロイのための新しい戦略であるElastic Cacheを紹介する。本稿では,冗長キャッシュを具現化する重要なキャッシュマージ戦略を提案する。命令符号化では,キャッシュの重要性を評価するために周波数を利用する。様々なLVLMの結果は、Elastic Cacheが効率を向上するだけでなく、言語生成における既存のプルーニングメソッドよりも優れていることを示している。
論文参考訳（メタデータ） (2024-07-25T15:29:05Z)
CItruS: Chunked Instruction-aware State Eviction for Long Sequence Modeling [52.404072802235234]
本稿では,下流タスクに有用な注目度を隠蔽状態の消去プロセスに統合する新しいモデリング手法であるChunked Instruction-Aware State Eviction(CItruS)を紹介する。トレーニング不要な手法は,メモリ予算が同じ条件下で,複数の強いベースライン上での長いシーケンス理解および検索タスクにおいて,優れた性能を示す。
論文参考訳（メタデータ） (2024-06-17T18:34:58Z)
Generic Attention-model Explainability by Weighted Relevance Accumulation [9.816810016935541]
本稿では,トークン値の重要性を考慮に入れた重み付き関連性戦略を提案する。提案手法を評価するために,CLIPをベースとした2段階モデルCLIPmapperを提案する。
論文参考訳（メタデータ） (2023-08-20T12:02:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。