論文の概要: Streaming Attention Approximation via Discrepancy Theory

• arxiv url: http://arxiv.org/abs/2502.07861v2
• Date: Fri, 23 May 2025 10:34:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-26 15:51:02.796146
• Title: Streaming Attention Approximation via Discrepancy Theory
• Title（参考訳）: 離散性理論によるストリーミング注意近似
• Authors: Insu Han, Michael Kapralov, Ekaterina Kochetkova, Kshiteej Sheth, Amir Zandieh,
• Abstract要約: 本稿では,重要計算の基本となるトークン生成である注目近似のストリーミング複雑性について検討する。 主なコントリビューションは、アテンション計算を$epsilon$-approximating するストリーミングアルゴリズムである BalanceKV です。
• 参考スコア（独自算出の注目度）: 11.235024582188288
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) have achieved impressive success, but their high memory requirements present challenges for long-context token generation. In this paper we study the streaming complexity of attention approximation, a key computational primitive underlying token generation. Our main contribution is BalanceKV, a streaming algorithm for $\epsilon$-approximating attention computations based on geometric process for selecting a balanced collection of Key and Value tokens as per Banaszczyk's vector balancing theory. We complement our algorithm with space lower bounds for streaming attention computation. Besides strong theoretical guarantees, BalanceKV exhibits empirically validated performance improvements over existing methods, both for attention approximation and end-to-end performance on various long context benchmarks.
• Abstract（参考訳）: 大規模言語モデル(LLM)は目覚ましい成功を収めたが、その高いメモリ要件は、長文トークン生成の課題である。 本稿では,鍵となる計算プリミティブなトークン生成であるアテンション近似のストリーミング複雑性について検討する。 これはBanaszczykのベクトルバランス理論によれば、キーとバリュートークンのバランスの取れたコレクションを選択する幾何学的プロセスに基づいて、注意計算を$\epsilon$-approximatingするストリーミングアルゴリズムである。 本アルゴリズムは,ストリームアテンション計算のために,空間の低い境界で補完する。 BalanceKVは、強力な理論的保証に加えて、様々な長期文脈ベンチマーク上での注意近似とエンドツーエンドのパフォーマンスの両方のために、既存の手法よりも経験的に検証されたパフォーマンス改善を示す。

関連論文リスト

• Multipole Attention for Efficient Long Context Reasoning [64.94673641704289]
  大規模推論モデル (LRM) は複雑な問題解決タスクにおいて有望な精度の向上を示す。 LRMは、答える前に考えるために、長い連鎖推論を生成する必要がある。 本稿では,重要なトークンに対してのみ正確に注意を払うことで,自己回帰推論を高速化するマルチポール注意法を提案する。
  論文  参考訳（メタデータ） (2025-06-16T03:00:40Z)
• Curse of High Dimensionality Issue in Transformer for Long-context Modeling [31.257769500741006]
  注意計算において重要でないトークンを集約することにより冗長性を低減するために,textitDynamic Group Attention (DGA)を提案する。 その結果,DGAは競争性能を維持しながら計算コストを大幅に削減できることがわかった。
  論文  参考訳（メタデータ） (2025-05-28T08:34:46Z)
• SchoenbAt: Rethinking Attention with Polynomial basis [2.319467677328129]
  カーネル化アテンションは、カーネル関数によるシーケンス相関をモデル化することにより、アテンションメカニズムを拡張する。 我々は、点積の核化された注意を基礎として近似するSchoenbergの定理に基づく注意(SchoenbAt)を提案する。 SchoenbAtの非バイアス性および濃度誤差境界の理論的証明は、その効率と精度をカーネル化された注意近似として支持する。
  論文  参考訳（メタデータ） (2025-05-18T06:16:46Z)
• DBudgetKV: Dynamic Budget in KV Cache Compression for Ensuring Optimal Performance [125.81664663201282]
  我々はDBudgetKVと呼ばれる新しいKVキャッシュ圧縮手法を提案する。 これは、残りのKVキャッシュがフルキャッシュのパフォーマンスにマッチしそうにない場合に、注意に基づくメトリクスを信号として、プルーニングプロセスを停止させる。 提案手法は,メモリ空間を最適化するだけでなく,既存の手法に比べて推論時間を短縮する。
  論文  参考訳（メタデータ） (2025-02-24T06:33:39Z)
• BaKlaVa -- Budgeted Allocation of KV cache for Long-context Inference [6.222836318380985]
  BaKlaVaは、モデル全体で個々のKVキャッシュに対して最適なメモリを割り当てる手法である。 LLaMA-3-8BモデルとQwen2.5-7Bモデルについて検討した。
  論文  参考訳（メタデータ） (2025-02-18T04:08:29Z)
• QuantSpec: Self-Speculative Decoding with Hierarchical Quantized KV Cache [67.84112700032007]
  大きな言語モデル(LLM)は、長いコンテキスト設定のためにエッジデバイスにデプロイされることが増えている。 これらのシナリオでは、キーバリュー(KV)キャッシュがGPUメモリとレイテンシの両方において主要なボトルネックとなっている。 そこで本研究では,ターゲットモデルのアーキテクチャを共有するが,階層的な4ビット量子化KVキャッシュと4ビット量子化重みを併用して高速化を行う,新たな自己推論型デコーディングフレームワークであるQuantSpecを提案する。
  論文  参考訳（メタデータ） (2025-02-05T20:43:48Z)
• CAT Pruning: Cluster-Aware Token Pruning For Text-to-Image Diffusion Models [5.406829638216823]
  拡散モデルは、特にテキスト対画像合成の領域において、生成タスクに革命をもたらした。 しかし、反復的なデノゲーションプロセスは、かなりの計算資源を必要とする。 本稿では、トークンレベルのプルーニングとキャッシュ技術を統合して、この計算課題に対処する新しい加速戦略を提案する。
  論文  参考訳（メタデータ） (2025-02-01T13:46:02Z)
• More Tokens, Lower Precision: Towards the Optimal Token-Precision Trade-off in KV Cache Compression [71.42818367729573]
  KVプルーニングやKV量子化を含むKV圧縮法は、トークンまたは精度寸法に重点を置いている。 量子化プルーニング(quantized pruning)により,KVキャッシュにより多くのトークンを格納することで,LLMの長文性能を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2024-12-17T09:20:31Z)
• ClusterKV: Manipulating LLM KV Cache in Semantic Space for Recallable Compression [10.003118268356017]
  ロングコンテキストは推論効率に重大な課題をもたらす。 本稿では,意味クラスタの粒度でトークンをリコールするClusterKVを紹介する。 実験結果から、ClusterKVは32kのコンテキスト長を持つ様々なタスクにおいて、無視可能な精度の損失が得られることがわかった。
  論文  参考訳（メタデータ） (2024-12-04T10:58:27Z)
• RefreshKV: Updating Small KV Cache During Long-form Generation [54.00118604124301]
  生成中の入力トークンのサブセットに対して、完全なコンテキストアテンションとアテンションを柔軟に交互に交互に切り替える新しい推論手法RefreshKVを提案する。 本手法をオフザシェルフ LLM に適用することにより,様々な長文生成タスクの性能を向上しつつ,エビクションベースの手法に匹敵する高速化を実現する。
  論文  参考訳（メタデータ） (2024-11-08T18:57:07Z)
• A Theoretical Perspective for Speculative Decoding Algorithm [60.79447486066416]
  EmphSpeculative Decodingは、小さなモデルを使用して、ドラフトトークンのシーケンスと、検証のための大きなモデルをサンプリングする。 本稿では,マルコフ連鎖抽象化による復号化問題を概念化し,理論的な観点から,鍵特性,エファンアウトプットの品質,推論加速度について考察する。
  論文  参考訳（メタデータ） (2024-10-30T01:53:04Z)
• LoRC: Low-Rank Compression for LLMs KV Cache with a Progressive Compression Strategy [59.1298692559785]
  キーバリュー(KV)キャッシュは、トランスフォーマーベースの自己回帰型大言語モデル(LLM)を提供する上で重要なコンポーネントである。 この問題を緩和するためのアプローチとしては、(1) アップサイクルステージに統合された効率的な注意変動、(2) テスト時のKVキャッシュ圧縮、(3) テスト時のKVキャッシュ圧縮がある。 そこで我々は,KV重み行列の低ランク近似を提案し,モデル再学習なしに既存のトランスフォーマーベースLCMとのプラグイン統合を実現する。 本手法は,テスト段階におけるアップサイクリング段階のモデルチューニングやタスク固有のプロファイリングを伴わずに機能するように設計されている。
  論文  参考訳（メタデータ） (2024-10-04T03:10:53Z)
• ThinK: Thinner Key Cache by Query-Driven Pruning [63.13363917871414]
  大規模言語モデル(LLM)は自然言語処理の分野に革命をもたらし、様々なアプリケーションで前例のない性能を達成した。 本稿では,KVキャッシュのメモリ消費の非効率性に対処する長文シナリオに焦点を当てた。 我々は,最小のチャネルを選択的に切断しながら,注目重量損失を最小限に抑える新しいクエリ依存型KVキャッシュプルーニング手法であるThinKを提案する。
  論文  参考訳（メタデータ） (2024-07-30T17:59:08Z)
• CORM: Cache Optimization with Recent Message for Large Language Model Inference [57.109354287786154]
  メモリフットプリントを大幅に最小化するKVキャッシュを最適化する革新的な手法を提案する。 KVキャッシュ消去ポリシーであるCORMは、モデル微調整を必要とせずに、推論に必要なキーと値のペアを動的に保持する。 検証の結果,CORMはKVキャッシュの推論メモリ使用量を最大70%削減し,LongBenchの6つのタスクで性能劣化を無視できることがわかった。
  論文  参考訳（メタデータ） (2024-04-24T16:11:54Z)
• Quantization of Large Language Models with an Overdetermined Basis [73.79368761182998]
  本稿では,嘉心表現の原理に基づくデータ量子化アルゴリズムを提案する。 以上の結果から, カシ量子化はモデル性能の競争力や優れた品質を達成できることが示唆された。
  論文  参考訳（メタデータ） (2024-04-15T12:38:46Z)
• QAQ: Quality Adaptive Quantization for LLM KV Cache [3.163526369095745]
  モデルデプロイメントのボトルネックは、コンテキスト長のキーバリューキャッシュの線形拡張によって生じる。 KVキャッシュのための品質適応量子化スキームQAQを提案する。
  論文  参考訳（メタデータ） (2024-03-07T16:42:37Z)
• SubGen: Token Generation in Sublinear Time and Memory [48.35076900702408]
  大規模言語モデル(LLM)はトークン生成に広範なメモリ要件を持つ。 本研究では,KVキャッシュの効率的な圧縮手法の開発に焦点をあてる。 我々は,キートークンにオンラインクラスタリングを導入し,値に$ell$をサンプリングする,サブ線形複雑性を持つ新しいキャッシング手法を考案した。 このアルゴリズムは、サブリニアメモリフットプリントとサブリニアタイムの複雑さを保証するだけでなく、我々のアプローチに厳密なエラーを課す。
  論文  参考訳（メタデータ） (2024-02-08T22:17:40Z)
• Deep Equilibrium Assisted Block Sparse Coding of Inter-dependent Signals: Application to Hyperspectral Imaging [71.57324258813675]
  相互依存信号のデータセットは、列が強い依存を示す行列として定義される。 ニューラルネットワークは、事前に構造として機能し、基礎となる信号相互依存性を明らかにするために使用される。 ディープ・アンローリングとディープ・平衡に基づくアルゴリズムが開発され、高度に解釈可能で簡潔なディープ・ラーニング・ベース・アーキテクチャを形成する。
  論文  参考訳（メタデータ） (2022-03-29T21:00:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。