論文の概要: Twilight: Adaptive Attention Sparsity with Hierarchical Top-$p$ Pruning

• arxiv url: http://arxiv.org/abs/2502.02770v1
• Date: Tue, 04 Feb 2025 23:26:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-06 14:28:45.927989
• Title: Twilight: Adaptive Attention Sparsity with Hierarchical Top-$p$ Pruning
• Title（参考訳）: Twilight: 階層的なトップ$pのプルーニングでアダプティブアテンションの混乱を解消
• Authors: Chaofan Lin, Jiaming Tang, Shuo Yang, Hanshuo Wang, Tian Tang, Boyu Tian, Ion Stoica, Song Han, Mingyu Gao,
• Abstract要約: Twilightは、既存のスパースアテンションアルゴリズムに適応性をもたらすフレームワークである。 Twilightは、冗長トークンの少なくとも98%で適応的にプルーし、自己アテンション操作で15.4タイム=アクセラレーション、トークン毎のエンドツーエンドでのアクセラレーションで3.9タイム=アクセラレーションを実現している。
• 参考スコア（独自算出の注目度）: 23.5589347921524
• License:
• Abstract: Leveraging attention sparsity to accelerate long-context large language models (LLMs) has been a hot research topic. However, current algorithms such as sparse attention or key-value (KV) cache compression tend to use a fixed budget, which presents a significant challenge during deployment because it fails to account for the dynamic nature of real-world scenarios, where the optimal balance between accuracy and efficiency can vary greatly. In this paper, we find that borrowing top-$p$ sampling (nucleus sampling) to sparse attention can surprisingly achieve adaptive budgeting. Based on this, we propose Twilight, a framework to bring adaptive sparsity to any existing sparse attention algorithm without sacrificing their accuracy. Empirical results show that Twilight can adaptively prune at most 98% of redundant tokens, leading to $15.4\times$ acceleration in self-attention operations and $3.9\times$ acceleration in end-to-end per token latency in long context LLM decoding.
• Abstract（参考訳）: LLM(Long-context large language model)を加速するために注意の疎結合を活用することは、ホットな研究トピックである。 しかしながら、スパースアテンションやキーバリュー(KV)キャッシュ圧縮のような現在のアルゴリズムでは、固定された予算を使用する傾向があり、これは、精度と効率の最適なバランスが大幅に変化する現実のシナリオの動的な性質を考慮できないため、デプロイ中に重大な課題を生じさせる。 本稿では, 注目度を低くするために, 上位p$サンプリング(核サンプリング)を借りることによって, 驚くほど適応的な予算化が達成できることを見出した。 そこで本稿では,既存のスパースアテンションアルゴリズムに対して,精度を犠牲にすることなくアダプティブ・スパシティを実現するフレームワークであるTwilightを提案する。 実証的な結果は、Twilightが冗長トークンの98%以上を適応的にプルーできることを示している。これにより、自己アテンション操作の15.4\times$アクセラレーションと、長期のLLMデコーディングにおけるトークン毎のエンドツーエンドのアクセラレーションが3.9\times$アクセラレーションとなる。

関連論文リスト

• Activation-aware Probe-Query: Effective Key-Value Retrieval for Long-Context LLMs Inference [56.71209737306054]
  我々は,プローブ-textbfQuery を動的に決定し,関連する textbfKV ペアを推論するために利用する,トレーニングフリーの textbfActivation-aware アプローチである textbfActQKV を提案する。 Long-Bench と $infty$ Benchmarks の実験では、競合する推論品質とリソース効率を備えた最先端のパフォーマンスが実証されている。
  論文  参考訳（メタデータ） (2025-02-19T08:50:44Z)
• Tactic: Adaptive Sparse Attention with Clustering and Distribution Fitting for Long-Context LLMs [10.52833484759311]
  本稿では,空間適応型かつキャリブレーションフリーなスパースアテンション機構であるTacticを提案する。 固定されたトークン予算ではなく、累積的な注意スコアに基づいてトークンを動的に選択する。 我々は、Tacticが既存のスパースアテンションアルゴリズムより優れており、精度が良く、7.29倍のデコードアテンションスピードアップを実現していることを示す。
  論文  参考訳（メタデータ） (2025-02-17T08:39:43Z)
• AttentionPredictor: Temporal Pattern Matters for Efficient LLM Inference [51.1972443343829]
  本稿では,最初の学習に基づくクリティカルトークン識別手法であるAttentionPredictorを提案する。 注意予測器は、無視可能なメモリを消費しながら、注意スコアを正確に予測する。 また、トークン時間オーバーヘッドを隠蔽してデコードステージを高速化する、クロストークンクリティカルキャッシュプリフェッチフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-06T13:41:46Z)
• ZipVL: Efficient Large Vision-Language Models with Dynamic Token Sparsification [29.163757099307553]
  大規模視覚言語モデル(LVLM)の効率は、プリフィルフェーズにおける注意機構の計算ボトルネックによって制約される。 本稿では,重要なトークンの動的比割り当て戦略を通じて,LVLM向けに設計された効率的な推論フレームワークZipVLを提案する。
  論文  参考訳（メタデータ） (2024-10-11T07:24:21Z)
• Sparser is Faster and Less is More: Efficient Sparse Attention for Long-Range Transformers [58.5711048151424]
  SPARSEK Attention(SPARSEK Attention)は、計算およびメモリ障害を克服するために設計された、新しいスパースアテンション機構である。 提案手法では,各クエリに対して一定数のKVペアを選択するために,スコアリングネットワークと差別化可能なトップkマスク演算子であるSPARSEKを統合する。 実験結果から,SPARSEK注意は従来のスパースアテンション法よりも優れていた。
  論文  参考訳（メタデータ） (2024-06-24T15:55:59Z)
• SampleAttention: Near-Lossless Acceleration of Long Context LLM Inference with Adaptive Structured Sparse Attention [47.5772915135952]
  大きな言語モデル(LLM)は、非常に長いコンテキストウィンドウをサポートするようになった。 バニラの注意の二次的な複雑さは、TTFT(Time-to-First-Token)レイテンシを著しく長くする。 適応型構造とほぼロスレスなスパースアテンションであるSampleAttentionを提案する。
  論文  参考訳（メタデータ） (2024-06-17T11:05:15Z)
• Adaptive importance sampling for heavy-tailed distributions via $\alpha$-divergence minimization [2.879807093604632]
  提案手法は,学生の提案分布からターゲットを近似するAISアルゴリズムを提案する。 我々は、目標と提案の護衛モーメントを一致させて、位置とスケールパラメータを適応させる。 これらの更新は、ターゲットと提案の間の$alpha$-divergenceを最小化し、変動推論と接続する。
  論文  参考訳（メタデータ） (2023-10-25T14:07:08Z)
• Latency-aware adaptive shot allocation for run-time efficient variational quantum algorithms [0.0]
  繰り返しを推定するために用いられる勾配測定ショットの数を決定するための適応的戦略が提案されている。 オーバーヘッドを明示的に考慮し、単位時間当たりの期待利得を最大化するために、各バランスにおけるショット数に適応的な戦略を提案する。 数値シミュレーションにより,我々のアダプティブショット戦略はAdamにとって実効性があり,既存のアダプティブショット戦略よりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-02-09T03:27:25Z)
• AdapLeR: Speeding up Inference by Adaptive Length Reduction [15.57872065467772]
  本稿では,下流性能の低下を最小限に抑えながら,BERTの計算コストを削減する手法を提案する。 提案手法は,レイヤ間のコントリビューションの少ないトークンを動的に除去し,結果として長さが短くなり,計算コストが低下する。 様々な分類タスクに関する実験では、性能の犠牲を伴わずに、推論時間中に最大22倍のスピードアップを示す。
  論文  参考訳（メタデータ） (2022-03-16T23:41:38Z)
• Large-scale Optimization of Partial AUC in a Range of False Positive Rates [51.12047280149546]
  ROC曲線 (AUC) の下の領域は、機械学習において最も広く使われている分類モデルのパフォーマンス指標の1つである。 近年の封筒平滑化技術に基づく効率的な近似勾配降下法を開発した。 提案アルゴリズムは,効率のよい解法を欠くランク付けされた範囲損失の和を最小化するためにも利用できる。
  論文  参考訳（メタデータ） (2022-03-03T03:46:18Z)
• Layer-adaptive sparsity for the Magnitude-based Pruning [88.37510230946478]
  本稿では,LAMP(Layer-Adaptive magnitude-based pruning)スコアを用いたグローバルプルーニングの新たな重要点を提案する。 LAMPは、階層的な空間選択のための一般的なスキームを一貫して上回っている。
  論文  参考訳（メタデータ） (2020-10-15T09:14:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。