論文の概要: LongSpec: Long-Context Speculative Decoding with Efficient Drafting and Verification

• arxiv url: http://arxiv.org/abs/2502.17421v1
• Date: Mon, 24 Feb 2025 18:53:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-25 15:59:11.630299
• Title: LongSpec: Long-Context Speculative Decoding with Efficient Drafting and Verification
• Title（参考訳）: LongSpec: 効率的なドラフトと検証によるロングコンテキスト投機的デコーディング
• Authors: Penghui Yang, Cunxiao Du, Fengzhuo Zhang, Haonan Wang, Tianyu Pang, Chao Du, Bo An,
• Abstract要約: 投機的復号化は、大規模言語モデルにおける自己回帰復号化の高推論遅延を軽減するための有望な手法となっている。 その約束にもかかわらず、LLMにおける投機的復号化の効果的な適用は、まだ3つの重要な課題に直面している。 これらの課題に対処することで、長期コンテキスト設定における投機的復号化の性能を向上させる。
• 参考スコア（独自算出の注目度）: 42.54363549922909
• License:
• Abstract: Speculative decoding has become a promising technique to mitigate the high inference latency of autoregressive decoding in Large Language Models (LLMs). Despite its promise, the effective application of speculative decoding in LLMs still confronts three key challenges: the increasing memory demands of the draft model, the distribution shift between the short-training corpora and long-context inference, and inefficiencies in attention implementation. In this work, we enhance the performance of speculative decoding in long-context settings by addressing these challenges. First, we propose a memory-efficient draft model with a constant-sized Key-Value (KV) cache. Second, we introduce novel position indices for short-training data, enabling seamless adaptation from short-context training to long-context inference. Finally, we present an innovative attention aggregation method that combines fast implementations for prefix computation with standard attention for tree mask handling, effectively resolving the latency and memory inefficiencies of tree decoding. Our approach achieves strong results on various long-context tasks, including repository-level code completion, long-context summarization, and o1-like long reasoning tasks, demonstrating significant improvements in latency reduction. The code is available at https://github.com/sail-sg/LongSpec.
• Abstract（参考訳）: 投機的復号化は,Large Language Models (LLMs) における自己回帰復号化の高推論遅延を緩和する,有望な手法となっている。 LLMにおける投機的復号化の効果的な適用は、まだ3つの大きな課題に直面している: ドラフトモデルのメモリ要求の増加、短調コーパスと長文推論の間の分散シフト、注意点実装における非効率性。 本研究では,これらの課題に対処することで,長期コンテキスト設定における投機的復号化性能を向上させる。 まず,一定サイズのキーバリュー(KV)キャッシュを持つメモリ効率のよいドラフトモデルを提案する。 第2に、短文学習から長文推論へのシームレスな適応を可能にする、短文学習データのための新しい位置指標を提案する。 最後に,プレフィックス計算の高速な実装と木マスク処理の標準注意を組み合わせ,木デコーディングの遅延とメモリ非効率を効果的に解消する,革新的なアテンション集約手法を提案する。 提案手法は,リポジトリレベルのコード補完,長文要約,o1ライクな長文推論タスクなど,さまざまな長文タスクに対して強力な結果をもたらす。 コードはhttps://github.com/sail-sg/LongSpecで公開されている。

関連論文リスト

• Breaking the Context Bottleneck on Long Time Series Forecasting [6.36010639533526]
  長期の時系列予測は、経済、エネルギー、輸送における計画と意思決定に不可欠である。 最近の進歩によりこれらのモデルの効率は向上したが、より長いシーケンスを効果的に活用することの難しさは持続している。 長いシーケンスの効率的かつ効率的な処理を実現するために,Logsparse Decomposable Multiscaling (LDM) フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-21T10:29:34Z)
• Squeezed Attention: Accelerating Long Context Length LLM Inference [64.11145320159126]
  本稿では,入力プロンプトの大部分を固定したLLMアプリケーションを高速化する機構として,Squeezed Attentionを提案する。 K-meansクラスタリングをオフラインで使用して、セマンティックな類似性に基づいて、固定されたコンテキストのキーをグループ化し、各クラスタを単一のセントロイド値で表現します。 そして、固定された文脈から重要なキーのみを用いて正確な注意を計算し、帯域幅と計算コストを削減する。
  論文  参考訳（メタデータ） (2024-11-14T18:54:19Z)
• TokenSelect: Efficient Long-Context Inference and Length Extrapolation for LLMs via Dynamic Token-Level KV Cache Selection [23.20856449846164]
  TokenSelectは、モデルに依存しない、訓練のない、効率的で正確な長文推論手法である。 TokenSelectの総合評価では、注意点の最大23.84倍、エンドツーエンドのレイテンシの最大2.28倍の高速化が示されている。
  論文  参考訳（メタデータ） (2024-11-05T07:56:24Z)
• What is Wrong with Perplexity for Long-context Language Modeling? [71.34933096461124]
  長いコンテキスト入力は、会話の拡張、文書の要約、多数のショットインコンテキスト学習といったタスクにおいて、大きな言語モデル(LLM)にとって不可欠である。 パープレキシティ(PPL)は、長期コンテキスト能力の評価には信頼性が低いことが証明されている。 長短コンテキストコントラスト法を用いて鍵トークンを識別する手法であるbfLongPPLを提案する。
  論文  参考訳（メタデータ） (2024-10-31T09:39:28Z)
• KV Cache Compression, But What Must We Give in Return? A Comprehensive Benchmark of Long Context Capable Approaches [52.02764371205856]
  長期の文脈能力は、大規模言語モデル(LLM)にとって重要な能力である この研究は、現在の手法の分類を提供し、長いコンテキストタスクの7つのカテゴリにまたがる10以上の最先端のアプローチを評価する。
  論文  参考訳（メタデータ） (2024-07-01T17:59:47Z)
• Sparser is Faster and Less is More: Efficient Sparse Attention for Long-Range Transformers [58.5711048151424]
  SPARSEK Attention(SPARSEK Attention)は、計算およびメモリ障害を克服するために設計された、新しいスパースアテンション機構である。 提案手法では,各クエリに対して一定数のKVペアを選択するために,スコアリングネットワークと差別化可能なトップkマスク演算子であるSPARSEKを統合する。 実験結果から,SPARSEK注意は従来のスパースアテンション法よりも優れていた。
  論文  参考訳（メタデータ） (2024-06-24T15:55:59Z)
• CItruS: Chunked Instruction-aware State Eviction for Long Sequence Modeling [52.404072802235234]
  本稿では,下流タスクに有用な注目度を隠蔽状態の消去プロセスに統合する新しいモデリング手法であるChunked Instruction-Aware State Eviction(CItruS)を紹介する。 トレーニング不要な手法は,メモリ予算が同じ条件下で,複数の強いベースライン上での長いシーケンス理解および検索タスクにおいて,優れた性能を示す。
  論文  参考訳（メタデータ） (2024-06-17T18:34:58Z)
• Chimera: A Lossless Decoding Method for Accelerating Large Language Models Inference by Fusing all Tokens [15.566726645722657]
  投機的サンプリングに特化して設計された新しいフレームワークを提案する。 このフレームワーク内では、以前に生成されたトークンを効果的に活用し、後続の単語を予測する軽量なドラフトモデルを導入する。 我々は、バニラ自動回帰復号方式と比較して平均遅延速度比が2.7倍になるという印象的な結果を示した。
  論文  参考訳（メタデータ） (2024-02-24T08:10:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。