論文の概要: Turning Trash into Treasure: Accelerating Inference of Large Language Models with Token Recycling

• arxiv url: http://arxiv.org/abs/2408.08696v2
• Date: Mon, 19 May 2025 05:08:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:10.21033
• Title: Turning Trash into Treasure: Accelerating Inference of Large Language Models with Token Recycling
• Title（参考訳）: トラッシュを宝物に変える:トークンリサイクルによる大規模言語モデルの推論の高速化
• Authors: Xianzhen Luo, Yixuan Wang, Qingfu Zhu, Zhiming Zhang, Xuanyu Zhang, Qing Yang, Dongliang Xu,
• Abstract要約: 投機的復号化(英: Speculative decoding)は、推測と検証のパラダイムを通じて推論を加速するアプローチである。 トケンリサイクルは、候補トークンを隣接行列に格納し、幅優先探索アルゴリズムを用いる。 既存の列車なしの手法を30%上回り、広く認められた訓練方法さえも25%上回っている。
• 参考スコア（独自算出の注目度）: 24.04649159686283
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Massive parameters of LLMs have made inference latency a fundamental bottleneck. Speculative decoding represents a lossless approach to accelerate inference through a guess-and-verify paradigm. Some methods rely on additional architectures to guess draft tokens, which need extra training before use. Alternatively, retrieval-based training-free techniques build libraries from pre-existing corpora or by n-gram generation. However, they face challenges like large storage requirements, time-consuming retrieval, and limited adaptability. Observing that candidate tokens generated during the decoding process are likely to reoccur in future sequences, we propose Token Recycling. It stores candidate tokens in an adjacency matrix and employs a breadth-first-search (BFS)-like algorithm to construct a draft tree, which is then validated through tree attention. New candidate tokens from the decoding process are then used to update the matrix. Token Recycling requires \textless2MB of additional storage and achieves approximately 2x speedup across all sizes of LLMs. It significantly outperforms existing train-free methods by 30\% and even a widely recognized training method by 25\%.
• Abstract（参考訳）: LLMの膨大なパラメータは、推論遅延を根本的なボトルネックにしている。 投機的復号化(英: Speculative decoding)は、推測と検証のパラダイムを通じて推論を加速する無意味なアプローチである。 いくつかのメソッドは、ドラフトトークンを推測するために追加のアーキテクチャに依存しており、使用する前に追加のトレーニングが必要です。 あるいは、検索ベースのトレーニングフリー技術は、既存のコーパスやn-gram生成によるライブラリを構築する。 しかし、大きなストレージ要件、時間を要する検索、適応性の制限といった課題に直面している。 復号処理中に生成した候補トークンが,将来のシーケンスで再発見される可能性が示唆された。 候補トークンを隣接行列に格納し、幅優先探索(BFS)のようなアルゴリズムを用いてドラフトツリーを構築し、ツリーの注意を通して検証する。 その後、デコードプロセスから新しい候補トークンを使用してマトリックスを更新する。 Tokenリサイクリングには‘textless2MB’の追加ストレージが必要で、LLMのすべてのサイズで約2倍のスピードアップを実現している。 既存の列車不要の手法を30倍に上回り、広く認識されている訓練手法を25倍に上回ります。

関連論文リスト

• C2T: A Classifier-Based Tree Construction Method in Speculative Decoding [9.663330370149428]
  投機的復号法は、しばしばトークンツリーの構築や候補トークンの検証において非効率に直面する。 トークンツリーを動的に生成・生成するための軽量な分類器C2Tを提案する。
  論文  参考訳（メタデータ） (2025-02-19T11:57:02Z)
• InfiniteHiP: Extending Language Model Context Up to 3 Million Tokens on a Single GPU [48.105361428245736]
  大規模言語モデル(LLM)の推論フレームワークであるInfiniteHiPを紹介する。 モジュール型階層型トークンプルーニングアルゴリズムにより,無関係なコンテキストトークンを動的に除去する。 我々のフレームワークは、追加のトレーニングを必要とせず、100万のトークンコンテキストに対して18.95倍のアテンションデコーディングを実現する。
  論文  参考訳（メタデータ） (2025-02-13T02:52:01Z)
• Efficiency Unleashed: Inference Acceleration for LLM-based Recommender Systems with Speculative Decoding [61.45448947483328]
  LLMベースのレコメンダシステム(LASER)の投機的復号化によるロスレス高速化について紹介する。 LASERは、検索効率を高めるためのカスタマイズされた検索プールと、ドラフトトークンの受け入れ率を改善するための緩和検証を備えている。 LASERは公開データセットの3～5倍のスピードアップを実現し、オンラインA/Bテスト中に約67%の計算リソースを節約する。
  論文  参考訳（メタデータ） (2024-08-11T02:31:13Z)
• Let the Code LLM Edit Itself When You Edit the Code [50.46536185784169]
  underlinetextbfPositional textbfIntegrity textbfEncoding (PIE) PIEは、標準的な完全再計算手法に比べて計算オーバーヘッドを85%以上削減する。 その結果、PIEは計算オーバーヘッドを標準の完全再計算手法に比べて85%以上削減することを示した。
  論文  参考訳（メタデータ） (2024-07-03T14:34:03Z)
• Training-Free Exponential Context Extension via Cascading KV Cache [49.608367376911694]
  カスケードサブキャッシュバッファを利用して,最も関連性の高いトークンを選択的に保持する機構を導入する。 本手法は,1Mトークンのフラッシュアテンションと比較して,プリフィルステージ遅延を6.8倍削減する。
  論文  参考訳（メタデータ） (2024-06-24T03:59:17Z)
• Beyond the Speculative Game: A Survey of Speculative Execution in Large Language Models [9.121458241884444]
  投機的実行は、textitdraft-then-verifyスタイルでLLMデコードに導入される。 コストのかかる推論を並列化することにより、復号速度を大幅に向上させることができる。 LLMにおける投機的実行の文献をレビューし、統一する最初の調査論文を提示する。
  論文  参考訳（メタデータ） (2024-04-23T10:25:45Z)
• Parallel Decoding via Hidden Transfer for Lossless Large Language Model Acceleration [54.897493351694195]
  本稿では,複数連続するトークンを1つのフォワードパスで同時に復号する,新しい並列復号法,すなわちthithidden Transferを提案する。 加速度測定では,Medusa や Self-Speculative decoding など,単モデル加速技術よりも優れています。
  論文  参考訳（メタデータ） (2024-04-18T09:17:06Z)
• Hierarchical Context Merging: Better Long Context Understanding for Pre-trained LLMs [61.40047491337793]
  本稿では,大規模言語モデルの制約を克服する新しいトレーニングフリースキームである階層型cOntext MERging(HOMER)を提案する。 HomeRは、長いインプットを管理可能なチャンクに分割する、分別/対数アルゴリズムを使用する。 トークン削減技術がマージ毎に先行し、メモリ使用効率が保証される。
  論文  参考訳（メタデータ） (2024-04-16T06:34:08Z)
• Recursive Speculative Decoding: Accelerating LLM Inference via Sampling Without Replacement [11.91629418177851]
  投機的復号法(英: Speculative decoding)は、大規模言語モデルの推論・加速度法である。 近年の作業では、草稿の伐採によってこの方法が進歩している。 再帰的投機的復号法(Recursive Speculative Decoding:RSD)を提案する。
  論文  参考訳（メタデータ） (2024-02-21T22:57:49Z)
• RetroMAE v2: Duplex Masked Auto-Encoder For Pre-Training Retrieval-Oriented Language Models [3.4523793651427113]
  本稿では,[] と通常のトークンの両方のコンテキスト化埋め込みにおける意味表現能力の向上を目標とする,二重マスク付き自動エンコーダ DupMAE を提案する。 DupMAEは単純だが経験的競争力があり、デコードコストが小さいため、モデルの表現能力と転送可能性に大きく貢献する。
  論文  参考訳（メタデータ） (2022-11-16T08:57:55Z)
• Autoregressive Search Engines: Generating Substrings as Document Identifiers [53.0729058170278]
  自動回帰言語モデルは、回答を生成するデファクト標準として現れています。 これまでの研究は、探索空間を階層構造に分割する方法を探究してきた。 本研究では,検索空間の任意の構造を強制しない代替として,経路内のすべてのngramを識別子として使用することを提案する。
  論文  参考訳（メタデータ） (2022-04-22T10:45:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。