論文の概要: Turning Trash into Treasure: Accelerating Inference of Large Language Models with Token Recycling

• arxiv url: http://arxiv.org/abs/2408.08696v1
• Date: Fri, 16 Aug 2024 12:20:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-19 15:35:21.428789
• Title: Turning Trash into Treasure: Accelerating Inference of Large Language Models with Token Recycling
• Title（参考訳）: トラッシュを宝物に変える:トークンリサイクルによる大規模言語モデルの推論の高速化
• Authors: Xianzhen Luo, Yixuan Wang, Qingfu Zhu, Zhiming Zhang, Xuanyu Zhang, Qing Yang, Dongliang Xu, Wanxiang Che,
• Abstract要約: 投機的復号化(英: Speculative decoding)は、推測と検証のパラダイムを通じて推論を加速するアプローチである。 トケンリサイクルは、候補トークンを隣接行列に格納し、幅優先探索アルゴリズムを用いる。 既存の列車不要の手法を30%上回り、訓練方法さえ25%上回っている。
• 参考スコア（独自算出の注目度）: 53.58854856174773
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The rapid growth in the parameters of large language models (LLMs) has made inference latency a fundamental bottleneck, limiting broader application of LLMs. Speculative decoding represents a lossless approach to accelerate inference through a guess-and-verify paradigm, leveraging the parallel capabilities of modern hardware. Some speculative decoding methods rely on additional structures to guess draft tokens, such as small models or parameter-efficient architectures, which need extra training before use. Alternatively, retrieval-based train-free techniques build libraries from pre-existing corpora or by n-gram generation. However, they face challenges like large storage requirements, time-consuming retrieval, and limited adaptability. Observing that candidate tokens generated during the decoding process are likely to reoccur in future sequences, we propose Token Recycling. This approach stores candidate tokens in an adjacency matrix and employs a breadth-first search (BFS)-like algorithm on the matrix to construct a draft tree. The tree is then validated through tree attention. New candidate tokens from the decoding process are then used to update the matrix. Token Recycling requires \textless2MB of additional storage and achieves approximately 2x speedup across all sizes of LLMs. It significantly outperforms existing train-free methods by 30\% and even a training method by 25\%. It can be directly applied to any existing LLMs and tasks without the need for adaptation.
• Abstract（参考訳）: 大規模言語モデル(LLM)のパラメータの急速な増加は、推論遅延を基本的なボトルネックとし、LLMの広範な適用を制限する。 投機的復号化(英: Speculative decoding)は、現代のハードウェアの並列能力を生かし、推測と検証のパラダイムを通じて推論を加速する損失のないアプローチである。 いくつかの投機的復号法は、小さなモデルやパラメータ効率のアーキテクチャなど、使用する前に追加のトレーニングを必要とするドラフトトークンを推測するための追加構造に依存している。 あるいは、既存のコーパスやn-gram生成によるライブラリを検索ベースで構築する。 しかし、大きなストレージ要件、時間を要する検索、適応性の制限といった課題に直面している。 復号処理中に生成した候補トークンが,将来のシーケンスで再発見される可能性が示唆された。 この手法では、候補トークンを隣接行列に格納し、行列上に幅優先探索(BFS)のようなアルゴリズムを用いてドラフトツリーを構築する。 木は木々の注意によって検証される。 その後、デコードプロセスから新しい候補トークンを使用してマトリックスを更新する。 Tokenリサイクリングには‘textless2MB’の追加ストレージが必要で、LLMのすべてのサイズで約2倍のスピードアップを実現している。 既存の列車不要の手法を30倍、訓練方法さえ25倍に大きく上回っている。 既存のLLMやタスクに適応することなく直接適用することができる。

関連論文リスト

• Let the Code LLM Edit Itself When You Edit the Code [50.46536185784169]
  underlinetextbfPositional textbfIntegrity textbfEncoding (PIE) PIEは、標準的な完全再計算手法に比べて計算オーバーヘッドを85%以上削減する。 その結果、PIEは計算オーバーヘッドを標準の完全再計算手法に比べて85%以上削減することを示した。
  論文  参考訳（メタデータ） (2024-07-03T14:34:03Z)
• Training-Free Exponential Context Extension via Cascading KV Cache [49.608367376911694]
  カスケードサブキャッシュバッファを利用して,最も関連性の高いトークンを選択的に保持する機構を導入する。 本手法は,1Mトークンのフラッシュアテンションと比較して,プリフィルステージ遅延を6.8倍削減する。
  論文  参考訳（メタデータ） (2024-06-24T03:59:17Z)
• Beyond the Speculative Game: A Survey of Speculative Execution in Large Language Models [9.121458241884444]
  投機的実行は、textitdraft-then-verifyスタイルでLLMデコードに導入される。 コストのかかる推論を並列化することにより、復号速度を大幅に向上させることができる。 LLMにおける投機的実行の文献をレビューし、統一する最初の調査論文を提示する。
  論文  参考訳（メタデータ） (2024-04-23T10:25:45Z)
• Parallel Decoding via Hidden Transfer for Lossless Large Language Model Acceleration [54.897493351694195]
  本稿では,複数連続するトークンを1つのフォワードパスで同時に復号する,新しい並列復号法,すなわちthithidden Transferを提案する。 加速度測定では,Medusa や Self-Speculative decoding など,単モデル加速技術よりも優れています。
  論文  参考訳（メタデータ） (2024-04-18T09:17:06Z)
• Hierarchical Context Merging: Better Long Context Understanding for Pre-trained LLMs [61.40047491337793]
  本稿では,大規模言語モデルの制約を克服する新しいトレーニングフリースキームである階層型cOntext MERging(HOMER)を提案する。 HomeRは、長いインプットを管理可能なチャンクに分割する、分別/対数アルゴリズムを使用する。 トークン削減技術がマージ毎に先行し、メモリ使用効率が保証される。
  論文  参考訳（メタデータ） (2024-04-16T06:34:08Z)
• Recursive Speculative Decoding: Accelerating LLM Inference via Sampling Without Replacement [11.91629418177851]
  投機的復号法(英: Speculative decoding)は、大規模言語モデルの推論・加速度法である。 近年の作業では、草稿の伐採によってこの方法が進歩している。 再帰的投機的復号法(Recursive Speculative Decoding:RSD)を提案する。
  論文  参考訳（メタデータ） (2024-02-21T22:57:49Z)
• RetroMAE v2: Duplex Masked Auto-Encoder For Pre-Training Retrieval-Oriented Language Models [3.4523793651427113]
  本稿では,[] と通常のトークンの両方のコンテキスト化埋め込みにおける意味表現能力の向上を目標とする,二重マスク付き自動エンコーダ DupMAE を提案する。 DupMAEは単純だが経験的競争力があり、デコードコストが小さいため、モデルの表現能力と転送可能性に大きく貢献する。
  論文  参考訳（メタデータ） (2022-11-16T08:57:55Z)
• Autoregressive Search Engines: Generating Substrings as Document Identifiers [53.0729058170278]
  自動回帰言語モデルは、回答を生成するデファクト標準として現れています。 これまでの研究は、探索空間を階層構造に分割する方法を探究してきた。 本研究では,検索空間の任意の構造を強制しない代替として,経路内のすべてのngramを識別子として使用することを提案する。
  論文  参考訳（メタデータ） (2022-04-22T10:45:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。