論文の概要: Exploring and Improving Drafts in Blockwise Parallel Decoding

• arxiv url: http://arxiv.org/abs/2404.09221v2
• Date: Wed, 5 Jun 2024 05:00:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-07 00:20:37.886921
• Title: Exploring and Improving Drafts in Blockwise Parallel Decoding
• Title（参考訳）: ブロックワイド並列デコーディングにおけるドラフトの探索と改善
• Authors: Taehyeon Kim, Ananda Theertha Suresh, Kishore Papineni, Michael Riley, Sanjiv Kumar, Adrian Benton,
• Abstract要約: 言語モデルの推論速度を改善する手法として,Sternらによりブロックワイド並列復号法 (BPD) が提案された。 本稿では,ブロックドラフトの理解と改善に2つの方法で貢献する。 改良されたブロックドラフトは、ブロック効率が+5-21%向上することを示した。
• 参考スコア（独自算出の注目度）: 37.295672367973886
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the remarkable strides made by autoregressive language models, their potential is often hampered by the slow inference speeds inherent in sequential token generation. Blockwise parallel decoding (BPD) was proposed by Stern et al. as a method to improve inference speed of language models by simultaneously predicting multiple future tokens, termed block drafts, which are subsequently verified and conditionally accepted by the autoregressive model. This paper contributes to the understanding and improvement of block drafts in two ways. First, we analyze the token distributions produced by multiple prediction heads. Secondly, we leverage this analysis to develop algorithms to improve BPD inference speed by refining the block drafts using n-gram and neural language models. Experiments demonstrate that refined block drafts yield a +5-21% increase in block efficiency (i.e., the number of accepted tokens from the block draft) across diverse datasets.
• Abstract（参考訳）: 自己回帰言語モデルによる顕著な進歩にもかかわらず、そのポテンシャルはシーケンシャルトークン生成に固有の遅い推論速度によって妨げられることが多い。 ブロックワイド並列復号法(BPD)は,複数の将来のトークンを同時に予測することで,言語モデルの推論速度を向上させる手法として,Sternらによって提案された。 本稿では,ブロックドラフトの理解と改善に2つの方法で貢献する。 まず,複数の予測ヘッドが生成するトークン分布を解析する。 第二に、この分析を利用して、n-gramモデルとニューラル言語モデルを用いてブロックドラフトを精製することにより、BPD推論速度を改善するアルゴリズムを開発する。 実験では、改良されたブロックドラフトがブロック効率(ブロックドラフトから受け入れられたトークンの数)を、多様なデータセットで+5-21%増加させることを示した。

関連論文リスト

• FIRP: Faster LLM inference via future intermediate representation prediction [54.897493351694195]
  FIRPはデコードステップ毎に1つではなく複数のトークンを生成する。 いくつかのモデルとデータセットで1.9x-3xのスピードアップ比を示す広範な実験を行った。
  論文  参考訳（メタデータ） (2024-10-27T15:53:49Z)
• AdaEDL: Early Draft Stopping for Speculative Decoding of Large Language Models via an Entropy-based Lower Bound on Token Acceptance Probability [5.421949344085942]
  AdaEDLは、静的なドラフト長の投機的デコーディングを10%から57%上回っている。 また、AdaEDLはこれらの技術よりも堅牢であり、高温シナリオにおける性能を保っていることを示す。
  論文  参考訳（メタデータ） (2024-10-24T01:13:43Z)
• Graph-Structured Speculative Decoding [52.94367724136063]
  投機的復号化は、大規模言語モデルの推論を加速する有望な手法として登場した。 本稿では, 有向非巡回グラフ(DAG)を応用して, 起案された仮説を管理する革新的な手法を提案する。 我々は1.73$times$から1.96$times$に顕著なスピードアップを観察し、標準投機的復号法を大幅に上回った。
  論文  参考訳（メタデータ） (2024-07-23T06:21:24Z)
• Accelerating Production LLMs with Combined Token/Embedding Speculators [4.649953910785797]
  本報告では,新規な投機的復号化ドラフトモデルの設計と訓練について述べる。 文脈ベクトルとサンプリングトークンの両方にドラフト予測を条件付けすることで、投機器を訓練して高品質なn-gramを効率的に予測することができる。
  論文  参考訳（メタデータ） (2024-04-29T21:59:07Z)
• Parallel Decoding via Hidden Transfer for Lossless Large Language Model Acceleration [54.897493351694195]
  本稿では,複数連続するトークンを1つのフォワードパスで同時に復号する,新しい並列復号法,すなわちthithidden Transferを提案する。 加速度測定では,Medusa や Self-Speculative decoding など,単モデル加速技術よりも優れています。
  論文  参考訳（メタデータ） (2024-04-18T09:17:06Z)
• Chimera: A Lossless Decoding Method for Accelerating Large Language Models Inference by Fusing all Tokens [15.566726645722657]
  投機的サンプリングに特化して設計された新しいフレームワークを提案する。 このフレームワーク内では、以前に生成されたトークンを効果的に活用し、後続の単語を予測する軽量なドラフトモデルを導入する。 我々は、バニラ自動回帰復号方式と比較して平均遅延速度比が2.7倍になるという印象的な結果を示した。
  論文  参考訳（メタデータ） (2024-02-24T08:10:39Z)
• Multi-Candidate Speculative Decoding [82.05519287513444]
  大規模な言語モデルは、様々なNLPタスクで印象的な機能を示してきたが、その生成は自動回帰的に時間を要する。 これは高速なドラフトモデルから候補セグメントを生成し、ターゲットモデルによって並列に検証する。 本稿では,複数の候補をドラフトモデルから抽出し,検証のためにバッチにまとめる手法を提案する。 対象モデルの分布を維持しつつ,効率的な多候補検証のためのアルゴリズムを設計する。
  論文  参考訳（メタデータ） (2024-01-12T17:15:23Z)
• SpecTr: Fast Speculative Decoding via Optimal Transport [30.18181671899423]
  このアルゴリズムはデコーディングの高速化を図り、デコードされた出力に品質劣化がないことを保証します。 提案手法は,最先端の大規模言語モデルに対して,標準的なベンチマーク上での投機的復号化よりもさらに1.37倍の高速化である2.13Xのウォールクロック高速化を実現することを実験的に実証した。
  論文  参考訳（メタデータ） (2023-10-23T17:47:34Z)
• LAVA NAT: A Non-Autoregressive Translation Model with Look-Around Decoding and Vocabulary Attention [54.18121922040521]
  非自己回帰翻訳(NAT)モデルは、1つの前方通過で複数のトークンを生成する。 これらのNATモデルは、しばしば多重性の問題に悩まされ、重複トークンや欠落トークンを生成する。 本稿では,この問題を解決するための新しい方法として,Look-Around(LA)戦略とVocabulary Attention(VA)メカニズムを提案する。
  論文  参考訳（メタデータ） (2020-02-08T04:11:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。