論文の概要: Cerberus: Efficient Inference with Adaptive Parallel Decoding and Sequential Knowledge Enhancement

• arxiv url: http://arxiv.org/abs/2410.13344v1
• Date: Thu, 17 Oct 2024 08:55:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-18 13:21:59.477276
• Title: Cerberus: Efficient Inference with Adaptive Parallel Decoding and Sequential Knowledge Enhancement
• Title（参考訳）: Cerberus: 適応並列デコーディングと逐次知識向上による効率的な推論
• Authors: Yuxuan Liu, Wenyuan Li, Laizhong Cui, Hailiang Yang,
• Abstract要約: 大規模言語モデル(LLM)は自動回帰復号化に依存するため、推論速度のボトルネックに直面していることが多い。 既存の並列デコーディングフレームワークにおける2つの重要な問題を特定しました。 我々は適応並列デコーディングフレームワークであるCerberusを提案する。
• 参考スコア（独自算出の注目度）: 12.40683763019276
• License:
• Abstract: Large language models (LLMs) often face a bottleneck in inference speed due to their reliance on auto-regressive decoding. Recently, parallel decoding has shown significant promise in enhancing inference efficiency. However, we have identified two key issues with existing parallel decoding frameworks: (1) decoding heads fail to balance prediction accuracy and the parallelism of execution, and (2) parallel decoding is not a universal solution, as it can bring unnecessary overheads at some challenging decoding steps. To address these issues, we propose Cerberus, an adaptive parallel decoding framework introduces the gating mechanism to enable the LLMs to adaptively choose appropriate decoding approaches at each decoding step, along with introducing a new paradigm of decoding heads that introduce the sequential knowledge while maintaining execution parallelism. The experiment results demonstrate that the Cerberus can achieve up to 2.12x speed up compared to auto-regressive decoding, and outperforms one of the leading parallel decoding frameworks, Medusa, with a 10% - 30% increase in acceleration and superior generation quality.
• Abstract（参考訳）: 大規模言語モデル(LLM)は自動回帰復号化に依存するため、推論速度のボトルネックに直面していることが多い。 近年,並列復号化は推論効率の向上に大きく寄与している。 しかし,既存の並列デコーディングフレームワークでは,(1)デコーディングヘッドは予測精度と実行の並列性とのバランスが取れず,(2)並列デコーディングは難解なデコーディングステップにおいて不要なオーバーヘッドをもたらすため,汎用的な解決策ではない。 これらの問題に対処するために,適応並列復号化フレームワークであるCerberusを提案する。このフレームワークでは,各復号化ステップにおいて,LLMが適切な復号化アプローチを適応的に選択できるようにゲーティング機構を導入し,並列処理を継続しながらシーケンシャルな知識を導入する,新たな復号化パラダイムを導入する。 実験の結果、Cerberusは自動回帰デコーディングに比べて最大2.12倍の速度を実現でき、主要な並列デコーディングフレームワークであるMedusaよりも10%から30%の高速化と優れた生成品質を実現している。

関連論文リスト

• Learning Linear Block Error Correction Codes [62.25533750469467]
  本稿では,バイナリ線形ブロック符号の統一エンコーダデコーダトレーニングを初めて提案する。 また,コード勾配の効率的なバックプロパゲーションのために,自己注意マスキングを行うトランスフォーマーモデルを提案する。
  論文  参考訳（メタデータ） (2024-05-07T06:47:12Z)
• Chimera: A Lossless Decoding Method for Accelerating Large Language Models Inference by Fusing all Tokens [15.566726645722657]
  投機的サンプリングに特化して設計された新しいフレームワークを提案する。 このフレームワーク内では、以前に生成されたトークンを効果的に活用し、後続の単語を予測する軽量なドラフトモデルを導入する。 我々は、バニラ自動回帰復号方式と比較して平均遅延速度比が2.7倍になるという印象的な結果を示した。
  論文  参考訳（メタデータ） (2024-02-24T08:10:39Z)
• Break the Sequential Dependency of LLM Inference Using Lookahead Decoding [27.87483106859749]
  Lookahead decodingは、大規模言語モデル(LLM)のための正確な並列デコーディングアルゴリズムである。 実装により,MT-benchでは1.8倍,コード補完タスクでは4倍まで高速に自動回帰復号を行うことができる。
  論文  参考訳（メタデータ） (2024-02-03T06:37:50Z)
• Fast Chain-of-Thought: A Glance of Future from Parallel Decoding Leads to Answers Faster [61.83949316226113]
  FastCoTは並列デコーディングに基づくモデルに依存しないフレームワークである。 我々は、FastCoTが通常のアプローチと比較して、無視できる性能低下だけで、推論時間を20%近く削減できることを示します。
  論文  参考訳（メタデータ） (2023-11-14T15:56:18Z)
• Accelerating Transformer Inference for Translation via Parallel Decoding [2.89306442817912]
  自動回帰復号化は機械翻訳(MT)における変圧器の効率を制限する 並列デコーディングアルゴリズムを3つ提示し、異なる言語やモデルでテストする。
  論文  参考訳（メタデータ） (2023-05-17T17:57:34Z)
• Lossless Acceleration for Seq2seq Generation with Aggressive Decoding [74.12096349944497]
  アグレッシブデコーディング(Aggressive Decoding)は、セq2seq生成のための新しいデコーディングアルゴリズムである。 提案手法は, 自己回帰復号法と比較し, 同一(あるいは良好な)生成を実現することを目的としている。 複数のSeq2seqタスクにおいて、GPU上で最も人気のある6層トランスフォーマーモデル上で、攻撃的デコーディングをテストする。
  論文  参考訳（メタデータ） (2022-05-20T17:59:00Z)
• Adversarial Neural Networks for Error Correcting Codes [76.70040964453638]
  機械学習(ML)モデルの性能と適用性を高めるための一般的なフレームワークを紹介する。 本稿では,MLデコーダと競合する識別器ネットワークを組み合わせることを提案する。 我々のフレームワークはゲーム理論であり、GAN(Generative Adversarial Network)によって動機付けられている。
  論文  参考訳（メタデータ） (2021-12-21T19:14:44Z)
• Instantaneous Grammatical Error Correction with Shallow Aggressive Decoding [57.08875260900373]
  即時文法的誤り訂正(GEC)のためのトランスフォーマーのオンライン推論効率を改善するために,Shallow Aggressive Decoding (SAD)を提案する。 SADは、計算並列性を改善するために、各ステップで1つのトークンだけを復号するのではなく、可能な限り多くのトークンを並列に復号する。 英語と中国語のGECベンチマークでの実験では、アグレッシブな復号化がオンライン推論の大幅なスピードアップをもたらす可能性がある。
  論文  参考訳（メタデータ） (2021-06-09T10:30:59Z)
• Fast Interleaved Bidirectional Sequence Generation [90.58793284654692]
  左右方向と左右方向を同時に生成するデコーダを提案する。 一方向デコードのための標準アーキテクチャを簡単に双方向デコーダに変換することができることを示す。 我々のインターリーブ双方向デコーダ (IBDecoder) は標準変換器のモデル単純性と訓練効率を保っている。
  論文  参考訳（メタデータ） (2020-10-27T17:38:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。