論文の概要: Amphista: Accelerate LLM Inference with Bi-directional Multiple Drafting Heads in a Non-autoregressive Style

• arxiv url: http://arxiv.org/abs/2406.13170v1
• Date: Wed, 19 Jun 2024 02:53:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-21 23:28:56.406141
• Title: Amphista: Accelerate LLM Inference with Bi-directional Multiple Drafting Heads in a Non-autoregressive Style
• Title（参考訳）: Amphista: 双方向多重ドラフトヘッドを用いた非自己回帰型LCM推論
• Authors: Zeping Li, Xinlong Yang, Ziheng Gao, Ji Liu, Zhuang Liu, Dong Li, Jinzhang Peng, Lu Tian, Emad Barsoum,
• Abstract要約: Amphistaは投機的復号化アルゴリズムであり、非自己回帰復号化パラダイムに準拠している。 本手法は自己回帰法よりも推論効率が高いことを示す。
• 参考スコア（独自算出の注目度）: 17.503078808564823
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) inherently use autoregressive decoding, which lacks parallelism in inference and results in significantly slow inference speeds, especially when hardware parallel accelerators and memory bandwidth are not fully utilized. In this work, we propose Amphista, a speculative decoding algorithm that adheres to a non-autoregressive decoding paradigm. Owing to the increased parallelism, our method demonstrates higher efficiency in inference compared to autoregressive methods. Specifically, Amphista models an Auto-embedding Block capable of parallel inference, incorporating bi-directional attention to enable interaction between different drafting heads. Additionally, Amphista implements Staged Adaptation Layers to facilitate the transition of semantic information from the base model's autoregressive inference to the drafting heads' non-autoregressive speculation, thereby achieving paradigm transformation and feature fusion. We conduct a series of experiments on a suite of Vicuna models using MT-Bench and Spec-Bench. For the Vicuna 33B model, Amphista achieves up to 2.75$\times$ and 1.40$\times$ wall-clock acceleration compared to vanilla autoregressive decoding and Medusa, respectively, while preserving lossless generation quality.
• Abstract（参考訳）: 大規模言語モデル(LLM)は本質的に自己回帰デコーディングを使用し、推論の並列性に欠け、特にハードウェア並列アクセラレータとメモリ帯域が完全に利用されていない場合、推論速度が著しく遅い。 本研究では,非自己回帰的復号法に従う投機的復号法であるアムフィスタを提案する。 並列性の増加に伴い,本手法は自己回帰法よりも推論効率が高いことを示した。 具体的には、Amphistaは並列推論が可能なAuto-embedding Blockをモデル化し、双方向の注意を取り入れて、異なるドラフトヘッド間のインタラクションを可能にする。 さらに、Amphistaは、ベースモデルの自己回帰的推論からドラフトヘッドの非自己回帰的推測への意味情報の移行を容易にするために、段階的適応層を実装している。 MT-Bench と Spec-Bench を用いて,Vicuna モデルの一連の実験を行う。 Vicuna 33B モデルでは、Amphista はバニラ自己回帰復号法と Medusa と比較して最大2.75$\times$ と 1.40$\times$ のウォールクロックアクセラレーションを達成する。

関連論文リスト

• BiT-MamSleep: Bidirectional Temporal Mamba for EEG Sleep Staging [9.917709200378217]
  BiT-MamSleepは,Triple-Resolution CNN(TRCNN)を統合し,効率的なマルチスケール特徴抽出を行う新しいアーキテクチャである。 BiT-MamSleepにはAdaptive Feature Recalibration (AFR)モジュールと時間拡張ブロックが組み込まれている。 4つの公開データセットの実験は、BiT-MamSleepが最先端の手法を大幅に上回っていることを示している。
  論文  参考訳（メタデータ） (2024-11-03T14:49:11Z)
• LARM: Large Auto-Regressive Model for Long-Horizon Embodied Intelligence [68.27280750612204]
  エンボディエージェントのための大規模自己回帰モデル(LARM)を導入する。 LARMはテキストとマルチビューの両方を入力として使用し、後続のアクションを自動回帰的に予測する。 LARMは2段階の訓練体制を採用し、Minecraftで魔法の装置の収穫に成功した。
  論文  参考訳（メタデータ） (2024-05-27T17:59:32Z)
• AMP: Autoregressive Motion Prediction Revisited with Next Token Prediction for Autonomous Driving [59.94343412438211]
  本稿では,GPT方式の次のトークン動作予測を動作予測に導入する。 同種単位-ワードからなる言語データとは異なり、運転シーンの要素は複雑な空間的・時間的・意味的な関係を持つ可能性がある。 そこで本稿では,情報集約と位置符号化スタイルの異なる3つの因子化アテンションモジュールを用いて,それらの関係を捉えることを提案する。
  論文  参考訳（メタデータ） (2024-03-20T06:22:37Z)
• Tandem Transformers for Inference Efficient LLMs [49.75726447408795]
  これらの問題に対処するために,新しいアーキテクチャであるタンデム変換器を導入する。 このアーキテクチャは、小さな自己回帰モデルとブロックモードで動作する大きなモデルを組み合わせたものである。 PaLM2プレトレーニングデータセットでは、PaLM2-BisonとPaLM2-Geckoのタンデムが次点予測精度を3.3%改善している。
  論文  参考訳（メタデータ） (2024-02-13T18:24:08Z)
• BiTA: Bi-Directional Tuning for Lossless Acceleration in Large Language Models [37.09385961422664]
  大規模言語モデル(LLM)は、推論中に自己回帰生成を使用することが多く、高いメモリ帯域幅要求と拡張レイテンシをもたらす。 半自己回帰生成とドラフト検証によるLCMの高速化手法であるBiTA(Bi-directional Tuning for Losless Acceleration)を提案する。 提案されたBiTA、LLaMA-2-70B-ChatはMT-Benchベンチマークで2.7$times$のスピードアップを達成した。
  論文  参考訳（メタデータ） (2024-01-23T06:36:49Z)
• Medusa: Simple LLM Inference Acceleration Framework with Multiple Decoding Heads [60.84145004678826]
  大規模言語モデル (LLM) では、逐次計算を必要とする自動回帰デコーディングを採用している。 我々は、余分なデコードヘッドを追加することでLLM推論を強化する効率的な方法であるMedusaを提案する。 ツリーベースのアテンションメカニズムを使用して、Medusaは複数の候補継続を構築し、各デコードステップでそれらを同時に検証する。
  論文  参考訳（メタデータ） (2024-01-19T15:48:40Z)
• Fast and Robust Early-Exiting Framework for Autoregressive Language Models with Synchronized Parallel Decoding [43.659680579686544]
  本稿では,浅層深度モジュールと並列デコーディングを併用したFast and Robust Early-Exitingフレームワークを提案する。 我々のフレームワークは、既存のトークンの復号処理を、以前に積み重ねられた早期発行トークンと同期させることで、より高速な推論を可能にする。 並列デコーディングにより,浅層モデルと深部モデルの両方からの予測を観測できるので,新しい適応しきい値推定器を提案する。
  論文  参考訳（メタデータ） (2023-10-09T05:53:05Z)
• StreamYOLO: Real-time Object Detection for Streaming Perception [84.2559631820007]
  将来を予測する能力を備えたモデルを提供し、ストリーミング知覚の結果を大幅に改善する。 本稿では,複数の速度を駆動するシーンについて考察し,VasAP(Velocity-Awared streaming AP)を提案する。 本手法は,Argoverse-HDデータセットの最先端性能を実現し,SAPとVsAPをそれぞれ4.7%,VsAPを8.2%改善する。
  論文  参考訳（メタデータ） (2022-07-21T12:03:02Z)
• Approximated Bilinear Modules for Temporal Modeling [116.6506871576514]
  CNNの2層は補助ブランチサンプリングを追加することで、時間的双線形モジュールに変換できる。 我々のモデルは、事前トレーニングなしで、Something v1とv2データセットの最先端メソッドよりも優れている。
  論文  参考訳（メタデータ） (2020-07-25T09:07:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。