論文の概要: Clover-2: Accurate Inference for Regressive Lightweight Speculative Decoding

• arxiv url: http://arxiv.org/abs/2408.00264v1
• Date: Thu, 1 Aug 2024 03:43:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-04 21:45:24.466033
• Title: Clover-2: Accurate Inference for Regressive Lightweight Speculative Decoding
• Title（参考訳）: Clover-2:Regressive Lightweight Speculative Decodingのための正確な推論
• Authors: Bin Xiao, Lujun Gui, Lei Su, Weipeng Chen,
• Abstract要約: レグレッシブ・ライトウェイトな投機的復号化は、テキスト生成タスクにおける顕著な効率改善のために注目を集めている。 Clover-2は、RNNベースのドラフトモデルであり、アテンションデコーダ層モデルと同等の精度を達成するように設計されている。
• 参考スコア（独自算出の注目度）: 8.046705062670096
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) frequently suffer from inefficiencies, largely attributable to the discord between the requirements of auto-regressive decoding and the architecture of contemporary GPUs. Recently, regressive lightweight speculative decoding has garnered attention for its notable efficiency improvements in text generation tasks. This approach utilizes a lightweight regressive draft model, like a Recurrent Neural Network (RNN) or a single transformer decoder layer, leveraging sequential information to iteratively predict potential tokens. Specifically, RNN draft models are computationally economical but tend to deliver lower accuracy, while attention decoder layer models exhibit the opposite traits. This paper presents Clover-2, an advanced iteration of Clover, an RNN-based draft model designed to achieve comparable accuracy to that of attention decoder layer models while maintaining minimal computational overhead. Clover-2 enhances the model architecture and incorporates knowledge distillation to increase Clover's accuracy and improve overall efficiency. We conducted experiments using the open-source Vicuna 7B and LLaMA3-Instruct 8B models. The results demonstrate that Clover-2 surpasses existing methods across various model architectures, showcasing its efficacy and robustness.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、しばしば非効率に悩まされ、主に自動回帰復号化の要件と現代のGPUのアーキテクチャの相違に起因する。 近年,テキスト生成タスクの効率向上に注目が集まっている。 このアプローチでは、リカレントニューラルネットワーク(RNN)やシングルトランスフォーマーデコーダレイヤなどの軽量な回帰ドラフトモデルを使用して、シーケンシャル情報を活用して、潜在的なトークンを反復的に予測する。 具体的には、RNNのドラフトモデルは計算経済的だが精度が低い傾向があり、アテンションデコーダ層モデルは反対の特性を示す。 本稿では,最小の計算オーバーヘッドを維持しつつ,注目デコーダ層モデルと同等の精度を実現するために設計された,RNNベースのドラフトモデルであるClover-2を提案する。 Clover-2はモデルアーキテクチャを強化し、知識蒸留を取り入れてクローバーの精度を高め、全体的な効率を向上させる。 オープンソースのVicuna 7BとLLaMA3-Instruct 8Bモデルを用いて実験を行った。 その結果,Clover-2は様々なモデルアーキテクチャにまたがる既存の手法を超越し,その有効性と堅牢性を示した。

関連論文リスト

• Dynamic layer selection in decoder-only transformers [21.18795712840146]
  自然言語生成のための2つの一般的な動的推論手法を実証的に検討する。 トレーニング済みのデコーダのみのモデルでは,層スキップによる層除去が著しく堅牢であることがわかった。 また、シーケンス毎の動的計算割り当ては、大きな効率向上を約束することを示す。
  論文  参考訳（メタデータ） (2024-10-26T00:44:11Z)
• ContextGS: Compact 3D Gaussian Splatting with Anchor Level Context Model [77.71796503321632]
  我々は3DGS表現のアンカーレベルにコンテキストモデルを導入し,バニラ3DGSと比較して100倍以上のサイズの縮小を実現した。 我々の研究は3DGS表現のためのアンカーレベルのコンテキストモデルを開拓し、バニラ3DGSに比べて100倍以上、そして最新の最先端のScaffold-GSに比べて15倍の大幅なサイズ縮小を実現した。
  論文  参考訳（メタデータ） (2024-05-31T09:23:39Z)
• Efficient Transformer Encoders for Mask2Former-style models [57.54752243522298]
  ECO-M2Fは、入力画像上に条件付きエンコーダ内の隠蔽層数を自己選択する戦略である。 提案手法は、性能を維持しながら、予測エンコーダの計算コストを削減する。 アーキテクチャ構成では柔軟性があり、セグメンテーションタスクを超えてオブジェクト検出まで拡張できる。
  論文  参考訳（メタデータ） (2024-04-23T17:26:34Z)
• Complexity Matters: Rethinking the Latent Space for Generative Modeling [65.64763873078114]
  生成的モデリングにおいて、多くの成功したアプローチは、例えば安定拡散のような低次元の潜在空間を利用する。 本研究では, モデル複雑性の観点から潜在空間を再考することにより, 未探索の話題に光を当てることを目的としている。
  論文  参考訳（メタデータ） (2023-07-17T07:12:29Z)
• Improving Dual-Encoder Training through Dynamic Indexes for Negative Mining [61.09807522366773]
  本稿では,ソフトマックスを証明可能な境界で近似し,木を動的に維持するアルゴリズムを提案する。 我々は,2000万以上のターゲットを持つデータセットについて検討し,オラクル・ブルート力負の鉱業に関して,誤差を半分に削減した。
  論文  参考訳（メタデータ） (2023-03-27T15:18:32Z)
• TinyHD: Efficient Video Saliency Prediction with Heterogeneous Decoders using Hierarchical Maps Distillation [16.04961815178485]
  複数の単純ヘテロジニアスデコーダを用いた軽量モデルを提案する。 提案手法は,最先端手法よりも同等かそれ以上の精度で精度を予測できる。
  論文  参考訳（メタデータ） (2023-01-11T18:20:19Z)
• 3DVerifier: Efficient Robustness Verification for 3D Point Cloud Models [17.487852393066458]
  既存のポイントクラウドモデルの検証手法は,大規模ネットワーク上で時間的・計算的に実現不可能である。 本稿では,2つの問題に対処する3DVerifierを提案し,線形緩和関数を適用して乗算層を結合し,前方と後方の伝搬を結合する。 提案手法は,大規模ネットワークにおける検証効率のオーダー・オブ・マグニチュード向上を実現し,得られた認証境界も最先端の検証器よりもかなり厳密である。
  論文  参考訳（メタデータ） (2022-07-15T15:31:16Z)
• Load-balanced Gather-scatter Patterns for Sparse Deep Neural Networks [20.374784902476318]
  モデル重み付けにゼロを導入する方法として, モデル精度と計算効率のトレードオフを良好に提供する方法として, プルーニングが有効であることが示されている。 現代のプロセッサには、高速なオンチップスクラッチパッドメモリと、間接的に負荷を発生させ、そのようなメモリ上の操作を格納する集/散乱エンジンが備わっている。 本研究では,スクラッチパッドメモリと集合/散乱エンジンを利用して,ニューラルネットワークの推論を高速化する,新しいスパースパターン(GSパターン)を提案する。
  論文  参考訳（メタデータ） (2021-12-20T22:55:45Z)
• a novel attention-based network for fast salient object detection [14.246237737452105]
  現在の有向物体検出ネットワークにおいて、最も一般的な方法はU字型構造を用いることである。 3つのコントリビューションを持つ新しい深層畳み込みネットワークアーキテクチャを提案する。 提案手法は, 精度を損なうことなく, 原サイズの1/3まで圧縮できることを示した。
  論文  参考訳（メタデータ） (2021-12-20T12:30:20Z)
• Secrets of 3D Implicit Object Shape Reconstruction in the Wild [92.5554695397653]
  コンピュータビジョン、ロボティクス、グラフィックスの様々な用途において、高精細な3Dオブジェクトをスパースから再構築することは重要です。 最近の神経暗黙的モデリング法は、合成データセットまたは高密度データセットで有望な結果を示す。 しかし、粗末でノイズの多い実世界のデータではパフォーマンスが悪い。 本論文では, 一般的な神経暗黙モデルの性能低下の根本原因を解析する。
  論文  参考訳（メタデータ） (2021-01-18T03:24:48Z)
• Triple Wins: Boosting Accuracy, Robustness and Efficiency Together by Enabling Input-Adaptive Inference [119.19779637025444]
  深層ネットワークは、(クリーンな自然画像の場合)正確さと(敵対的な摂動画像の場合)頑健さの相違に直面することを最近提案された。 本稿では,入力適応推論に関連するマルチエグジットネットワークについて検討し,モデル精度,ロバスト性,効率の最適化において「スイートポイント」を達成する上での強い期待を示す。
  論文  参考訳（メタデータ） (2020-02-24T00:40:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。