Fugu-MT 論文翻訳(概要): Draft on the Fly: Adaptive Self-Speculative Decoding using Cosine Similarity

論文の概要: Draft on the Fly: Adaptive Self-Speculative Decoding using Cosine Similarity

arxiv url: http://arxiv.org/abs/2410.01028v1
Date: Tue, 1 Oct 2024 19:35:23 GMT
ステータス: 処理完了
システム内更新日: 2024-11-04 23:40:11.792278
Title: Draft on the Fly: Adaptive Self-Speculative Decoding using Cosine Similarity
Title（参考訳）: 羽ばたき:コサイン類似性を用いた適応的自己投機的復号法
Authors: Michael R. Metel, Peng Lu, Boxing Chen, Mehdi Rezagholizadeh, Ivan Kobyzev,
Abstract要約: 本研究では,大規模言語モデルの高速な推論のためのフライ法を提案する。他の(自己)投機的復号法とは異なり、固定されたドラフトモデルを生成するために微調整やブラックボックスの最適化は不要である。我々の軽量アルゴリズムは、真のプラグ・アンド・プレイ方式でありながら、現在のSOTAと自己投機的復号化の競争力があることを実証的に示す。
参考スコア（独自算出の注目度）: 40.76826424268574
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We present a simple on the fly method for faster inference of large language models. Unlike other (self-)speculative decoding techniques, our method does not require fine-tuning or black-box optimization to generate a fixed draft model, relying instead on simple rules to generate varying draft models adapted to the input context. We show empirically that our light-weight algorithm is competitive with the current SOTA for self-speculative decoding, while being a truly plug-and-play method.
Abstract（参考訳）: 本研究では,大規模言語モデルの高速な推論のためのフライ法を提案する。他の(自己)投機的復号法とは異なり,本手法では,入力コンテキストに適合する様々なドラフトモデルを生成するための単純なルールに代えて,固定されたドラフトモデルを生成するために微調整やブラックボックスの最適化を必要としない。我々の軽量アルゴリズムは、真のプラグ・アンド・プレイ方式でありながら、現在のSOTAと自己投機的復号化の競争力があることを実証的に示す。

関連論文リスト

Adaptive Draft-Verification for Efficient Large Language Model Decoding [24.347886232342862]
大規模言語モデル(LLM)デコードでは、与えられたコンテキストに基づいてトークンのシーケンスを生成する。典型的な自己回帰復号法では、生成されたトークンごとに別の前方通過が必要となる。微調整を必要とせずにLDMデコーディングを高速化するADEDを導入する。
論文参考訳（メタデータ） (2024-06-27T22:20:39Z)
Black-Box Tuning of Vision-Language Models with Effective Gradient Approximation [71.21346469382821]
ブラックボックスモデルに対するテキストプロンプト最適化と出力特徴適応のための協調ブラックボックスチューニング(CBBT)を導入する。 CBBTは11のダウンストリームベンチマークで広範囲に評価され、既存のブラックボックスVL適応法と比較して顕著に改善されている。
論文参考訳（メタデータ） (2023-12-26T06:31:28Z)
Physics-informed Machine Learning for Calibrating Macroscopic Traffic Flow Models [7.422267768764612]
交通現象の理解と制御戦略の設計には,よく校正された交通流モデルが不可欠である。そこで本研究では,最適化手法に匹敵する性能と,さらに優れた性能を実現する,物理インフォームドな,学習ベースのキャリブレーション手法を提案する。
論文参考訳（メタデータ） (2023-07-12T16:11:57Z)
Faster Adaptive Federated Learning [84.38913517122619]
フェデレートラーニングは分散データの出現に伴って注目を集めている。本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
論文参考訳（メタデータ） (2022-12-02T05:07:50Z)
Streaming Align-Refine for Non-autoregressive Deliberation [42.748839817396046]
本稿では,ストリーミングRNN-Tモデルの仮説アライメントを意図した非自己回帰的(非AR)デコーディングアルゴリズムを提案する。提案アルゴリズムは,単純なグリーディ復号処理を容易にし,同時に各フレームにおける復号結果を,限られた適切なコンテキストで生成することができる。音声検索データセットとLibrispeechの実験は、合理的な適切なコンテキストで、ストリーミングモデルがオフラインと同等に動作していることを示しています。
論文参考訳（メタデータ） (2022-04-15T17:24:39Z)
A Sparsity-promoting Dictionary Model for Variational Autoencoders [16.61511959679188]
深層生成モデルにおける潜伏空間の構造化は、より表現力のあるモデルと解釈可能な表現を得るために重要である。本稿では,空間の空間構造をスパーシティ・プロモーティング・辞書・モデルを用いて簡易かつ効果的に構築する手法を提案する。
論文参考訳（メタデータ） (2022-03-29T17:13:11Z)
Autoencoding Variational Autoencoder [56.05008520271406]
我々は,この行動が学習表現に与える影響と,自己整合性の概念を導入することでそれを修正する結果について検討する。自己整合性アプローチで訓練されたエンコーダは、敵攻撃による入力の摂動に対して頑健な(無神経な)表現につながることを示す。
論文参考訳（メタデータ） (2020-12-07T14:16:14Z)
Simple and Effective VAE Training with Calibrated Decoders [123.08908889310258]
変分オートエンコーダ(VAE)は、複雑な分布をモデル化するための効果的で簡単な方法である。復号分布の不確かさを学習する校正復号器の影響について検討する。本稿では,一般的なガウス復号器の簡易かつ斬新な修正を提案し,その予測分散を解析的に計算する。
論文参考訳（メタデータ） (2020-06-23T17:57:47Z)
Lexically Constrained Neural Machine Translation with Levenshtein Transformer [8.831954614241234]
本稿では,ニューラルネットワーク翻訳に語彙制約を組み込むための,単純かつ効果的なアルゴリズムを提案する。提案手法は,デコード速度に影響を与えることなく,推論時に用語制約を注入する。
論文参考訳（メタデータ） (2020-04-27T09:59:27Z)
Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
論文参考訳（メタデータ） (2020-04-22T14:41:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。