Fugu-MT 論文翻訳(概要): Multi-Drafter Speculative Decoding with Alignment Feedback

論文の概要: Multi-Drafter Speculative Decoding with Alignment Feedback

arxiv url: http://arxiv.org/abs/2604.05417v1
Date: Tue, 07 Apr 2026 04:25:26 GMT
ステータス: 翻訳完了
システム内更新日: 2026-04-08 17:42:09.623533
Title: Multi-Drafter Speculative Decoding with Alignment Feedback
Title（参考訳）: アライメントフィードバックを用いた多自由度投機復号法
Abstract要約: 投機的復号(SD)は、より小さなモデルを用いて将来のトークンをドラフトすることで、大きな言語モデル(LLM)推論を加速する。我々は、複数のドラフトラをSDプロセスに統合する統合フレームワークであるtextsc MetaSDを紹介した。
参考スコア（独自算出の注目度）: 37.869090398558505
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Speculative decoding (SD) accelerates large language model (LLM) inference by using a smaller model to draft future tokens, which are then verified by the target LLM. This preserves generation quality by accepting only aligned tokens. However, individual drafters, often trained for specific tasks or domains, exhibit limited effectiveness across diverse applications. To address this, we introduce \textsc{MetaSD}, a unified framework that integrates multiple drafters into the SD process. MetaSD dynamically allocates computational resources to heterogeneous drafters by leveraging alignment feedback and framing drafter selection as a multi-armed bandit problem. Extensive experiments show MetaSD consistently outperforms single-drafter approaches.
Abstract（参考訳）: 投機的復号(SD)は、より小さなモデルを用いて将来のトークンをドラフトし、大きな言語モデル(LLM)推論を加速する。これにより、整列トークンのみを受け入れることにより、生成品質が保たれる。しかし、特定のタスクやドメインのために訓練される個々のドラフト作成者は、様々なアプリケーションに対して限られた効果を示す。これを解決するために、複数のドラフトラをSDプロセスに統合する統合フレームワークである \textsc{MetaSD} を紹介します。 MetaSDは、アライメントフィードバックとフレーミング・ドラフトラ選択をマルチアームバンディット問題として活用することにより、計算資源を異種ドラフトラに動的に割り当てる。大規模な実験は、MetaSDがシングルドローのアプローチより一貫して優れていることを示している。

関連論文リスト

PRISMR: Overcoming Parse Collapse in Multimodal Listwise Ranking via Parameterized Representation Internalization [49.659739762240655]
LMM(Large Multimodal Models)を用いたジェネレーティブ・リストワイド・ランキングは,グローバル・リストのコンテキストを単一の前方通過で捉えることを目的としている。自動回帰デコーダは、無音で候補を省略し、早期に終了することで、流動的で不完全なランク付けを発生させる。 PRISMRは、一貫したコンテキスト内リスト処理をパラメトリックな構造条件に置き換えるフレームワークである。
論文参考訳（メタデータ） (2026-06-11T06:09:51Z)
TABED: Test-Time Adaptive Ensemble Drafting for Robust Speculative Decoding in LVLMs [14.030784220154151]
本研究では,大規模視覚言語モデルに対するTABED(Test-time Adaptive Batched Ensemble Drafting)を提案する。 TABEDは、SD設定で利用可能な過去の真実からの逸脱を利用して、バッチ推論によって得られた複数のドラフトをアンサンブルする。自動回帰復号法よりも1.74倍のロバストなウォールタイム・スピードアップを実現し、単一起草法よりも5%改善した。
論文参考訳（メタデータ） (2026-01-28T08:16:57Z)
DiffuSpec: Unlocking Diffusion Language Models for Speculative Decoding [66.40658898418316]
DiffuSpecは、事前訓練された拡散言語モデル(DLM)を用いて、単一のフォワードパスでマルチトークンのドラフトを生成する、トレーニングフリーのドロップインフレームワークである。ベンチマーク全体を通じて、DiffuSpecは最大3倍のウォールクロックスピードアップを達成し、投機的復号化のための自己回帰型ドラフトラの堅牢な代替手段として拡散ベースのドラフトを確立する。
論文参考訳（メタデータ） (2025-09-28T07:00:15Z)
Towards Text-Image Interleaved Retrieval [49.96332254241075]
テキスト画像検索(TIIR)タスクを導入し、クエリと文書をインターリーブしたテキスト画像シーケンスとする。我々は、自然にインターリーブされたwikiHowチュートリアルに基づいてTIIRベンチマークを構築し、インターリーブされたクエリを生成するために特定のパイプラインを設計する。異なる粒度で視覚トークンの数を圧縮する新しいMMEを提案する。
論文参考訳（メタデータ） (2025-02-18T12:00:47Z)
Lossless Acceleration of Large Language Models with Hierarchical Drafting based on Temporal Locality in Speculative Decoding [11.167833073080612]
LLM(Large Language Models)における推論の高速化は、リアルタイムインタラクションにおいて重要である。投機的復号化は、トークンの起草と検証によって推論速度の向上に注目され、1つのフォワードパスで複数のトークンが生成される。本稿では,時間的局所性に基づく階層型フレームワークを用いて,さまざまなトークンソースを複数のデータベースにまとめる,新しい無損失ドラフト手法である階層ドラフト(HD)を提案する。 7B と 13B のパラメータを持つ LLM を用いた Spec-Bench 実験では,HD が既存のデータベースドラフト手法より優れており,モデルサイズ,タスク,温度に対する堅牢な推論スピードアップが達成されている。
論文参考訳（メタデータ） (2025-02-08T15:32:53Z)
Accelerating LLM Inference with Lossless Speculative Decoding Algorithms for Heterogeneous Vocabularies [7.14946066475415]
投機的復号法(SD法)は、単一の目標フォワードパスを使用して複数のトークンを生成することにより、実質的な効率向上をもたらす。既存のSDアプローチでは、ドラフトラとターゲットモデルは同じ語彙を共有する必要があるため、ドラフトラのプールが制限される。この共有語彙制約を除去する3つの新しいSD手法を提案する。我々のアルゴリズムは、標準の自己回帰復号よりも最大2.8倍の高速化を示す。
論文参考訳（メタデータ） (2025-01-31T19:13:58Z)
Improving Multi-candidate Speculative Decoding [1.6291177798903276]
投機的復号化(SD)とは,大規模言語モデル(LLM)の推論を高速化する手法である。そこで本研究では,ターゲットモデルによるマルチ候補生成を含むMCSDの新バージョンを提案する。また、異なるドラフトモデルを用いたターゲットモデルマルチ候補プロセスが出力品質に及ぼす影響についても検討した。
論文参考訳（メタデータ） (2024-09-16T18:20:38Z)
Learning Multi-Aspect Item Palette: A Semantic Tokenization Framework for Generative Recommendation [55.99632509895994]
マルチアスペクトセマンティックトークン化のための新しいアプローチであるLAMIAを紹介する。単一の埋め込みを使用するRQ-VAEとは異なり、LAMIAは独立的でセマンティックな並列な埋め込みの集合である「アイテムパレット」を学習する。その結果,提案手法よりも提案手法の精度が大幅に向上した。
論文参考訳（メタデータ） (2024-09-11T13:49:48Z)
Multi-Candidate Speculative Decoding [82.05519287513444]
大規模な言語モデルは、様々なNLPタスクで印象的な機能を示してきたが、その生成は自動回帰的に時間を要する。これは高速なドラフトモデルから候補セグメントを生成し、ターゲットモデルによって並列に検証する。本稿では,複数の候補をドラフトモデルから抽出し,検証のためにバッチにまとめる手法を提案する。対象モデルの分布を維持しつつ,効率的な多候補検証のためのアルゴリズムを設計する。
論文参考訳（メタデータ） (2024-01-12T17:15:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。