論文の概要: Osprey: Target-agnostic Pre-training Makes Stronger Drafters in Speculative Decoding

• arxiv url: http://arxiv.org/abs/2609.09338v1
• Date: Tue, 08 Sep 2026 18:23:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.784243
• Title: Osprey: Target-agnostic Pre-training Makes Stronger Drafters in Speculative Decoding
• Title（参考訳）: Osprey: ターゲットに依存しない事前トレーニングは、投機的デコードで引き起こす
• Abstract要約: Ospreyは、既訓練の小さな言語モデルからドラフトをブートストラップする。 1つの事前訓練されたオスプレイのバックボーンは、Qwen3-8Bが16.1%、Llama-3.3-70B-Instructが21.2%、MiniMax-M2.5が22.7%、目標を越えて平均受容長が16.1%向上する。
• 参考スコア（独自算出の注目度）: 24.26957943118865
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Speculative decoding is critical for accelerating LLM inference. However, the speedup is fragile: drafters are typically trained against a narrow distribution for a single target model, and their acceptance rate collapses under workload shifts. This is a striking inversion of modern LLM development, where target models are valued precisely for the broad generalization they acquire through large-scale pretraining. We argue that the natural remedy, pretraining, has been hard to apply to drafters because existing recipes are target-specific: the drafter consumes the target's hidden states and is distilled on the target's logits, so pretraining must be repeated for each target. We introduce Osprey, which instead bootstraps drafters from off-the-shelf pretrained small language models, treating broad pretraining as a reusable, target-agnostic asset and reducing per-target work to a lightweight adaptation step. Realizing this requires overcoming two challenges: small LMs are far deeper than a latency-bound drafter can afford, and their pretrained computation must remain intact while the drafter learns to ingest target hidden states and emit tokens in the target's vocabulary. Osprey addresses both by pruning to a shallow backbone, restoring its language-modeling capability with target-agnostic next-token pretraining, and adapting it to each target through vocabulary alignment, zero-initialized QKV expansion, and distillation from the target model's output distribution. Empirically, a single pretrained Osprey backbone transfers across targets and improves mean acceptance length by 16.1% for Qwen3-8B, 21.2% for Llama-3.3-70B-Instruct, and 22.7% for the 229B MiniMax-M2.5 (with 17.5% higher tokens per second), with the largest gains on out-of-domain and multilingual data. Our code is available at https://github.com/LeanModels/Osprey.
• Abstract（参考訳）: 投機的復号化はLLM推論の加速に重要である。 しかし、スピードアップは脆弱で、通常は1つのターゲットモデルに対して狭い分布に対して訓練される。 これは現代のLLM開発における顕著な逆転であり、ターゲットモデルは大規模事前学習によって得られる広範囲な一般化のために正確に評価される。 既存のレシピはターゲットの隠れた状態を消費し、ターゲットのログに蒸留されるので、各ターゲットに対して事前訓練を繰り返す必要がある。 代わりにOspreyを紹介します。これは、オフザシェルフで事前訓練された小さな言語モデルからドラフトをブートストラップし、広範囲の事前訓練を再利用可能なターゲットに依存しない資産として扱い、ターゲットごとの作業量を軽量な適応ステップに削減します。 小さなLMは遅延バウンドのドラフトアよりもはるかに深く、事前訓練済みの計算はそのままでなければならないが、ドラフトアはターゲットの隠れた状態を取り込み、ターゲットの語彙にトークンを発行することを学習する。 Ospreyは、浅いバックボーンにプルーニングし、ターゲットに依存しない次のトーンプレトレーニングで言語モデリング能力を回復し、語彙アライメント、ゼロ初期化QKV拡張、ターゲットモデルの出力分布からの蒸留を通じて各ターゲットに適応させることによって、双方に対処する。 実証的に、1つの事前訓練されたオスプレイのバックボーンがターゲット間で移動し、Qwen3-8Bでは16.1%、Llama-3.3-70B-Instructでは21.2%、および229B MiniMax-M2.5(毎秒17.5%高いトークン)では22.7%、ドメイン外および多言語データでは最大である。 私たちのコードはhttps://github.com/LeanModels/Osprey.comで利用可能です。

関連論文リスト

• Learning to Move Before Learning to Do: Task-Agnostic pretraining for VLAs [46.61554174146852]
  Task-Agnostic Pretraining (TAP)は、安価な未ラベルのインタラクションデータから転送可能なモータの事前学習を行う2段階のフレームワークである。 SIMPLERベンチマークでは、TAPは100万以上の専門家の軌道上でトレーニングされたモデルと、ラベル付きデータの桁数を桁違いに削減する。 現実世界のWidowXプラットフォームでは、TAPは、インターネットスケールのベースラインが0%に崩壊するカメラの摂動の下で25%の成功を維持している。
  論文  参考訳（メタデータ） (2026-07-02T17:33:37Z)
• Value-Based Pre-Training with Downstream Feedback [13.861427289106715]
  V-プレトレーニング(V-Pretraining)は、制御された継続事前トレーニングのための値に基づく、モダリティに依存しない手法である。 軽量タスクデザイナは、各勾配ステップの値が最大になるように事前訓練タスクを再設定する。 一致した学習者の更新予算の下では、0.5B--7B言語モデルのV-Pretrainingは、標準的な次世代予測よりも最大18%の相対的推論を改善する。
  論文  参考訳（メタデータ） (2026-01-29T18:38:09Z)
• RLP: Reinforcement as a Pretraining Objective [103.45068938532923]
  我々は,情報駆動型強化事前訓練の目的として,強化学習のコアスピリットである探索を,事前訓練の最終段階に導くことを提案する。 このトレーニングの目的は、モデルが次に何が起こるかを予測する前に、自分自身で考えることを奨励し、事前学習の早い段階で独立した思考行動を教えることである。 特に、RLPは、通常のテキストにおける事前学習対象としての推論のための強化学習を再構築し、次のトーケン予測と有用な連鎖推論の出現の間のギャップを埋める。
  論文  参考訳（メタデータ） (2025-09-26T17:53:54Z)
• Accelerating LLM Inference with Lossless Speculative Decoding Algorithms for Heterogeneous Vocabularies [7.14946066475415]
  投機的復号法(SD法)は、単一の目標フォワードパスを使用して複数のトークンを生成することにより、実質的な効率向上をもたらす。 既存のSDアプローチでは、ドラフトラとターゲットモデルは同じ語彙を共有する必要があるため、ドラフトラのプールが制限される。 この共有語彙制約を除去する3つの新しいSD手法を提案する。 我々のアルゴリズムは、標準の自己回帰復号よりも最大2.8倍の高速化を示す。
  論文  参考訳（メタデータ） (2025-01-31T19:13:58Z)
• An Analysis and Mitigation of the Reversal Curse [70.13419502543915]
  最近の研究は、大型言語モデル(LLM)で注目すべき現象を観測している。 逆の呪文は、$a$と$b$の2つのエンティティを扱う場合、LLMは$aRb$,'という形式でシーケンスを処理するのに優れるが、$bR-1a$'を処理する場合の課題に直面することである。
  論文  参考訳（メタデータ） (2023-11-13T17:01:12Z)
• nanoLM: an Affordable LLM Pre-training Benchmark via Accurate Loss Prediction across Scales [65.01417261415833]
  我々は,最大更新パラメトリゼーション(muP)がスケーリング法則の正確な適合を可能にするという観測に基づいて,事前学習損失を予測する手法を提案する。 トレーニング前コストの約14%で、52Bまでのモデルの損失を正確に予測できる。 NanoLMのゴールは、限られた資源を持つ研究者が大きなモデルで有意義な結論に達することを可能にすることです。
  論文  参考訳（メタデータ） (2023-04-14T00:45:01Z)
• Automating Code-Related Tasks Through Transformers: The Impact of Pre-training [15.129062963782005]
  コード関連タスクの自動化において,事前学習対象が変圧器の性能に及ぼす影響について検討する。 i)ソフトウェア工学(SE)の文献に通常採用される汎用的な事前学習目標と,(ii)特定のコード関連タスクに適した事前学習目標の両方を用いて,32の変圧器を事前訓練する。
  論文  参考訳（メタデータ） (2023-02-08T13:37:33Z)
• GanLM: Encoder-Decoder Pre-training with an Auxiliary Discriminator [114.8954615026781]
  本稿では,補助判別器を導入して,エンコーダ・デコーダ事前学習のためのGANスタイルのモデルを提案する。 GanLMは2つのトレーニング済みの目標 – トークン検出の置き換えとトークン記述の置き換え – でトレーニングされている。 言語生成ベンチマークの実験では、強力な言語理解能力を持つ GanLM が、様々な強力な事前学習言語モデルより優れていることが示されている。
  論文  参考訳（メタデータ） (2022-12-20T12:51:11Z)
• Language Model Pre-Training with Sparse Latent Typing [66.75786739499604]
  そこで本研究では,多種多様な潜在型を持つ文レベルのキーワードを疎に抽出することのできる,事前学習対象Sparse Latent Typingを提案する。 実験結果から,本モデルは外部知識を使わずに,自己教師型で解釈可能な潜在型カテゴリを学習できることが示唆された。
  論文  参考訳（メタデータ） (2022-10-23T00:37:08Z)
• Underspecification in Language Modeling Tasks: A Causality-Informed Study of Gendered Pronoun Resolution [0.0]
  本稿では,素因性相関の生成における不特定性の役割を説明するための簡単な因果機構を提案する。 その単純さにもかかわらず、我々の因果モデルは2つの軽量ブラックボックス評価手法の開発を直接的に知らせる。
  論文  参考訳（メタデータ） (2022-09-30T23:10:11Z)
• Generative multitask learning mitigates target-causing confounding [61.21582323566118]
  マルチタスク学習のための因果表現学習のためのシンプルでスケーラブルなアプローチを提案する。 改善は、目標を狙うが入力はしない、観測されていない共同ファウンダーを緩和することによる。 人の属性とタスクノミーのデータセットに対する我々の結果は、事前の確率シフトに対するロバストネスの概念的改善を反映している。
  論文  参考訳（メタデータ） (2022-02-08T20:42:14Z)
• From Good to Best: Two-Stage Training for Cross-lingual Machine Reading Comprehension [51.953428342923885]
  モデル性能を向上させるための2段階のアプローチを開発する。 我々は、トップk予測が正確な答えを含む確率を最大化するために、ハードラーニング(HL)アルゴリズムを設計する。 第2段階では, 正解と他の候補との微妙な違いを学習するために, 解答を意識したコントラスト学習機構が開発された。
  論文  参考訳（メタデータ） (2021-12-09T07:31:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。