論文の概要: Recovering Off-Policy Supervision for Speculative Decoding

• arxiv url: http://arxiv.org/abs/2609.38795v2
• Date: Sun, 04 Oct 2026 17:01:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-07 17:09:29.334305
• Title: Recovering Off-Policy Supervision for Speculative Decoding
• Title（参考訳）: 投機的復号化のためのオフポリティ・スーパービジョンの復元
• Abstract要約: 投機的復号化のためのブロックドラフトは、一般的に外部モデルによって書かれたコーパスで訓練される。 既存のアプローチは分岐スロットを破棄し、深刻な監視損失をもたらす。 本稿では,2つの補完的なコンポーネントを通じて完全な監視を回復するロールアウトベースのトレーニングフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 24.020501891333097
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Block drafters for speculative decoding are commonly trained on corpora written by external models, where a single off-policy token invalidates supervision for all subsequent slots in a block. Existing approaches discard these divergent slots, resulting in severe supervision loss. To resolve this problem while preserving the training corpus, we propose a rollout-based training framework that recovers full supervision through two complementary components. The first component, Anchor-Label Relabelling (ALR), replaces corpus labels with distributions from greedy target rollouts, restoring valid supervision across all predicted slots. The second component, In-Rollout Anchors (IRA), places draft blocks directly inside these rollouts to expose the drafter to target-generated context, reusing precomputed rollout features at no additional target cost. Across fixed vision-language and text corpora, our framework increases greedy accepted length by up to 36.5% over DFlash and consistently outperforms erasing baselines. Notably, a single epoch of our method surpasses the best erase schedules. After three epochs, it matches the acceptance length of training on target-regenerated responses. These results show that our framework provides an effective and compute-efficient approach for training speculative drafters on fixed corpora without modifying the original text. Code is available at https://github.com/js-lee-AI/ALR-IRA.
• Abstract（参考訳）: 投機的復号化のためのブロックドラフトは、一般的に外部モデルによって書かれたコーパスで訓練される。 既存のアプローチはこれらの分岐スロットを捨て、深刻な監視損失をもたらす。 トレーニングコーパスを保ちながらこの問題を解決するために,2つの補完的なコンポーネントを通して全監督を回復するロールアウトベースのトレーニングフレームワークを提案する。 最初のコンポーネントであるAnchor-Label Relabelling (ALR)は、コーパスラベルをgreedyターゲットロールアウトのディストリビューションに置き換え、予測されたすべてのスロットにわたって有効な監視を復元する。 第2のコンポーネントであるIn-Rollout Anchors (IRA)は、これらのロールアウト内で直接ドラフトブロックを配置して、プロダラをターゲット生成コンテキストに公開し、事前計算されたロールアウト機能を追加の目標コストなしで再利用する。 固定された視覚言語とテキストコーパス全体で、我々のフレームワークは、DFlashよりも36.5%も長持ちし、ベースラインを一貫して上回っている。 特に、我々の方法の1つのエポックは、最高の消去スケジュールを超越している。 3つのエポックの後、ターゲット再生反応に対するトレーニングの受入長と一致する。 これらの結果から,本フレームワークは,原文の変更を伴わずに,固定コーパス上で投機的ドラフトラを訓練するための,効率的かつ効率的な手法であることがわかった。 コードはhttps://github.com/js-lee-AI/ALR-IRAで公開されている。

関連論文リスト

• $T^5$: Twin-Critic Training for Token-Level Thoughts in Reinforcement Mid-Training [38.44142588468548]
  既存のグループ相対法では、コストがかかる。 単一生成軌道からトークンレベルの利点を校正するツインクリティカルな方法であるtfourを提案する。 実験の結果、最先端の批判のない手法と比較して、tfourは平均ベンチマーク性能を7.8%改善し、平均トレーニングステップ時間を63.4%削減した。
  論文  参考訳（メタデータ） (2026-09-26T17:07:57Z)
• Aligned Consensus Teaching for Label-Efficient Oriented Object Detection in Weakly-Aligned Visible-Infrared Imagery [69.65321798954088]
  Visible-Infrared Object Detection (VIOD)は、対の可視画像と赤外線画像から、向き付けられたバウンディングボックスを持つ物体を検出する。 本研究では, ラベル効率の高いVIODのためのアラインド・コンセンサス・インスツルメンツ(ACT)を提案する。 コードとモデルはGitHubで公開され、今後の作業が容易になる。
  論文  参考訳（メタデータ） (2026-09-16T04:59:37Z)
• ResiSpec: Enhancing Multi-Candidate Speculative Sampling via Residual Distribution Shaping [79.1905186547363]
  ResiSpecは、検証中に提案の配布を戦略的に改革するフレームワークである。 候補の偏光を防止し、最先端のマルチ候補法よりも最大1.92$times$スピードアップを達成する。
  論文  参考訳（メタデータ） (2026-08-25T11:25:55Z)
• ShortOPD: Recovering Pruned LLMs with Short-to-Long On-Policy Distillation [72.54604107217669]
  textscpass@$k$は圧縮後にほぼ消滅するが、textscpass@$k$は繰り返しサンプリングの下でほぼ回復する。 回復は、密集したトークンレベルの監督の下で、圧縮されたモデル自身のオン政治状態で訓練すべきである。 我々は,教師が確認した反復接尾辞を検知する短時間のOPDスケジュールであるtextbfshortopdを提案する。
  論文  参考訳（メタデータ） (2026-07-14T17:50:50Z)
• Spec-AUF: Accept-Until-Fail Training under Train-Inference Misalignment for Masked Block Drafters [3.9513930662588863]
  ブロック(DLMスタイル)のドラフトラは、全ブロックを並列に予測し、高速だがフルブロックのクロスエントロピーでトレーニングする。 最近の受け入れ認識の目的は、全ブロック損失を再重み付けすることで、この問題に対処する。 AUFは、ドラフト作成者が最初に予測した失敗を通してのみ、クロスエントロピーのサポートを維持することで、損失側のプレフィックスセンシティブな監視を近似する。
  論文  参考訳（メタデータ） (2026-07-02T08:44:04Z)
• Draft-OPD: On-Policy Distillation for Speculative Draft Models [49.23782868133977]
  投機的復号化は,提案したトークンを並列に検証した軽量なドラフトモデルとターゲットモデルを組み合わせることで,大規模言語モデル推論を加速させる。 本稿では,安定な継続のために目標支援ロールアウトを利用するDraft-OPDを提案する。
  論文  参考訳（メタデータ） (2026-05-28T04:30:22Z)
• From Patches to Trajectories: Privileged Process Supervision for Software-Engineering Agents [56.31499185764872]
  教師の長い軌道上の監督された微調整(SFT)は、オープンソフトウェアエンジニアリング(SWE)エージェントに調査と推論を浸透させる主要な方法である。 本稿では,P2T (Patches-to-Trajectories) を提案する。P2T (Patches-to-Trajectories) は,P2T (Patches-to-Trajectories) において,P2T (Patches-to-Trajectories) とP2T (Patches-to-Trajectories) の2つの最適化法である。
  論文  参考訳（メタデータ） (2026-05-21T04:54:55Z)
• TRACEALIGN -- Tracing the Drift: Attributing Alignment Failures to Training-Time Belief Sources in LLMs [7.125400292079228]
  大きな言語モデル(LLM)は、人間の値に合わせるように微調整され、しばしばアライメントドリフトを示す。 以前の作業ではアライメント障害が特徴的だったが、これらの障害の根底にあるトレーニングタイムの信念源についてはほとんど知られていない。 TraceAlignは、モデルのトレーニングコーパスの根本原因に安全でない完了をトレースするための統一されたフレームワークである。
  論文  参考訳（メタデータ） (2025-08-04T05:03:35Z)
• Three ways to improve feature alignment for open vocabulary detection [88.65076922242184]
  ゼロショットオープンボキャブラリ検出の鍵となる問題は、視覚的特徴とテキスト的特徴の整合性である。 以前のアプローチでは、特徴ピラミッドと検出ヘッドをゼロからトレーニングし、事前トレーニング中に確立された視覚テキストの特徴アライメントを壊す。 本稿では,これらの問題を緩和する3つの方法を提案する。まず,テキストの埋め込みを強化するための簡単なスキームを用いて,学習中に見られる少数のクラスへの過度な適合を防止する。 次に、特徴ピラミッドネットワークと検出ヘッドをトレーニング可能なショートカットを含むように変更する。 最後に、より大きなコーパスを活用するために、自己学習アプローチが使用される。
  論文  参考訳（メタデータ） (2023-03-23T17:59:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。