論文の概要: Oilbird: Training-Free Speculative Decoding with Keys the Verifier Already Computes

• arxiv url: http://arxiv.org/abs/2608.03839v1
• Date: Tue, 04 Aug 2026 15:47:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-05 17:47:10.507447
• Title: Oilbird: Training-Free Speculative Decoding with Keys the Verifier Already Computes
• Title（参考訳）: Oilbird:検証済みのコンピュータのキーでトレーニング不要の投機的デコード
• Abstract要約: トレーニング不要な投機的デコードドラフトは、コンテキストの正確な接尾辞と以前のコンテキストのプールとを一致させることによって行われる。 提案する第2のセマンティックなドラフトソースは,検証者が各コミットトークンですでに計算済みの隠された状態にリキーされた同じプールと,既存の語彙的ドラフト作成者のツリーの中を乗れるマージである。
• 参考スコア（独自算出の注目度）: 12.0234471682647
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training-free speculative decoding drafts by matching an exact suffix of the context against a pool of earlier context. That lookup misses correct drafts already in the pool, most visibly on tool-calling traffic, where a request repeats almost everything but the few values minted for it, and where one rejected token discards the correct continuation behind it. We diagnose the failure position by position across ten benchmarks and find it to be a problem of addressing rather than of coverage: on our densest tool-calling benchmark, about half of what the strongest exact-match drafter misses is present in the pool yet unreachable by exact matching. We therefore propose a second, semantic draft source: the same pool, re-keyed by the hidden state the verifier has already computed at each committed token, together with a merge that lets it ride inside an existing lexical drafter's tree. In three published drafters, at matched pool and budget, it lifts accepted length by 24-29%. Oilbird reaches 4.4x autoregressive decoding speed on API-Bank, against 3.9x for the strongest training-free baseline in our harness and 2.0x for EAGLE-3.
• Abstract（参考訳）: トレーニング不要な投機的デコードドラフトは、コンテキストの正確な接尾辞と以前のコンテキストのプールとを一致させることによって行われる。 そのルックアップは、既にプールにある正しいドラフトを見逃し、最も目に見えるのは、ツール呼び出しトラフィックであり、リクエストは、ほとんど全てを繰り返すが、それに対してマイニングされた数少ない値を除いて、あるトークンは、その背後にある正しい継続を破棄する。 最も密集したツールコールベンチマークでは、最強の正確なマッチのドラフト作成者ミスの約半数が、正確なマッチングによって達成不可能なプールに存在している。 そこで我々は,2つ目のセマンティックなドラフトソースを提案する:同じプールは,検証者が各コミットトークンですでに計算済みの隠された状態によって再キーされる。 3つのドラフトでは、マッチしたプールと予算で、受け入れられた長さを24-29%上げている。 OilbirdはAPI-Bankで4.4倍の自己回帰デコーディング速度に達し、私たちのハーネスで最強のトレーニングフリーベースラインでは3.9倍、EAGLE-3では2.0倍に達した。

関連論文リスト

• Carryover Drafting: Recycling Rejected States for Speculative Decoding [19.01427604285096]
  投機的復号化 LLM は複数の起草トークンを並列に検証することで推論を加速する。 従来の起草者は、承認されたトークンの表現のみを保持し、拒否されたトークンに費やされた実質的な検証は、効果的に無駄にされたままである。 パラレルドラフト-検証--ドラフトトレーニングを導入する。
  論文  参考訳（メタデータ） (2026-09-13T18:20:31Z)
• Verification-Aware Training for Speculative Decoding [57.84976863792784]
  VAT(Verification-Aware Training)は、トレーニングステップ毎に検証をシミュレートし、その結果の受け入れパターンと拒否パターンを監督するプラグインフレームワークである。 VATはトレーニング対象のみを変更するため、ドラフトアーキテクチャやターゲットモデル、推論手順を変更することなく、既存のメソッドの上にレイヤー化することができる。 VATは平均受理期間を最大11.4%改善し、ウォールクロックのスピードアップを最大8.7%向上させ、数学、コード、チャットベンチマークで一貫した利益を得ている。
  論文  参考訳（メタデータ） (2026-08-31T01:42:10Z)
• From Positionwise Confidence to Prefix Scheduling: Verifier Skipping in Speculative Decoding [41.41611499810411]
  投機拡散復号(SDD)は、離散拡散モデルと並行してドラフトブロック内のすべての位置を生成する。 本稿では,これが新しい制御ハンドルを生成することを認識している。
  論文  参考訳（メタデータ） (2026-08-14T18:00:08Z)
• Split the Labor: Separating Evidence Interpretation from Decision Aggregation [0.0]
  言語モデルに多くの情報源から結論に達するよう要求するシステムは通常、それらを1つのプロンプトに分割する。 提案する4分野のエビデンス(仮説,信頼性バケット,合理性,証明)は,両半減期を決定することを示す。 この修正はアーキテクチャよりも算術的であり、言語モデル以外のルールのクラスに適用される。
  論文  参考訳（メタデータ） (2026-08-14T17:24:55Z)
• Who Grades the Grader? Co-Evolving Evaluation Metrics and Skills for Self-Improving LLM Agents [9.989306175511238]
  自己進化型エージェントシステムは、自身のスキルの作成、修正、引退によって改善されるが、そのようなループはすべて隠れた仮定に依存している。 まず、私たちのメトリックループは、完全な進化のライフサイクルの下で小さな検出器の組成を探索します。 第二に、メートル法が存在しないため、ヤードスティックは正確なメートル法が実現したことを回復しており、EmphDouble Ratchetは、ライフサイクル管理されたスキルループによるメトリックの共進化です。
  論文  参考訳（メタデータ） (2026-07-14T14:02:50Z)
• Spec-AUF: Accept-Until-Fail Training under Train-Inference Misalignment for Masked Block Drafters [3.9513930662588863]
  ブロック(DLMスタイル)のドラフトラは、全ブロックを並列に予測し、高速だがフルブロックのクロスエントロピーでトレーニングする。 最近の受け入れ認識の目的は、全ブロック損失を再重み付けすることで、この問題に対処する。 AUFは、ドラフト作成者が最初に予測した失敗を通してのみ、クロスエントロピーのサポートを維持することで、損失側のプレフィックスセンシティブな監視を近似する。
  論文  参考訳（メタデータ） (2026-07-02T08:44:04Z)
• TreeFlash: Parallel AR-Approximation for Faster Speculative Decoding [32.75269650141292]
  投機的復号化のためのワンショットブロックのドラフトは、1つのフォワードパスで完全なドラフトを生成する。 それぞれのドラフトトークンはプレフィックスコンテキストのみに条件付けされ、以前のドラフトトークンに依存しない。 この非自己回帰条件は、ドラフトの深さが大きくなるにつれて、検証者の真の自己回帰分布からドラフトの分布が分岐する。 そこで我々は,この問題に対処するために,プロダクタの隠蔽状態とそれ以前のトークンに条件付きレイヤを組み込んで,自己回帰分布を近似するTreeFlashを提案する。
  論文  参考訳（メタデータ） (2026-06-02T16:00:18Z)
• Draft-OPD: On-Policy Distillation for Speculative Draft Models [49.23782868133977]
  投機的復号化は,提案したトークンを並列に検証した軽量なドラフトモデルとターゲットモデルを組み合わせることで,大規模言語モデル推論を加速させる。 本稿では,安定な継続のために目標支援ロールアウトを利用するDraft-OPDを提案する。
  論文  参考訳（メタデータ） (2026-05-28T04:30:22Z)
• Converted, Not Equivalent: Benchmarking Codebase Conversion via Observational Equivalence [56.25095230687242]
  コーディングエージェントは、しばしば自身のローカル検証ルーチンを過度に信頼し、表面チェックを満たすアーティファクトの成功を宣言する。 この問題は、事前評価が結果駆動である変換において特に深刻である。 ブラインド・コンバージョンは26.7-28.9%に達し、スペック・パスレートは91.1%まで上昇した。 このことは、失敗は限られた予算やバックボーンの強さよりも、契約ミスによる自己検証に起因していることを示唆している。
  論文  参考訳（メタデータ） (2026-05-27T19:57:15Z)
• DiffScore: Text Evaluation Beyond Autoregressive Likelihood [79.18228156703695]
  DiffScoreはMasked Large Diffusion Language Models上に構築された評価フレームワークである。 DiffScoreは、連続マスキングレートでテキストの回復可能性を測定することで、位置バイアスを排除している。 10のベンチマークでの実験によると、DiffScoreはゼロショットと微調整の両方で自動回帰ベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-05-12T06:27:36Z)
• SpecBlock: Block-Iterative Speculative Decoding with Dynamic Tree Drafting [25.273024580844346]
  SpecBlockはブロックイテレーティブなドラフトアで、パス依存と安価なドラフトを組み合わせています。 デプロイ時のコストを意識した盗聴は、無償の検証者フィードバックを使用して、ドラフトを選択的に更新する。
  論文  参考訳（メタデータ） (2026-05-08T04:59:48Z)
• Goose: Anisotropic Speculation Trees for Training-Free Speculative Decoding [13.709230136542594]
  投機的復号化は、複数の候補トークンを起草し、1つのフォワードパスで検証することで、大きな言語モデル推論を加速させる。 既存のトレーニングフリーなメソッドは、単一のトークンソースからドラフトされ、起源の候補品質を区別することなく、ツリーを形作っている。 我々は、入力コンテキストからコピーされたn-gramマッチングと、先行パスからの統計的予測の2つの一般的なトレーニングフリートークンソースが、受入率において劇的に異なることを観察した。 ステップ毎に受理されるトークンの数は、どちらのソースも単独で使用するものと同じくらいであることを示す。
  論文  参考訳（メタデータ） (2026-04-02T13:48:42Z)
• SpecDiff-2: Scaling Diffusion Drafter Alignment For Faster Speculative Decoding [48.96349422252313]
  投機的復号化は,Large Language Model (LLM)推論の高速化のための標準手法となっている。 自動回帰デコーディングの遅延を回避し、印象的なスピードアップを実現するために、損失のないドラフト検証手順を利用する。 本稿では,これら2つのボトルネックに共同で対処する新しいフレームワークであるSpecDiff-2を提案する。
  論文  参考訳（メタデータ） (2025-11-01T16:12:56Z)
• Pipeline Parallelism is All You Need for Optimized Early-Exit Based Self-Speculative Decoding [73.67253077506672]
  大規模言語モデル(LLM)は、優れた生成品質を提供するが、非常に高い推論コストをもたらす。 早期排他的自己投機的復号法(EESD)がこのコストを軽減するために登場した。 ドラフトと検証作業を完全にパイプライン化するパイプライン・パラレル自己スペクティブ・デコーディング(PPSD)を提案する。
  論文  参考訳（メタデータ） (2025-09-19T04:51:41Z)
• Superposed Decoding: Multiple Generations from a Single Autoregressive Inference Pass [72.07642648108849]
  Superposed Decodingは、1つの自己回帰推論パスのコストで$k$のドラフトを生成する新しい復号アルゴリズムである。 Superposed Decodingは、他のデコード戦略と組み合わせることで、推論時間計算のスケーリング時に普遍的なカバレッジが向上する。
  論文  参考訳（メタデータ） (2024-05-28T17:40:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。