論文の概要: Future Validity is the Missing Statistic: From Impossibility to $Φ$-Estimation for Grammar-Faithful Speculative Decoding

• arxiv url: http://arxiv.org/abs/2605.07698v1
• Date: Fri, 08 May 2026 13:08:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-11 19:43:39.058656
• Title: Future Validity is the Missing Statistic: From Impossibility to $Φ$-Estimation for Grammar-Faithful Speculative Decoding
• Title（参考訳）: 不合理性から「$$-Estimation for Grammar-Faithful Speculative Decoding」まで
• Authors: Wenhua Nie, Zijie Meng, Kun Zou, Zheng Lin, Ziwei Li, Haoran Zheng, Jyh-Shing Roger Jang, Hao Zhang,
• Abstract要約: 文法制約付き生成は、しばしば局所的な語彙マスキングと投機的復号化と組み合わせられる。 局所マスクアクセスを持つ投機的デコーダ,レバイアサン拒絶,および局所予測分布$mathrmproj$からのロールバック音質サンプルは,文法条件分布$star$ではなく,いずれかを示す。
• 参考スコア（独自算出の注目度）: 21.074583041375888
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Grammar-constrained generation is often combined with local vocabulary masking and speculative decoding, but the resulting sampling law is not the grammar-conditional distribution users usually intend. We show that any speculative decoder with local mask access, Leviathan rejection, and rollback soundness samples from the locally projected distribution $μ^{\mathrm{proj}}$ rather than the grammar-conditional distribution $μ^\star$. This extends the GAD impossibility result to speculative decoding; on Dyck grammars with Qwen3-8B, the total-variation gap can reach 0.996. We identify the future-validity function $Φ_t(y)=\Pr_p[\mathrm{valid\ completion}\mid y]$ as the missing correction statistic. The target distribution is a Doob transform of the base model with $h=Φ$, while local masking corresponds to setting $h$ to one. With exact $Φ$, our oracle decoder FVO-Spec samples exactly from $μ^\star$; with approximate $Φ$, we bound the resulting total-variation error. Because exact future validity is hard for general context-free grammars, we evaluate estimator hierarchies on tractable Dyck and finite JSON languages. OneStep reduces Dyck TV by 14% with under 1% throughput overhead, exact dynamic programming reduces it by 97%, and finite-language correction closes JSON gaps to numerical precision. All fidelity claims are scoped to enumerable grammars and token tries.
• Abstract（参考訳）: 文法制約付き生成は、しばしば局所的な語彙マスキングと投機的復号法と組み合わせられるが、結果として得られるサンプリング法則は、通常ユーザーが意図する文法条件分布ではない。 局所マスクアクセスを持つ投機的デコーダ、レヴィアサンの拒絶、および局所予測分布$μ^{\mathrm{proj}}$からのロールバック音質サンプルは、文法条件分布$μ^\star$ではなく、いずれの投機的デコーダも示す。 これにより、GADの不合理性は投機的復号化へと拡張され、Qwen3-8Bのダイク文法では、全変分差は0.996に達する。 将来の正則関数 $ _t(y)=\Pr_p[\mathrm{valid\ completion}\mid y]$ を欠落した補正統計量として同定する。 ターゲットの分布は、ベースモデルのDoob変換で$h=$$であるのに対して、ローカルマスキングは$h$を1に設定する。 正確な$=では、我々のオラクルデコーダ FVO-Spec は$μ^\star$ から正確にサンプリングされる。 一般的な文脈自由文法では, 正確な将来性は難しいため, トラクタブルダイクおよび有限JSON言語上の推定器階層を評価する。 OneStepはDyck TVを1%未満のスループットオーバーヘッドで14%削減し、正確な動的プログラミングにより97%削減し、有限言語補正はJSONギャップを数値精度で埋める。 すべての忠実なクレームは、エネルブル文法とトークン試行にスコープされる。

関連論文リスト

• Attention Meets Reachability: Structural Equivalence and Efficiency in Grammar-Constrained LLM Decoding [0.2864713389096699]
  我々は、文脈自由文法(CFG)からコンパイルされたプッシュダウンシステム上での自己回帰的次トーケン分布と到達可能性との結合として文法制約デコーディング(GCD)を研究する。 文法の復号コスト等価クラスを定義し、有界書き直し科における最小SAC代表者の存在を証明した。
  論文  参考訳（メタデータ） (2026-03-04T11:49:55Z)
• Private Vector Mean Estimation in the Shuffle Model: Optimal Rates Require Many Messages [63.366380571397]
  本稿では,プライバシのシャッフルモデルにおけるプライベートベクトル平均推定の問題について検討する。 我々は,$tildemathcalOleft(min(nvarepsilon2,d)right)$ message per users を用いて,最適なエラーを実現する新しいマルチメッセージプロトコルを提案する。
  論文  参考訳（メタデータ） (2024-04-16T00:56:36Z)
• Exact results on finite size corrections for surface codes tailored to biased noise [0.0]
  位相バイアス雑音下でのXYとXZZXの表面符号について検討する。 厳密な解は特別な乱れ点で見つかる。 我々は,論理的失敗率の総数だけでなく,位相とビットフリップの論理的失敗率の独立性に基づくしきい値を計算することにより,より確実な推定値が得られることを示した。
  論文  参考訳（メタデータ） (2024-01-08T16:38:56Z)
• Towards Optimal Statistical Watermarking [95.46650092476372]
  仮説テスト問題として定式化して統計的透かしを研究する。 我々の定式化の鍵は、出力トークンと拒絶領域の結合である。 一般仮説テスト設定において,UMP(Uniformly Most Powerful)の透かしを特徴付ける。
  論文  参考訳（メタデータ） (2023-12-13T06:57:00Z)
• REAL: A Representative Error-Driven Approach for Active Learning [15.477921200056887]
  $REAL$は、$underlineR$epresentative $underlineE$rrors for $underlineA$ctive $underlineL$でデータインスタンスを選択する新しいアプローチである。 クラスタ内のEmphpseudoエラーとしてマイノリティ予測を識別し、推定エラー密度に基づいてクラスタの適応的なサンプリング予算を割り当てる。
  論文  参考訳（メタデータ） (2023-07-03T12:39:26Z)
• Beyond Invariance: Test-Time Label-Shift Adaptation for Distributions with "Spurious" Correlations [44.99833362998488]
  テスト時のデータ分散の変化は、予測モデルのパフォーマンスに有害な影響を及ぼす可能性がある。 本研究では,未ラベルサンプルに適用したEMを用いて,共同分布の$p(y, z)$の変化に適応するテストタイムラベルシフト補正を提案する。
  論文  参考訳（メタデータ） (2022-11-28T18:52:33Z)
• Truncation Sampling as Language Model Desmoothing [115.28983143361681]
  ニューラルネットワークモデルからのテキストの長いサンプルは、品質が劣る可能性がある。 トランケーションサンプリングアルゴリズムは、各ステップでいくつかの単語の確率を0に設定する。 本稿では,単語をエントロピーに依存した確率閾値以下に切り詰める$eta$-samplingを導入する。
  論文  参考訳（メタデータ） (2022-10-27T05:52:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。