論文の概要: Future Validity is the Missing Statistic: From Impossibility to $Φ$-Estimation for Grammar-Faithful Speculative Decoding
- arxiv url: http://arxiv.org/abs/2605.07698v1
- Date: Fri, 08 May 2026 13:08:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-11 19:43:39.058656
- Title: Future Validity is the Missing Statistic: From Impossibility to $Φ$-Estimation for Grammar-Faithful Speculative Decoding
- Title（参考訳）: 不合理性から「$$-Estimation for Grammar-Faithful Speculative Decoding」まで
- Abstract要約: 文法制約付き生成は、しばしば局所的な語彙マスキングと投機的復号化と組み合わせられる。
局所マスクアクセスを持つ投機的デコーダ,レバイアサン拒絶,および局所予測分布$mathrmproj$からのロールバック音質サンプルは,文法条件分布$star$ではなく,いずれかを示す。
- 参考スコア（独自算出の注目度）: 21.074583041375888
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Grammar-constrained generation is often combined with local vocabulary masking and speculative decoding, but the resulting sampling law is not the grammar-conditional distribution users usually intend. We show that any speculative decoder with local mask access, Leviathan rejection, and rollback soundness samples from the locally projected distribution $μ^{\mathrm{proj}}$ rather than the grammar-conditional distribution $μ^\star$. This extends the GAD impossibility result to speculative decoding; on Dyck grammars with Qwen3-8B, the total-variation gap can reach 0.996. We identify the future-validity function $Φ_t(y)=\Pr_p[\mathrm{valid\ completion}\mid y]$ as the missing correction statistic. The target distribution is a Doob transform of the base model with $h=Φ$, while local masking corresponds to setting $h$ to one. With exact $Φ$, our oracle decoder FVO-Spec samples exactly from $μ^\star$; with approximate $Φ$, we bound the resulting total-variation error. Because exact future validity is hard for general context-free grammars, we evaluate estimator hierarchies on tractable Dyck and finite JSON languages. OneStep reduces Dyck TV by 14% with under 1% throughput overhead, exact dynamic programming reduces it by 97%, and finite-language correction closes JSON gaps to numerical precision. All fidelity claims are scoped to enumerable grammars and token tries.
- Abstract（参考訳）: 文法制約付き生成は、しばしば局所的な語彙マスキングと投機的復号法と組み合わせられるが、結果として得られるサンプリング法則は、通常ユーザーが意図する文法条件分布ではない。
局所マスクアクセスを持つ投機的デコーダ、レヴィアサンの拒絶、および局所予測分布$μ^{\mathrm{proj}}$からのロールバック音質サンプルは、文法条件分布$μ^\star$ではなく、いずれの投機的デコーダも示す。
これにより、GADの不合理性は投機的復号化へと拡張され、Qwen3-8Bのダイク文法では、全変分差は0.996に達する。
将来の正則関数 $ _t(y)=\Pr_p[\mathrm{valid\ completion}\mid y]$ を欠落した補正統計量として同定する。
ターゲットの分布は、ベースモデルのDoob変換で$h=$$であるのに対して、ローカルマスキングは$h$を1に設定する。
正確な$=では、我々のオラクルデコーダ FVO-Spec は$μ^\star$ から正確にサンプリングされる。
一般的な文脈自由文法では, 正確な将来性は難しいため, トラクタブルダイクおよび有限JSON言語上の推定器階層を評価する。
OneStepはDyck TVを1%未満のスループットオーバーヘッドで14%削減し、正確な動的プログラミングにより97%削減し、有限言語補正はJSONギャップを数値精度で埋める。
すべての忠実なクレームは、エネルブル文法とトークン試行にスコープされる。
関連論文リスト
- Drift Variation Autoencoder: Unifying Generation and Representation Learning through Conditional Posterior Flow Matching [0.0]
この研究は、条件生成の共通統計対象として対応する後続の$P(Xmid C)$を取る。
ドリフト変動オートエンコーダは、マスク付きエンコーダ$Z=E(C)$と、1つのきれいな予測フローマッチング損失を持つ条件付きフローデコーダを訓練する。
論文 参考訳（メタデータ） (2026-08-25T20:38:50Z) - The Parser Already Knows: Lightweight Bias Correction in Constrained Decoding [30.042720796822085]
Grammar Constrained Decoding (GCD)は、言語モデル(LM)に対して、各ステップで非コンフォーミングトークンをマスキングすることで、構文的に有効な出力を生成するように強制する。
オンラインサンプリングはこの分布を復元するが、計算的に高価な反復的再サンプリングが必要である。
我々は,この構文的および語彙的状態と,候補となる次のトークンとを条件に,軽量でオフラインでトレーニングされたロジット補正を提案する。
論文 参考訳（メタデータ） (2026-08-10T18:52:43Z) - Correction and Corruption: A Two-Rate View of Error Flow in LLM Protocols [51.56484100374058]
そこで本研究では,単一プロトコルステップを正確なマッチングタスクで監査するためのペアアウトカム計測インタフェースを提案する。
各インスタンスについて、インターフェースはベースラインの正当性ビットと後ステップの正当性ビットを記録する。
これらのレートは精度の変化を予測し、種、混合物、パイプライン間でテスト可能な再利用可能な経験的インターフェースを定義する。
論文 参考訳（メタデータ） (2026-04-20T13:25:40Z) - Attention Meets Reachability: Structural Equivalence and Efficiency in Grammar-Constrained LLM Decoding [0.2864713389096699]
我々は、文脈自由文法(CFG)からコンパイルされたプッシュダウンシステム上での自己回帰的次トーケン分布と到達可能性との結合として文法制約デコーディング(GCD)を研究する。
文法の復号コスト等価クラスを定義し、有界書き直し科における最小SAC代表者の存在を証明した。
論文 参考訳（メタデータ） (2026-03-04T11:49:55Z) - Computational-Statistical Tradeoffs at the Next-Token Prediction Barrier: Autoregressive and Imitation Learning under Misspecification [50.717692060500696]
対数損失を伴う次のトーケン予測は自己回帰シーケンスモデリングの基盤となる。
次トーケン予測は、適度な誤差増幅を表す$C=tilde O(H)$を達成するために堅牢にすることができる。
C=e(log H)1-Omega(1)$。
論文 参考訳（メタデータ） (2025-02-18T02:52:00Z) - Private Vector Mean Estimation in the Shuffle Model: Optimal Rates Require Many Messages [63.366380571397]
本稿では,プライバシのシャッフルモデルにおけるプライベートベクトル平均推定の問題について検討する。
我々は,$tildemathcalOleft(min(nvarepsilon2,d)right)$ message per users を用いて,最適なエラーを実現する新しいマルチメッセージプロトコルを提案する。
論文 参考訳（メタデータ） (2024-04-16T00:56:36Z) - Exact results on finite size corrections for surface codes tailored to biased noise [0.0]
位相バイアス雑音下でのXYとXZZXの表面符号について検討する。
厳密な解は特別な乱れ点で見つかる。
我々は,論理的失敗率の総数だけでなく,位相とビットフリップの論理的失敗率の独立性に基づくしきい値を計算することにより,より確実な推定値が得られることを示した。
論文 参考訳（メタデータ） (2024-01-08T16:38:56Z) - Towards Optimal Statistical Watermarking [95.46650092476372]
仮説テスト問題として定式化して統計的透かしを研究する。
我々の定式化の鍵は、出力トークンと拒絶領域の結合である。
一般仮説テスト設定において,UMP(Uniformly Most Powerful)の透かしを特徴付ける。
論文 参考訳（メタデータ） (2023-12-13T06:57:00Z) - REAL: A Representative Error-Driven Approach for Active Learning [15.477921200056887]
$REAL$は、$underlineR$epresentative $underlineE$rrors for $underlineA$ctive $underlineL$でデータインスタンスを選択する新しいアプローチである。
クラスタ内のEmphpseudoエラーとしてマイノリティ予測を識別し、推定エラー密度に基づいてクラスタの適応的なサンプリング予算を割り当てる。
論文 参考訳（メタデータ） (2023-07-03T12:39:26Z) - Beyond Invariance: Test-Time Label-Shift Adaptation for Distributions
with "Spurious" Correlations [44.99833362998488]
テスト時のデータ分散の変化は、予測モデルのパフォーマンスに有害な影響を及ぼす可能性がある。
本研究では,未ラベルサンプルに適用したEMを用いて,共同分布の$p(y, z)$の変化に適応するテストタイムラベルシフト補正を提案する。
論文 参考訳（メタデータ） (2022-11-28T18:52:33Z) - Truncation Sampling as Language Model Desmoothing [115.28983143361681]
ニューラルネットワークモデルからのテキストの長いサンプルは、品質が劣る可能性がある。
トランケーションサンプリングアルゴリズムは、各ステップでいくつかの単語の確率を0に設定する。
本稿では,単語をエントロピーに依存した確率閾値以下に切り詰める$eta$-samplingを導入する。
論文 参考訳（メタデータ） (2022-10-27T05:52:35Z) - Tail-to-Tail Non-Autoregressive Sequence Prediction for Chinese
Grammatical Error Correction [49.25830718574892]
本稿では,Tail-to-Tail (textbfTtT) という新しいフレームワークを提案する。
ほとんどのトークンが正しいので、ソースからターゲットに直接転送でき、エラー位置を推定して修正することができる。
標準データセット、特に可変長データセットに関する実験結果は、文レベルの精度、精度、リコール、F1-Measureの観点からTtTの有効性を示す。
論文 参考訳（メタデータ） (2021-06-03T05:56:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。