論文の概要: The Parser Already Knows: Lightweight Bias Correction in Constrained Decoding
- arxiv url: http://arxiv.org/abs/2608.10137v1
- Date: Mon, 10 Aug 2026 18:52:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-12 19:14:45.78864
- Title: The Parser Already Knows: Lightweight Bias Correction in Constrained Decoding
- Title（参考訳）: パーサーがすでに知っている:制約付きデコードにおける軽量バイアス補正
- Abstract要約: Grammar Constrained Decoding (GCD)は、言語モデル(LM)に対して、各ステップで非コンフォーミングトークンをマスキングすることで、構文的に有効な出力を生成するように強制する。
オンラインサンプリングはこの分布を復元するが、計算的に高価な反復的再サンプリングが必要である。
我々は,この構文的および語彙的状態と,候補となる次のトークンとを条件に,軽量でオフラインでトレーニングされたロジット補正を提案する。
- 参考スコア（独自算出の注目度）: 30.042720796822085
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Grammar Constrained Decoding (GCD) forces Language Models (LMs) to produce syntactically valid outputs by masking out non-conforming tokens at each step. However, rigid masking distorts the model's underlying probability distribution, often biasing generation toward valid but suboptimal outputs. While online sampling restores this distribution, it requires computationally expensive iterative resampling. As a result, existing methods force a compromise between output quality and inference latency. Our key insight is that the internal parser and lexer states inherently maintained during incremental parsing already encode future grammatical validity -- exactly the information required to restore the LM's true distribution. We propose a lightweight, offline-trained logit correction conditioned on this syntactic and lexical state together with candidate next tokens. Because these states are already computed as a necessary part of incremental parsing for masking, extracting them adds negligible overhead while leaving the base LM's weights completely untouched. Across several grammars, this correction substantially closes the gap between the masked distribution and the LM's true distribution, consistently outperforming both masking and online sampling. Even its lightest variant, which relies on the candidate next token alone, still matches or exceeds both baselines: the next token itself carries an implicit lookahead, much like how parsers commonly use a lookahead token to resolve ambiguous decisions. By restoring the probability mass that masking removes, it reconciles the LM's probabilistic integrity with grammar conformance.
- Abstract（参考訳）: Grammar Constrained Decoding (GCD)は、言語モデル(LM)に対して、各ステップで非コンフォーミングトークンをマスキングすることで、構文的に有効な出力を生成するように強制する。
しかし、厳密なマスキングはモデルの基礎となる確率分布を歪め、しばしば有効だが最適の出力にバイアスを与える。
オンラインサンプリングはこの分布を復元するが、計算的に高価な反復的再サンプリングが必要である。
その結果、既存の手法は出力品質と推論遅延の妥協を強制する。
我々の重要な洞察は、内部パーサーとレキサー状態は、既にインクリメンタル解析中に本質的に維持され、将来の文法的妥当性をコード化しているということです。
我々は,この構文的および語彙的状態と,候補となる次のトークンとを条件に,軽量でオフラインでトレーニングされたロジット補正を提案する。
これらの状態は、既にマスキングの漸進的解析に必要な部分として計算されているため、基本LMの重みを完全には触れないままで、それらを抽出すると無視できないオーバーヘッドが生じる。
いくつかの文法において、この補正はマスクされた分布とLMの真の分布のギャップを実質的に埋め、マスクとオンラインサンプリングの両方を一貫して上回っている。
次のトークン自体が暗黙のルックアヘッドを持ち、パーサーが通常、不明瞭な決定を解決するためにルックアヘッドトークンを使用する方法に似ています。
マスキングが除去する確率質量を復元することにより、LMの確率論的整合性と文法の適合性とを整合させる。
関連論文リスト
- Constrained Decoding for Diffusion Language Models via Efficient Inference over Finite Automata [57.27430779838529]
有限オートマトンとして表現可能な任意の制約の下で,制約付き平均場後部からサンプリングする,正確かつトラクタブルなアルゴリズムを提案する。
このアプローチは、構築による制約満足度を保証し、欲求とサンプリングベースのデコーディングの両方をサポートし、並列およびブロックワイドデコーディングと互換性がある。
Dream-7B と LLaDA-8 の実証的な評価は、様々なタスクにおいてかなりの精度の向上を示した。
論文 参考訳（メタデータ） (2026-07-08T05:48:57Z) - NAVIRA: Decoupled Stochastic Remasking for Masked Diffusion Language Models [0.0]
PRISMはトークンレベルの品質スコアを学習し、信頼できないトークンを再マスクすることでこの問題に対処する。
この2つの操作を分離する推論時間復号法であるNAVIRAを提案する。
温度制御されたリメイキングは、同じ位置の繰り返し補正を減らす。
論文 参考訳（メタデータ） (2026-06-04T11:24:47Z) - SimSD: Simple Speculative Decoding in Diffusion Language Models [61.33773959352141]
拡散大言語モデル (dLLMs) は、並列またはブロックワイド復号による高速な推論を提供する。
彼らのマスク付き言語モデリングの定式化は、標準的なトークンレベルの投機的復号法とは相容れないままである。
我々は,dLLMに時間的に有効なトークンレベルのコンテキストを付与する,SimSDと呼ばれるdLLMの投機的復号アルゴリズムを提案する。
提案手法は,平均生成品質を維持しつつ,最大7.46倍高い復号スループットを実現する。
論文 参考訳（メタデータ） (2026-06-01T17:46:46Z) - Dependency-Guided Parallel Decoding in Discrete Diffusion Language Models [21.699371484195865]
我々は,dLLMの最終隠れ状態にアタッチする軽量依存予測器DEMASKを提案する。
実証的に、DEMASKはDream-7Bで1.7-2.2$times$ Speedupを達成し、信頼性ベースのベースラインやKLベースのベースラインと比較して精度が向上した。
論文 参考訳（メタデータ） (2026-04-02T22:21:24Z) - From Early Encoding to Late Suppression: Interpreting LLMs on Character Counting Tasks [49.57538588967748]
LLM(Large Language Model)は、複雑なベンチマークでは優れているにもかかわらず、単語中の文字数などの基本的な記号的タスクにおいて失敗を示す。
我々は、LLaMA、Qwen、Gemmaなど、現代のアーキテクチャにまたがる一貫した現象を発見した。
LLMにおけるシンボリック推論失敗は,表現不足やスケール不足によるものではなく,モデル計算グラフ内の構造的干渉によるものであることを示す。
論文 参考訳（メタデータ） (2026-04-01T11:40:12Z) - Entropy-Aligned Decoding of LMs for Better Writing and Reasoning [21.971790771470324]
言語モデル(LM)は、真の言語分布を回復するために、数十億のトークンで訓練されている。
現在、LMからのバニラランダムサンプリングは、品質の低い世代を生み出している。
本稿では,将来の軌道のエントロピーをLMデコーディングに組み込んだ超パラメータフリーデコーディング手法EPICを紹介する。
論文 参考訳（メタデータ） (2026-01-05T01:37:10Z) - Blockwise SFT for Diffusion Language Models: Reconciling Bidirectional Attention and Autoregressive Decoding [60.06816407728172]
離散拡散言語モデルは、テキスト生成に強い可能性を示している。
半自己回帰推論による微調整ミスアライメントの標準化
我々は、応答を固定サイズブロックに分割するBlockwise SFTを提案する。
論文 参考訳（メタデータ） (2025-08-27T02:49:33Z) - Fast Controlled Generation from Language Models with Adaptive Weighted Rejection Sampling [90.86991492288487]
トークンの制約を評価するのは 違法にコストがかかる
LCDは文字列上のグローバル分布を歪め、ローカル情報のみに基づいてトークンをサンプリングすることができる。
我々のアプローチは最先端のベースラインよりも優れていることを示す。
論文 参考訳（メタデータ） (2025-04-07T18:30:18Z) - Not all tokens are created equal: Perplexity Attention Weighted Networks for AI generated text detection [49.15148871877941]
大規模言語モデル(LLM)の検出に理論的に魅力的なアプローチを提供する次点分布出力
本稿では,LLMの最後の隠蔽状態を用いて,列長の次トーケン分布のメトリクスに基づく一連の特徴量の重み付けを行うパープレキシティ注意重み付けネットワーク(PAWN)を提案する。
PAWNは、トレーニング可能なパラメータのごく一部を持つ最強のベースラインよりも、競争力があり、より優れた分散性能を示している。
論文 参考訳（メタデータ） (2025-01-07T17:00:49Z) - Grammar-Aligned Decoding [30.972850034752884]
LLM(Large Language Models)は、プログラムコード、数学的公式、整形されたマークアップなどの高度に構造化された出力を確実に生成するのに苦労する。
制約付き復号法は、LLMが出力できるトークンを各ステップで厳格に制限し、出力が与えられた制約と一致することを保証することによってこの問題を軽減する。
本稿では,GCD技術がLLMの分布を歪め,文法的だがLLMに比例しない確率で現れる出力を導出することを示す。
論文 参考訳（メタデータ） (2024-05-31T17:39:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。