論文の概要: Semantic Prefix Oracles for LLM Decoding: Contracts and Differential Validation
- arxiv url: http://arxiv.org/abs/2609.35425v1
- Date: Mon, 28 Sep 2026 15:34:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-02 05:34:03.457557
- Title: Semantic Prefix Oracles for LLM Decoding: Contracts and Differential Validation
- Title（参考訳）: LLMデコードのためのセマンティックプレフィックスオラクル:契約と微分検証
- Abstract要約: 我々は、文脈自由曲面にそのような制約を付加し、アールレー降下時にそれらを実行する宣言的形式主義である意味文法仕様を提案する。
セマンティックな矛盾が継続によって修復できない接頭辞のみを拒絶する。
9つのモデルに対する一致セマンティック・リバース・シンタクティック・アブレーションを含む12モデル生成研究では、各モデル言語対について非負の観測セマンティック・ミナス・シンタクティック・ポイント推定を求める。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Constrained decoding can enforce regular or context-free output formats, but many program-generation failures are semantic: scope, typing, and declaration effects depend on context. We present semantic grammar specifications, a declarative formalism that attaches such constraints to a context-free surface and executes them during Earley descent. Our implementation enforces \emph{safe pruning}: it rejects only prefixes whose semantic contradictions cannot be repaired by any continuation. A separate, grammar-dependent, \emph{dead-end freedom} property guarantees the existence of a realizable witness for each remaining branch. We give simple sufficient conditions based on surface productivity, type coverage, and left-to-right constraint flow. Our finite-lambda, core ML, and C-like fragments satisfy them, while the STLC instance used in our experiments does not: plain STLC can violate type coverage, and we show how restricting its type universe recovers it. A tokenizer-lifting lemma carries character-level witnesses to token sequences under an explicit vocabulary-coverage hypothesis. We validate the implementation differentially against production compilers (\texttt{ocamlc}, \texttt{cc}). Across every prefix of 65 compiler-valid programs we observe zero false prunes. The semantic oracle localizes 25/30 invalid programs mid-stream, against 0/30 for a syntax-only oracle, and agrees on 42/42 recursion probes. A twelve-model generation study, including a matched semantic-versus-syntactic ablation for nine models, finds nonnegative observed semantic-minus-syntactic point estimates for every model-language pair, with maxima of $+15.2$ points on STLC task correctness and $+14.3$ points on ML validity.
- Abstract（参考訳）: 制約された復号化は、正規あるいは文脈自由な出力フォーマットを強制することができるが、多くのプログラム生成失敗は意味論的である。
我々は、文脈自由曲面にそのような制約を付加し、アールレー降下時にそれらを実行する宣言的形式主義である意味文法仕様を提案する。
我々の実装は 'emph{safe pruning} を強制する: 継続によって意味的な矛盾を修復できない接頭辞のみを拒絶する。
別個の文法に依存した 'emph{dead-end freedom} プロパティは、残りの枝ごとに実現可能な証人の存在を保証する。
表面の生産性,タイプカバレッジ,左から右への制約フローに基づいて,簡単な条件を提示する。
我々の有限ラムダ、コアML、Cライクなフラグメントはそれらを満たすが、実験で使用されるSTLCインスタンスは、タイプカバレッジに違反する可能性がある。
トークン化子を持ち上げる補題は、明示的な語彙被覆仮説の下で、文字レベルの証人をトークン列に運ぶ。
実装をプロダクションコンパイラ(\texttt{ocamlc}, \texttt{cc})に対して差分検証する。
65のコンパイラ検証プログラムのすべてのプレフィックスで、ゼロの偽プルーを観測します。
セマンティックオラクルは、構文のみのオラクルに対して0/30に対して、ストリームの途中で25/30の無効プログラムをローカライズし、42/42の再帰プローブで合意する。
マッチしたセマンティック・ヴァース・シンタクティック・アブレーションを含む12モデル生成研究では、各モデル言語対に対して非負のセマンティック・ミナス・シンタクティック・ポイントの推定値が、STLCタスクの正しさの最大値が+15.2$、ML妥当性の最大値が+14.3$である。
関連論文リスト
- GenOS: Compositional Certificates for Semantic Robustness in AI Code Generation [0.0]
GenOSはプロンプト、コントラクト、ジェネレータ、プログラムを置き換える確率論的操作意味論である。
等価性に適合するカーネルは商類に従属し、商化の可換性は分布拡大や逐次合成と一致することを証明する。
また,音の検証,全変量非拡張性,付加的境界の下でのワークフロー・バイコミットの安全性を確立した。
論文 参考訳（メタデータ） (2026-08-04T12:42:11Z) - Weave of Formal Thought [51.56484100374058]
WoFT(Weave of Formal Thought)は、厳密な構文的検証と学習された構造的表現を結合したパラダイムである。
本稿では,非終端文法記号を直接生成にインターリーブするために,言語モデルを訓練する潜時可変微調整法を提案する。
Pythonでは、RWS目的のStarCoder2-3Bを微調整することで、テキストのみのSFTベースラインと比較して、トーケン毎のクロスエントロピーが14.3%削減される。
論文 参考訳（メタデータ） (2026-06-24T15:58:11Z) - Hierarchical Certified Semantic Commitment for Byzantine-Resilient LLM-Agent Collaboration [30.310793549183117]
本稿では,BFTにインスパイアされたプロトコルH-CSC(Hierarchical Certified Semantic Commitment)を紹介する。
H-CSCはBFT対応バケット(0.31から2.04度)に低角偏差でコミットし、意図したようにBFTを超えるラウンド(n3f+1)の100%を中止する。
論文 参考訳（メタデータ） (2026-06-05T14:35:58Z) - Towards Human-Like Interactive Speech Recognition With Agentic Correction and Semantic Evaluation [53.844308305341166]
単一パスのASRフロントエンドと意味的訂正,意図のルーティング,推論に基づく編集を組み合わせた閉ループフレームワークである textbfAgentic ASR を提案する。
複数言語、名前付き集中型、コードスイッチングベンチマークの実験は、反復的相互作用が意味的誤りを一貫して減少させることを示している。
論文 参考訳（メタデータ） (2026-05-28T06:23:31Z) - SemLoc: Structured Grounding of Free-Form LLM Reasoning for Fault Localization [6.086377855676357]
本稿では,構造化セマンティックランタイムに基づくフォールトローカライゼーションフレームワークSemLocを紹介する。
SemLoc on SemFault-250, acorpus of 250 Python program with single semantic faults。
論文 参考訳（メタデータ） (2026-03-31T00:56:43Z) - zkStruDul: Programming zkSNARKs with Structural Duality [0.2449909275410287]
zkStruDulは、入力変換を統一し、定義を単一の複合抽象化に述語する言語である。
我々は、ソースレベルのセマンティクスを提供し、その振る舞いが予測されたセマンティクスと同一であることを証明する。
論文 参考訳（メタデータ） (2025-11-13T18:06:21Z) - Broken Tokens? Your Language Model can Secretly Handle Non-Canonical Tokenizations [83.93566096400723]
ランダムにサンプリングされたトークン化が与えられた場合、命令調整されたモデルは元の性能の最大93.4%を維持している。
文字レベルのセグメンテーションは文字列操作とコード理解タスクを最大+14%改善する。
右列桁のグルーピングは、大数の算術を+33%向上させる。
論文 参考訳（メタデータ） (2025-06-23T18:02:26Z) - Fast Controlled Generation from Language Models with Adaptive Weighted Rejection Sampling [90.86991492288487]
トークンの制約を評価するのは 違法にコストがかかる
LCDは文字列上のグローバル分布を歪め、ローカル情報のみに基づいてトークンをサンプリングすることができる。
我々のアプローチは最先端のベースラインよりも優れていることを示す。
論文 参考訳（メタデータ） (2025-04-07T18:30:18Z) - Contrastive Instruction Tuning [61.97704869248903]
意味論的に等価な命令-インスタンスペア間の類似性を最大化するために、コントラスト命令チューニングを提案する。
PromptBenchベンチマークの実験によると、CoINはLLMの頑健さを一貫して改善し、文字、単語、文、意味のレベルを平均して2.5%の精度で変化させる。
論文 参考訳（メタデータ） (2024-02-17T00:09:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。