論文の概要: Decode-Time Grammars: Constrained LLM Generation over a Refinement Order of Grammar Fragments
- arxiv url: http://arxiv.org/abs/2607.18357v1
- Date: Mon, 20 Jul 2026 10:15:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-22 19:05:05.198548
- Title: Decode-Time Grammars: Constrained LLM Generation over a Refinement Order of Grammar Fragments
- Title（参考訳）: Decode-Time Grammars: 文法フラグメントのリファインメント順序上の制約付きLLM生成
- Abstract要約: 大規模言語モデルは今や世界のコードのシェアを拡大している。
本稿では,実行環境であるGammaから生成したデコード時文法について述べる。
我々は, グラマーフラグメントを, 改良により順序付けられた環境指標文法として定式化し, ガンマスロットフラグメントのノーゴースト音性を証明するとともに, マスク強化性の境界を特徴付ける。
- 参考スコア（独自算出の注目度）: 11.436853252593858
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models now write a growing share of the world's code, increasingly inside agents and serving systems that compile, execute, or dispatch generated code without line-by-line review. This works well for mainstream languages but remains brittle for low-resource programming surfaces such as domain-specific languages, custom library APIs, and command-line tools. Even under grammar-constrained decoding, a model can still produce references invalid in the current environment: a buffer never declared, a column absent from the schema, a function the library does not provide, or an unsupported CLI option. This paper introduces decode-time grammars: grammar fragments instantiated during generation from a runtime environment Gamma. A region-specific policy selects a fragment for each hole, and a tightening operator replaces open reference positions with Gamma-typed slots whose candidates are exactly the names, fields, APIs, or options available at that point. Newly generated declarations enter Gamma before later regions are decoded, so the constraining grammar can depend on the prefix already generated. This ensures not only grammatical correctness but also semantic correctness, by preventing references to undefined symbols. We formalize grammar fragments as environment-indexed grammars ordered by refinement, prove No-Ghost soundness for Gamma-slotted fragments, show that refinement preserves this support-set guarantee, and characterize the boundary of mask-enforceable properties. We implement the approach in gproj with offline grammar induction and online policy resolution. Across TileLang, SQL, and P4, with models from 0.6B to 236B parameters, gproj eliminates ghost references by construction at moderate overhead over standard constrained decoding.
- Abstract（参考訳）: 大規模言語モデルは、ますます内部のエージェントや、行ごとのレビューなしに生成されたコードをコンパイル、実行、ディスパッチするシステムなど、世界のコードのシェアを拡大する。
これはメインストリームの言語ではうまく機能するが、ドメイン固有言語やカスタムライブラリAPI、コマンドラインツールなど、低リソースのプログラミングサーフェスには依然として脆弱である。
文法に制約のあるデコーディングであっても、モデルは現在の環境で無効な参照を生成することができる:バッファが宣言されない、スキーマから欠落したカラム、ライブラリが提供していない関数、あるいはサポートされないCLIオプション。
本稿では,実行環境であるGammaから生成したデコード時文法について述べる。
リージョン固有のポリシーは各ホールのフラグメントを選択し、タイト演算子はオープン参照位置を、その時点で利用できる名前、フィールド、API、オプションの候補であるガンマ型スロットに置き換える。
新たに生成された宣言は、後続の領域がデコードされる前にガンマに入るため、制約文法は、既に生成されたプレフィックスに依存することができる。
これにより、文法的正当性だけでなく意味的正当性も保証され、未定義の記号への参照を防止できる。
筆者らは, グラマーフラグメントを環境に適応した文法として定式化し, ガンマスロットフラグメントの非ゴースト音性を証明するとともに, このサポートセットの保証を維持し, マスク強化性の境界を特徴付けることを示す。
オフライン文法誘導とオンラインポリシー解決によるアプローチをgprojに実装する。
TileLang、SQL、P4の他、0.6Bから236Bのパラメータを持つモデルでは、gprojは標準的な制約付きデコードよりも適度なオーバーヘッドで構築することでゴースト参照を排除している。
関連論文リスト
- Learning Context-Free Grammars for Grammar-Constrained Decoding via Declarative Agentic Programming with Guarantees [5.635931633252131]
文法制約の復号化はそのような失敗を排除できるが、構文制約を必要とする。
本研究では,文書や実行データから文脈自由文法を自動的に学習するAutogrammarというエージェントを定義する。
3つのDSL上でAutogrammarの4つのバージョンを評価し、未確認データに対してほぼ完全精度の文法を生成することを発見した。
論文 参考訳（メタデータ） (2026-08-06T00:44:46Z) - SEDCoT: Enhancing LLM-Based COBOL Code Translation via Symbolic Execution and Delta Debugging [49.898541267264115]
古い技術や疎結合なドキュメンテーション、開発者の引退などによって、メンテナンスはますます難しくなっている。
従来のルールベースのトランスコンパイラは、読み書きが難しい出力を出力する。
本稿では,新しいC言語翻訳フレームワークであるSEDCoTを提案する。
論文 参考訳（メタデータ） (2026-07-05T03:07:10Z) - Weave of Formal Thought [51.56484100374058]
WoFT(Weave of Formal Thought)は、厳密な構文的検証と学習された構造的表現を結合したパラダイムである。
本稿では,非終端文法記号を直接生成にインターリーブするために,言語モデルを訓練する潜時可変微調整法を提案する。
Pythonでは、RWS目的のStarCoder2-3Bを微調整することで、テキストのみのSFTベースラインと比較して、トーケン毎のクロスエントロピーが14.3%削減される。
論文 参考訳（メタデータ） (2026-06-24T15:58:11Z) - Encode Errors: Representational Retrieval of In-Context Demonstrations for Multilingual Grammatical Error Correction [28.920985595976873]
文法誤り訂正(英: Grammatical Error Correction, GEC)とは、文法の誤用を検出し、訂正することである。
インコンテキスト学習(ICL)機能を持つ大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて大きな進歩を見せている。
これは主に、セマンティックな類似性ではなく、エラーパターンをキャプチャする適切なコンテキスト内デモを取得することによる。
論文 参考訳（メタデータ） (2026-06-13T18:00:26Z) - Bootstrapping Fuzzers for Compilers of Low-Resource Language Dialects Using Language Models [13.843101157271034]
本稿では,コンパイラに対して,方言に依存しない,方言に有効な文法に基づく,カバレッジに配慮したファジィ手法を提案する。
私たちはこのアプローチをツールであるGerminatorに組み入れました。
91の方言にまたがる6つのMLIRプロジェクトにおいて、Germinatorが生成した種子は文法ベースのベースラインよりも10-120%向上した。
論文 参考訳（メタデータ） (2025-12-05T17:00:47Z) - Language Confusion Gate: Language-Aware Decoding Through Model Self-Distillation [50.93756215410832]
本稿では,デコード時にトークンをフィルタリングする軽量なプラグインソリューションであるLanguage Confusion Gate (LCG)を紹介する。
LCGは、標準調整自己蒸留を用いて訓練され、適切な言語ファミリーを予測し、必要に応じてマスクを適用する。
論文 参考訳（メタデータ） (2025-10-20T14:02:37Z) - TokDrift: When LLM Speaks in Subwords but Code Speaks in Grammar [8.34539885321864]
意味的に同一のコードスニペットは、ホワイトスペースや識別子の命名といった表面的要因によって異なるトークン化が可能であることを示す。
TokDriftは、セマンティック保存リライトルールを適用して、トークン化のみで異なるコード変種を生成するフレームワークです。
この結果から,不正なトークン化は信頼性の高いコード理解と生成に隠れた障害であることがわかった。
論文 参考訳（メタデータ） (2025-10-16T17:59:45Z) - Correctness-Guaranteed Code Generation via Constrained Decoding [11.531496728670746]
本稿では,意味論的に正しいプログラムを生成するための制約付き実行時復号アルゴリズムを提案する。
提案手法は,任意の所定のスクリプティングAPIに従って,意味的に正しいプログラムを生成することができることを示す。
さらに、慎重に設計することで、我々のセマンティック保証が正当性にまで拡張され、ローグライクなビデオゲームにゲームメカニクスを発生させることで検証されることを示す。
論文 参考訳（メタデータ） (2025-08-20T20:48:18Z) - Type-Constrained Code Generation with Language Models [51.03439021895432]
本稿では,型システムを利用してコード生成を誘導する型制約デコード手法を提案する。
そこで本研究では,新しい接頭辞オートマトンと,在来型を探索する手法を開発し,LLM生成コードに適切な型付けを強制するための健全なアプローチを構築した。
提案手法は,コード合成,翻訳,修復作業において,コンパイルエラーを半分以上削減し,機能的正しさを著しく向上させる。
論文 参考訳（メタデータ） (2025-04-12T15:03:00Z) - MAGNET: Improving the Multilingual Fairness of Language Models with Adaptive Gradient-Based Tokenization [81.83460411131931]
マルチ言語設定では、非ラテン語スクリプトと低リソース言語は通常、言語モデルの実用性、効率、コストの点で不利である。
適応的勾配に基づくサブワードトークン化による過分割を低減するために,多言語適応型勾配ベーストークン化を提案する。
論文 参考訳（メタデータ） (2024-07-11T18:59:21Z) - Retrieval-augmented generation in multilingual settings [23.71228116313947]
Retrieval-augmented Generation (RAG)は,大規模言語モデル(LLM)に最新ないしドメイン固有知識を組み込むための,有望なソリューションとして登場した。
我々は、ユーザクエリと13言語のデータストアを備えたマルチ言語設定(mRAG)におけるRAGについて検討する。
この結果から,高品質なオフザシェルフ多言語レトリバーとジェネレータが利用可能であるにもかかわらず,タスク固有のプロンプトエンジニアリングがユーザ言語の生成に必要であることがわかった。
論文 参考訳（メタデータ） (2024-07-01T16:56:50Z) - Hierarchical Context Tagging for Utterance Rewriting [51.251400047377324]
配列を線形に生成するのではなくタグ付けする方法は、ドメイン内および外部の書き直し設定においてより強力であることが証明されている。
本稿では,スロット付きルールを予測してこの問題を緩和する階層型コンテキストタグを提案する。
いくつかのベンチマーク実験により、HCTは2つのBLEUポイントで最先端の書き換えシステムより優れていることが示された。
論文 参考訳（メタデータ） (2022-06-22T17:09:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。