論文の概要: Specification-Guided Generation for Large Language Models

• arxiv url: http://arxiv.org/abs/2610.41511v1
• Date: Fri, 30 Oct 2026 10:01:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.676981
• Title: Specification-Guided Generation for Large Language Models
• Title（参考訳）: 大規模言語モデルのための仕様ガイド生成
• Abstract要約: 大規模言語モデル(LLM)は構造化された出力を生成することができるが、既存の制約付き復号法は主に構文を強制する。 本稿では,LLM生成とシンボリック推論を組み合わせた,ニューロシンボリックな仕様誘導型デコードフレームワークを提案する。 本稿では、構築による仕様満足度を保証するフォワードオンリーの変種と、それ以前の選択肢を再検討するバックトラックの変種を提案する。
• 参考スコア（独自算出の注目度）: 62.12936740922775
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) can generate structured outputs, but existing constrained-decoding methods mainly enforce syntax and cannot directly enforce satisfaction of a formal specification. We introduce a neuro-symbolic, specification-guided decoding framework that combines LLM generation with symbolic reasoning. At each step, the framework refines the decoding grammar by filtering out values that cannot be extended to an output satisfying the specification. We present a forward-only variant that guarantees specification satisfaction by construction, and a backtracking variant that revises earlier feasible choices when their downstream consequences leave only values that the LLM itself judges unsuitable. The framework is model-agnostic, requires no retraining, and builds on existing grammar-constrained decoding mechanisms. Experiments on configuration and constraint-solving benchmarks show that the forward-only variant reliably produces specification-compliant outputs while reducing repeated LLM inference compared with rejection sampling and incurring modest symbolic-reasoning overhead. The backtracking variant further reduces cases in which the model is forced to select values that it has itself judged unsuitable, thereby substantially improving adherence to the LLM's stated interpretation of the prompt.
• Abstract（参考訳）: 大規模言語モデル(LLM)は構造化された出力を生成することができるが、既存の制約付き復号法は主に構文を強制し、形式仕様の満足度を直接強制することはできない。 本稿では,LLM生成とシンボリック推論を組み合わせた,ニューロシンボリックな仕様誘導型デコードフレームワークを提案する。 各ステップにおいて、フレームワークは仕様を満たす出力に拡張できない値をフィルタリングすることで、デコード文法を洗練する。 構築による仕様満足度を保証する前方のみの変種と、下流の結果がLCM自体が不適当と判断する値のみを残した場合に、先行可能な選択肢を再検討するバックトラック変種を提示する。 このフレームワークはモデルに依存しず、再トレーニングを必要とせず、既存の文法制約付き復号機構を基盤としている。 コンフィグレーションと制約解決ベンチマークの実験により、フォワードオンリーの変種は、リジェクションサンプリングやモデムシンボリック推論のオーバーヘッドよりも繰り返しLLM推論を低減しつつ、仕様に準拠した出力を確実に生成することが示された。 バックトラックの変種は、モデルがそれ自体が不適切であると判断された値を選択することを余儀なくされた場合をさらに減らし、それによって LLM が主張するプロンプトの解釈の遵守性を大幅に改善する。

関連論文リスト

• S-EDL: Eliciting Self-Evidence from Sequence Likelihoods for Semantic Calibration of LLMs [34.84613602121803]
  セマンティックキャリブレーションのための大規模言語モデルを最適化する新しい明示的手法であるS-EDLを紹介する。 S-EDLは、プロンプト固有のセマンティッククラスよりも先に微分可能なディリクレを構成する。 S-EDLは,精度を向上しつつ,意味的校正誤差を大幅に低減することを示す。
  論文  参考訳（メタデータ） (2026-10-21T14:55:58Z)
• Weave of Formal Thought [51.56484100374058]
  WoFT(Weave of Formal Thought)は、厳密な構文的検証と学習された構造的表現を結合したパラダイムである。 本稿では,非終端文法記号を直接生成にインターリーブするために,言語モデルを訓練する潜時可変微調整法を提案する。 Pythonでは、RWS目的のStarCoder2-3Bを微調整することで、テキストのみのSFTベースラインと比較して、トーケン毎のクロスエントロピーが14.3%削減される。
  論文  参考訳（メタデータ） (2026-06-24T15:58:11Z)
• DiffuRank: Effective Document Reranking with Diffusion Language Models [71.16830004674513]
  拡散言語モデル(dLLM)に基づいて構築されたフレームワークであるDiffuRankを提案する。 dLLMは、左から右への順序に制約されないより柔軟なデコーディングと生成プロセスをサポートする。 モデルサイズが類似した自己回帰LDMに匹敵する性能を示す。
  論文  参考訳（メタデータ） (2026-02-13T02:18:14Z)
• Task-Awareness Improves LLM Generations and Uncertainty [48.857040212979484]
  ベイズ最適応答は、ビームサーチのような標準的な復号法より一貫して優れている。 我々の決定論的なフレームワークは、潜在応答構造を持つあらゆる問題に適用できる。
  論文  参考訳（メタデータ） (2026-01-29T10:16:23Z)
• Scaling LLM Speculative Decoding: Non-Autoregressive Forecasting in Large-Batch Scenarios [76.85739138203014]
  本稿では,一方向および注目メカニズムを加速する新しいアーキテクチャであるSpecFormerを紹介する。 また,SpecFormerはトレーニング要求の低減と計算コストの削減を実現している。
  論文  参考訳（メタデータ） (2025-11-25T14:20:08Z)
• CRANE: Reasoning with constrained LLM generation [16.123698230193202]
  制約付きデコードアルゴリズムであるCRANEを提案し,制約付き生成の正しさと制約なし生成の柔軟性のバランスをとる。 CRANEは最先端の制約付き復号化戦略と標準の制約なし復号化戦略の両方を大きく上回っている。
  論文  参考訳（メタデータ） (2025-02-13T08:23:42Z)
• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• Order-Independence Without Fine Tuning [18.020492646988746]
  本稿では,LLMの出力が指定されたサブシーケンスのセットに順序依存しないことを保証する手法であるSet-Based Promptingを提案する。 我々の入力が分布外であるにもかかわらず、期待される精度への影響は小さく、予測は、一様に選択された応答のシャッフルの順序を超える。
  論文  参考訳（メタデータ） (2024-06-04T16:09:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。