論文の概要: Tractable Hierarchical Control of Autoregressive Language Models

• arxiv url: http://arxiv.org/abs/2607.20483v1
• Date: Mon, 01 Jun 2026 14:57:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-27 00:46:13.195369
• Title: Tractable Hierarchical Control of Autoregressive Language Models
• Title（参考訳）: 自己回帰型言語モデルのトラクタブル階層制御
• Abstract要約: 自己回帰型大言語モデル(LLM)の生成を抑制することは、言語モデルを形式システムに統合する上で重要な要素である。 LLMを抽出可能な確率モデルに蒸留することにより、自己回帰生成を操り、マスクし、論理的制約を満たす確率を組み込むことができる。
• 参考スコア（独自算出の注目度）: 13.930492173862165
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Constraining the generation of autoregressive large language models (LLMs) is an important component of integrating language models into formal systems. In the generation of code and data for tasks like program synthesis, ensuring that language models produce syntactically valid output is a prerequisite for processing such output. These languages (such as SQL or JSON) are often designed as $LR(k)$ context-free grammars. By distilling the LLM to a tractable probabilistic model, its autoregressive generation can be steered and masked to incorporate the probability of satisfying logical constraints, ensuring high quality output that is guaranteed to be valid. This paper demonstrates that the satisfaction of any $LR(k)$ grammar of finite duration can be calculated in polynomial time, an improvement over the exponential time of applying previous methods to such grammars. This result enables efficient constraint and steering of LLM generation towards output that better satisfies formal syntactic constraints.
• Abstract（参考訳）: 自己回帰型大言語モデル(LLM)の生成を抑制することは、言語モデルを形式システムに統合する上で重要な要素である。 プログラム合成のようなタスクのためのコードとデータの生成において、言語モデルが構文的に有効な出力を生成することが、そのような出力を処理するための前提条件である。 これらの言語(SQLやJSONなど)は、しばしば$LR(k)$コンテキストフリー文法として設計される。 LLMをトラクタブル確率モデルに蒸留することにより、その自己回帰生成を操り、マスクし、論理的制約を満たす確率を取り入れ、有効であることが保証される高品質な出力を確保する。 本稿では, 有限長の任意の$LR(k)$文法の満足度を多項式時間で計算できることを示す。 これにより、形式的な構文制約をより満足する出力に対するLLM生成の効率的な制約とステアリングが可能になる。

関連論文リスト

• Lookahead-then-Verify: Reliable Constrained Decoding for Diffusion LLMs under Context-Free Grammars [17.13122301190815]
  本稿では,dLLMに特化して設計された制約付き復号法であるLAVEを提案する。 提案手法は,dLLMの鍵となる特性,すなわち前方通過時の全位置のトークン分布を予測する能力を利用する。 広く使用されている4つのdLLMと3つの代表的なベンチマークによる大規模な実験は、LAVEが既存のベースラインを一貫して上回り、構文的正確性を大幅に改善し、無視可能なランタイムオーバーヘッドを発生させることを示した。
  論文  参考訳（メタデータ） (2026-01-31T08:58:15Z)
• Constrained Decoding of Diffusion LLMs with Context-Free Grammars [1.0923877073891446]
  大規模言語モデル(LLM)は、様々な領域で有望なパフォーマンスを示している。 本稿では拡散モデルに対する最初の制約付き復号法を提案する。 本手法は,機能的正当性を維持しつつ,ほぼ完全な統語的正当性を達成できることを示す。
  論文  参考訳（メタデータ） (2025-08-13T18:09:09Z)
• Large Language Model Meets Constraint Propagation [42.54350568915404]
  GenCPは、予測と制約プログラミング(Constraint Programming, CP)推論を組み合わせることで、流動的なテキストを生成する。 我々は、制約伝搬を可能にするドメイン生成のためのMasked Language Models (MLMs)を統合することにより、GenCPを改善する。 COLLIEベンチマークによる評価は、双方向呼び出しによるドメインプレビューの導入により、GenCPの性能が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2025-05-29T21:18:12Z)
• Syntactic and Semantic Control of Large Language Models via Sequential Monte Carlo [90.78001821963008]
  広い範囲のLMアプリケーションは、構文的制約や意味論的制約に適合するテキストを生成する必要がある。 我々は、連続モンテカルロ(SMC)に基づく制御LM生成のためのアーキテクチャを開発する。 我々のシステムはLew et al. (2023) のフレームワーク上に構築されており、言語モデル確率型プログラミング言語と統合されている。
  論文  参考訳（メタデータ） (2025-04-17T17:49:40Z)
• Type-Constrained Code Generation with Language Models [51.03439021895432]
  本稿では,型システムを利用してコード生成を誘導する型制約デコード手法を提案する。 そこで本研究では,新しい接頭辞オートマトンと,在来型を探索する手法を開発し,LLM生成コードに適切な型付けを強制するための健全なアプローチを構築した。 提案手法は,コード合成,翻訳,修復作業において,コンパイルエラーを半分以上削減し,機能的正しさを著しく向上させる。
  論文  参考訳（メタデータ） (2025-04-12T15:03:00Z)
• Boosting the Capabilities of Compact Models in Low-Data Contexts with Large Language Models and Retrieval-Augmented Generation [2.9921619703037274]
  本稿では,形態素解析の言語タスクにおいて,より小さなモデルの出力を補正するために,大言語モデル(LLM)を基盤とした検索拡張生成(RAG)フレームワークを提案する。 データ不足や訓練可能なパラメータの不足を補うために,言語情報を活用するとともに,LLMを通して解釈・蒸留された記述文法からの入力を許容する。 コンパクトなRAG支援モデルがデータスカース設定に極めて有効であることを示し、このタスクとターゲット言語に対する新しい最先端技術を実現する。
  論文  参考訳（メタデータ） (2024-10-01T04:20:14Z)
• Using Grammar Masking to Ensure Syntactic Validity in LLM-based Modeling Tasks [0.996023506058745]
  文法マスキング(Grammar masking)は、与えられた文脈自由文法に対して構文的に正しいモデルを生成するための大きな言語モデルを導くために用いられる。 文法マスキングは,複数の言語モデルのモデリング能力を劇的に向上させることができることを示す。
  論文  参考訳（メタデータ） (2024-07-08T17:19:59Z)
• Which Syntactic Capabilities Are Statistically Learned by Masked Language Models for Code? [51.29970742152668]
  精度に基づく測定に依存することで、モデルの能力が過大評価される可能性があることを強調する。 これらの問題に対処するために,SyntaxEval in Syntactic Capabilitiesというテクニックを導入する。
  論文  参考訳（メタデータ） (2024-01-03T02:44:02Z)
• FiLM: Fill-in Language Models for Any-Order Generation [71.42044325886194]
  Fill-in Language Model (FiLM) は、特定の生成順序に固執することなく任意の位置で柔軟な生成を可能にする新しい言語モデリング手法である。 推論中、FiLMは欠落したフレーズ、文、段落をシームレスに挿入できる。 FiLMは、再構成されたテキストセグメントでトレーニングされた左から右への言語モデルに依存する既存のインフィル手法よりも優れています。
  論文  参考訳（メタデータ） (2023-10-15T19:37:39Z)
• Large Language Models as General Pattern Machines [64.75501424160748]
  我々は,事前訓練された大規模言語モデル (LLM) が,複雑なトークンシーケンスを自動回帰的に完了することを示す。 驚いたことに、語彙からランダムにサンプリングされたトークンを用いてシーケンスが表現された場合でも、パターン完了の習熟度を部分的に保持することができる。 本研究では,ロボット工学における問題に対して,これらのゼロショット機能がどのように適用されるかを検討する。
  論文  参考訳（メタデータ） (2023-07-10T17:32:13Z)
• Tractable Control for Autoregressive Language Generation [82.79160918147852]
  本稿では,自動回帰テキスト生成モデルに語彙制約を課すために,トラクタブル確率モデル(TPM)を提案する。 本稿では,GeLaToが制約付きテキスト生成のための挑戦的ベンチマークにおいて,最先端のパフォーマンスを実現することを示す。 我々の研究は、大きな言語モデルを制御するための新しい道を開き、さらに表現力のあるTPMの開発を動機付けます。
  論文  参考訳（メタデータ） (2023-04-15T00:19:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。