論文の概要: Large Language Model Meets Constraint Propagation

• arxiv url: http://arxiv.org/abs/2505.24012v1
• Date: Thu, 29 May 2025 21:18:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-02 19:47:52.670982
• Title: Large Language Model Meets Constraint Propagation
• Title（参考訳）: 大言語モデルが制約伝搬に遭遇
• Authors: Alexandre Bonlarron, Florian Régin, Elisabetta De Maria, Jean-Charles Régin,
• Abstract要約: GenCPは、予測と制約プログラミング(Constraint Programming, CP)推論を組み合わせることで、流動的なテキストを生成する。 我々は、制約伝搬を可能にするドメイン生成のためのMasked Language Models (MLMs)を統合することにより、GenCPを改善する。 COLLIEベンチマークによる評価は、双方向呼び出しによるドメインプレビューの導入により、GenCPの性能が大幅に向上することを示す。
• 参考スコア（独自算出の注目度）: 42.54350568915404
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) excel at generating fluent text but struggle to enforce external constraints because they generate tokens sequentially without explicit control mechanisms. GenCP addresses this limitation by combining LLM predictions with Constraint Programming (CP) reasoning, formulating text generation as a Constraint Satisfaction Problem (CSP). In this paper, we improve GenCP by integrating Masked Language Models (MLMs) for domain generation, which allows bidirectional constraint propagation that leverages both past and future tokens. This integration bridges the gap between token-level prediction and structured constraint enforcement, leading to more reliable and constraint-aware text generation. Our evaluation on COLLIE benchmarks demonstrates that incorporating domain preview via MLM calls significantly improves GenCP's performance. Although this approach incurs additional MLM calls and, in some cases, increased backtracking, the overall effect is a more efficient use of LLM inferences and an enhanced ability to generate feasible and meaningful solutions, particularly in tasks with strict content constraints.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、流動的なテキストを生成するのに優れていますが、明示的な制御機構なしでトークンを順次生成するため、外部制約を強制するのに苦労しています。 GenCP はこの制限に LLM 予測と Constraint Programming (CP) 推論を組み合わせることで対処し、テキスト生成を Constraint Satisfaction Problem (CSP) として定式化する。 本稿では,過去のトークンと将来のトークンを併用した双方向制約伝搬を実現するため,Masked Language Models (MLM) をドメイン生成に組み込むことにより,GenCPの改善を行う。 この統合はトークンレベルの予測と構造化された制約執行のギャップを埋め、より信頼性が高く制約対応のテキスト生成につながる。 COLLIEベンチマークによる評価は、MLMコールによるドメインプレビューの導入により、GenCPの性能が大幅に向上することを示している。 このアプローチは、追加のMLM呼び出しを発生させ、場合によってはバックトラックを増大させるが、全体的な効果は、LSM推論をより効率的に利用し、特に厳しい内容制約のあるタスクにおいて、実現可能で有意義なソリューションを生成する能力を向上させることである。

関連論文リスト

• Cost-Effective Text Clustering with Large Language Models [15.179854529085544]
  本稿では,テキストクラスタリングの精度向上のために,大規模言語モデルからのフィードバックを取り入れたコスト効率の高いフレームワークTECLを提案する。 内部では、TECLはEdgeLLMまたはTriangleLLMを採用して、テキストペアの must-link/cannot-link 制約を構築しています。 複数のベンチマークデータセットに対する実験により、TECLは教師なしテキストクラスタリングにおいて既存のソリューションよりも一貫して、かなり優れています。
  論文  参考訳（メタデータ） (2025-04-22T06:57:49Z)
• Multi-Attribute Constraint Satisfaction via Language Model Rewriting [67.5778646504987]
  マルチ属性制約満足度(英: Multi-Attribute Constraint Satisfaction, MACS)は、言語モデルを微調整して、複数の外部実値属性に対するユーザ指定制約を満たす手法である。 我々の研究は、NLPやバイオインフォマティクスにまたがる多様な応用に影響を及ぼす、一般化および実値多属性制御のための新しい道を開く。
  論文  参考訳（メタデータ） (2024-12-26T12:36:39Z)
• Combining Constraint Programming Reasoning with Large Language Model Predictions [44.99833362998488]
  制約プログラミング(CP)と機械学習(ML)は、テキスト生成において課題に直面します。 本稿では,Large Language Model (LLM) をCPに組み込んだ手法を提案する。
  論文  参考訳（メタデータ） (2024-07-18T13:15:55Z)
• Evaluating, Understanding, and Improving Constrained Text Generation for Large Language Models [49.74036826946397]
  本研究では,大言語モデル(LLM)の制約付きテキスト生成について検討する。 本研究は主に,制約を語彙型,構造型,関係型に分類するオープンソース LLM に重点を置いている。 その結果、LLMの能力と不足を照らし、制約を取り入れ、制約付きテキスト生成における将来の発展に対する洞察を提供する。
  論文  参考訳（メタデータ） (2023-10-25T03:58:49Z)
• Tractable Control for Autoregressive Language Generation [82.79160918147852]
  本稿では,自動回帰テキスト生成モデルに語彙制約を課すために,トラクタブル確率モデル(TPM)を提案する。 本稿では,GeLaToが制約付きテキスト生成のための挑戦的ベンチマークにおいて,最先端のパフォーマンスを実現することを示す。 我々の研究は、大きな言語モデルを制御するための新しい道を開き、さらに表現力のあるTPMの開発を動機付けます。
  論文  参考訳（メタデータ） (2023-04-15T00:19:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。