論文の概要: Learning and Enforcing Context-Sensitive Control for LLMs

• arxiv url: http://arxiv.org/abs/2604.10667v1
• Date: Sun, 12 Apr 2026 14:50:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-14 20:13:16.163272
• Title: Learning and Enforcing Context-Sensitive Control for LLMs
• Title（参考訳）: LLMにおける文脈感性制御の学習と強化
• Authors: Mohammad Albinhassan, Pranava Madhyastha, Mark Law, Alessandra Russo,
• Abstract要約: 本稿では,大規模言語モデルの相互作用から文脈依存制約を自動的に学習するフレームワークを提案する。 実験により,本手法は,LLM (1Bパラメータ) の学習と生成を完全制約付きで行うことができることを示した。
• 参考スコア（独自算出の注目度）: 48.58004364546273
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Controlling the output of Large Language Models (LLMs) through context-sensitive constraints has emerged as a promising approach to overcome the limitations of Context-Free Grammars (CFGs) in guaranteeing generation validity. However, such constraints typically require manual specification -- a significant barrier demanding specialized expertise. We introduce a framework that automatically learns context-sensitive constraints from LLM interactions through a two-phase process: syntactic exploration to gather diverse outputs for constraint learning, followed by constraint exploitation to enforce these learned rules during generation. Experiments demonstrate that our method enables even small LLMs (1B parameters) to learn and generate with perfect constraint adherence, outperforming larger counterparts and state-of-the-art reasoning models. This work represents the first integration of context-sensitive grammar learning with LLM generation, eliminating manual specification while maintaining generation validity.
• Abstract（参考訳）: 文脈依存的制約によるLLM(Large Language Models)の出力の制御は、生成の妥当性を保証するために、文脈自由文法(CFG)の限界を克服するための有望なアプローチとして現れてきた。 しかし、そのような制約は一般的に手動の仕様を必要とする -- 専門知識を必要とする重要な障壁である。 制約学習のための多様なアウトプットを収集するための統語的探索と,これらの学習ルールを世代毎に適用するための制約利用という2段階のプロセスを通じて,LLMインタラクションからコンテキスト依存的制約を自動的に学習するフレームワークを導入する。 実験により,本手法は最小のLLM(1Bパラメータ)でも完全な制約順守を学習し,生成することができ,より大規模な論理モデルや最先端の推論モデルよりも優れることが示された。 この研究は、文脈感性文法学習とLLM生成との初めての統合であり、生成妥当性を維持しつつ手動仕様を除去する。

関連論文リスト

• Conversational Control with Ontologies for Large Language Models: A Lightweight Framework for Constrained Generation [2.748993665644782]
  本研究は,LLM出力に対するモジュール型かつ説明可能な制御を実現するためのエンドツーエンド手法を提案する。 主要な側面は制約としてモデル化され、それに従ってコンテンツを生成するためにLLMをさらに微調整します。 提案手法は,より小さなモデルであっても,トレーニング済みのベースラインを一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2026-04-06T05:54:21Z)
• Large Language Model Meets Constraint Propagation [42.54350568915404]
  GenCPは、予測と制約プログラミング(Constraint Programming, CP)推論を組み合わせることで、流動的なテキストを生成する。 我々は、制約伝搬を可能にするドメイン生成のためのMasked Language Models (MLMs)を統合することにより、GenCPを改善する。 COLLIEベンチマークによる評価は、双方向呼び出しによるドメインプレビューの導入により、GenCPの性能が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2025-05-29T21:18:12Z)
• CRANE: Reasoning with constrained LLM generation [16.123698230193202]
  制約付きデコードアルゴリズムであるCRANEを提案し,制約付き生成の正しさと制約なし生成の柔軟性のバランスをとる。 CRANEは最先端の制約付き復号化戦略と標準の制約なし復号化戦略の両方を大きく上回っている。
  論文  参考訳（メタデータ） (2025-02-13T08:23:42Z)
• Attribute Controlled Fine-tuning for Large Language Models: A Case Study on Detoxification [76.14641982122696]
  本稿では,属性制御付き大規模言語モデル(LLM)の制約学習スキーマを提案する。 提案手法は, ベンチマーク上での競合性能と毒性検出タスクを達成しながら, 不適切な応答を少ないLCMに導出することを示す。
  論文  参考訳（メタデータ） (2024-10-07T23:38:58Z)
• TEGEE: Task dEfinition Guided Expert Ensembling for Generalizable and Few-shot Learning [37.09785060896196]
  タスク定義を明示的に抽出する textbfTEGEE (Task Definition Guided Expert Ensembling) を提案する。 私たちのフレームワークは2つの3Bモデルアプローチを採用しています。 実験により, TEGEEはより大きなLLaMA2-13Bモデルと相容れない性能を示した。
  論文  参考訳（メタデータ） (2024-03-07T05:26:41Z)
• FollowBench: A Multi-level Fine-grained Constraints Following Benchmark for Large Language Models [79.62191017182518]
  FollowBenchは、大規模言語モデルのベンチマークに続くきめ細かい制約のベンチマークである。 本稿では,初期命令に段階的に1つの制約を付加するマルチレベル機構を提案する。 FollowBench上での13のLLMの評価により,LLMの弱さと今後の研究への道のりを示す。
  論文  参考訳（メタデータ） (2023-10-31T12:32:38Z)
• Evaluating, Understanding, and Improving Constrained Text Generation for Large Language Models [49.74036826946397]
  本研究では,大言語モデル(LLM)の制約付きテキスト生成について検討する。 本研究は主に,制約を語彙型,構造型,関係型に分類するオープンソース LLM に重点を置いている。 その結果、LLMの能力と不足を照らし、制約を取り入れ、制約付きテキスト生成における将来の発展に対する洞察を提供する。
  論文  参考訳（メタデータ） (2023-10-25T03:58:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。