論文の概要: Compact Constraint Encoding for LLM Code Generation: An Empirical Study of Token Economics and Constraint Compliance
- arxiv url: http://arxiv.org/abs/2604.07192v1
- Date: Wed, 08 Apr 2026 15:18:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-09 17:30:51.606048
- Title: Compact Constraint Encoding for LLM Code Generation: An Empirical Study of Token Economics and Constraint Compliance
- Title(参考訳): LLM符号生成のためのコンパクト制約符号化:トークン経済と制約コンプライアンスの実証的研究
- Abstract要約: 本研究では,コンパクトで構造化された制約ヘッダーが制約コンプライアンスを低下させることなく,トークンの迅速な消費を低減できるかどうかを検討する。
コンパクトヘッダーは、3ラウンドで複製された制約ポートトークンを約71%減らし、フルプロンプトトークンを25~30%減らした。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: LLMs used for code generation are typically guided by engineering constraints--technology choices, dependency restrictions, and architectural patterns--expressed in verbose natural language. We investigate whether compact, structured constraint headers can reduce prompt token consumption without degrading constraint compliance. Across six experimental rounds spanning 11 models, 16 benchmark tasks, and over 830 LLM invocations, we find that compact headers reduce constraint-portion tokens by approximately 71% and full-prompt tokens by 25--30%, replicated across three independent rounds. However, we detect no statistically significant differences in constraint satisfaction rate (CSR) across three encoding forms or four propagation modes; observed effect sizes are negligible (Cliff's $δ$ < 0.01, 95% CI spanning $\pm$2.6 percentage points). This null pattern holds across two models from different capability tiers. A supplementary experiment with four non-CSS tasks provides additional cross-domain support for the encoding null result. The largest observed sources of compliance variance are constraint type ($Δ$ = 9 percentage points between normal and counter-intuitive constraints) and task domain: counter-intuitive constraints opposing model defaults fail at 10--100%, while conventional constraints achieve 99%+ compliance regardless of encoding. Model self-assessments systematically overestimate compliance relative to rule-based scoring, revealing a gap between constraint understanding and execution. Under the tested conditions, the primary benefit of compact constraint encoding is token reduction rather than compliance improvement, and engineering effort toward compliance is better directed at constraint design than prompt formatting.
- Abstract(参考訳): コード生成に使用されるLLMは、エンジニアリングの制約、技術の選択、依存性の制限、アーキテクチャのパターンなど、冗長な自然言語で表現されるのが一般的である。
本研究では,コンパクトで構造化された制約ヘッダーが制約コンプライアンスを低下させることなく,トークンの迅速な消費を低減できるかどうかを検討する。
11のモデル、16のベンチマークタスク、830以上のLSM呼び出しを含む6つの実験ラウンドにおいて、コンパクトヘッダは制約ポートトークンを約71%減らし、フルプロンプトトークンを25~30%減らし、3つの独立したラウンドで複製する。
しかし、3つの符号化形式または4つの伝搬モードで制約満足度(CSR)の統計的に有意な差は見つからない(Cliff's $δ$ < 0.01, 95% CI spaning $\pm$2.6%)。
このnullパターンは、異なる機能層から2つのモデルにまたがる。
4つの非CSSタスクによる補助的な実験は、エンコーディングのnull結果に対するクロスドメインサポートを提供する。
コンプライアンスの最大の要因は制約型(Δ$ = 9パーセント)とタスクドメイン: モデルデフォルトに反対する反直観的制約は10-100%でフェールする一方、従来の制約はエンコーディングに関係なく99%以上のコンプライアンスを達成する。
モデル自己評価は、ルールベースのスコアリングに対するコンプライアンスを体系的に過大評価し、制約の理解と実行のギャップを明らかにする。
テスト条件下では、コンパクトな制約符号化の主な利点は、コンプライアンスの改善よりもトークンの削減であり、コンプライアンスに向けたエンジニアリングの取り組みは、プロンプトフォーマッティングよりも制約設計に向けられている。
関連論文リスト
- Constraint-Guided Enterprise Data Mapping with Large Language Models [0.25453602861405583]
i) メタデータmc = tau_c, delta_c>, (ii) カスケード緩和による制約制約付き候補生成により, 雑音下での空でない実現可能な集合を保証し, (iii) 有界な曖昧性を持つニューラルネットワークのランク付けを行う。
方法論的には、制約はポストホックのバリデータではなく仮説空間演算子として機能し、緩和の下で制御された劣化と、監査可能な人間の誘導可能な決定を可能にする。
論文 参考訳(メタデータ) (2026-08-25T08:23:45Z) - Large Language Models Can Follow Instructions, But Not Many at Once: Phase Transitions in Compositional Constraint Satisfaction [2.668746022268522]
大規模言語モデルは、複数の明示的な制約を同時に遵守する必要のある設定に、ますます多くデプロイされている。
個々の制約は巧妙に扱われるが、構成的構造はいまだに不十分である。
並列制約の数を体系的に変化させるベンチマークであるConstraint Saturation Evaluation (CSE)を導入する。
論文 参考訳(メタデータ) (2026-08-12T10:57:06Z) - Constrained Decoding for Diffusion Language Models via Efficient Inference over Finite Automata [57.27430779838529]
有限オートマトンとして表現可能な任意の制約の下で,制約付き平均場後部からサンプリングする,正確かつトラクタブルなアルゴリズムを提案する。
このアプローチは、構築による制約満足度を保証し、欲求とサンプリングベースのデコーディングの両方をサポートし、並列およびブロックワイドデコーディングと互換性がある。
Dream-7B と LLaDA-8 の実証的な評価は、様々なタスクにおいてかなりの精度の向上を示した。
論文 参考訳(メタデータ) (2026-07-08T05:48:57Z) - NCO: A Versatile Plug-in for Handling Negative Constraints in Decoding [9.328325284438595]
誇張やPIIのような望ましくないコンテンツの発生を防ぐための大規模言語モデル (LLM) がますます重要になっている。
我々は,有限な制約や制約に対してオンラインパターンマッチングを行うデコード戦略であるNCOを提案する。
我々は,PIIや抑制を含む実践的な課題において,その効果を実証的に実証した。
論文 参考訳(メタデータ) (2026-05-11T06:43:42Z) - Optimizing Earth Observation Satellite Schedules under Unknown Operational Constraints: An Active Constraint Acquisition Approach [1.3097161185372153]
保守的制約獲得(英: conservative Constraint Acquisition, CCA)は、正当化された制約を効果的に識別するために設計されたドメイン固有の手続きである。
L&Oは、学習制約モデルの下で最適化をターゲットとするオラクルクエリと交換する対話型検索プロセスをサポートする。
CP-SAT参照が120年代に見つかった最良のソリューションである$n=50$では、L&Oは平均17.9%対20.3%)で改善され、100の代わりに21.3のメインクエリを使用する。
論文 参考訳(メタデータ) (2026-04-14T20:19:28Z) - CCTU: A Benchmark for Tool Use under Complex Constraints [66.87622847854337]
複雑な制約下での大規模言語モデル(LLM)を評価するためのベンチマークであるCCTUを紹介する。
ベンチマークは、さまざまなツール使用シナリオに対して、慎重にキュレートされ、挑戦的なテストケースが200から成っている。
ステップレベルの検証を行い、コンプライアンスを強制する実行可能な制約検証モジュールを開発する。
論文 参考訳(メタデータ) (2026-03-16T14:05:13Z) - Deterministic Fuzzy Triage for Legal Compliance Classification and Evidence Retrieval [0.0]
法律チームはますます、大量の契約上の証拠をトリアージするために機械学習を使用している。
多くのモデルは不透明で非決定論的であり、HIPAAやNERC-CIPのようなフレームワークと整合するのは難しい。
決定論的双対エンコーダと透明なファジィトリアージバンドに基づく簡単な再現可能な代替法について検討する。
論文 参考訳(メタデータ) (2026-03-08T00:31:34Z) - Did You Forget What I Asked? Prospective Memory Failures in Large Language Models [0.0]
大規模な言語モデルは、必要なタスクを同時に実行する必要があるときに、フォーマット命令を満たさないことが多い。
制御パラダイムを用いて、認知心理学から先進記憶にインスパイアされたレンズを通して、この行動を研究する。
脆弱性は型に依存しやすく、50%まで低下する一方、回避制約は比較的堅牢である。
サリエンス強化フォーマット(明示的な命令フレーミングと後続のリマインダー)は、多くの設定で性能を90-100%に回復する。
論文 参考訳(メタデータ) (2026-03-07T05:58:19Z) - Draft-Conditioned Constrained Decoding for Structured Generation in LLMs [11.309525632171217]
制約デコーディングは、モデルが有効な継続に低確率質量を割り当てたときに生成を歪めることができる。
本稿では,構造的強制からセマンティックプランニングを分離する訓練自由推論手法であるemphDraft-Conditioned Constrained Decoding (DCCD)を提案する。
我々は,KLプロジェクションビューを用いてDCCDを解析し,ドラフト条件が実現可能な質量を増大させ,ハード制約による累積的な「投射税」を減少させることを示した。
論文 参考訳(メタデータ) (2026-02-08T03:52:24Z) - Programming over Thinking: Efficient and Robust Multi-Constraint Planning [54.77940831026738]
SCOPEは、クエリ固有の推論をジェネリックコード実行から切り離すフレームワークである。
SCOPEは、コストとレイテンシを下げながら最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2026-01-14T02:58:07Z) - CIFE: Code Instruction-Following Evaluation [3.941243815951084]
我々は1,000のPythonタスクのベンチマークを導入し、それぞれが13のカテゴリにまたがる平均7つの開発者指定制約とペアリングした。
補完的付着度を用いて14個のオープンソース・クローズド・ソース・モデルを評価し,C2Aスコア(C2A Score)を提案する。
その結果、部分的満足度と厳密な満足度の間には実質的なギャップがみられ、強いモデルは90%以上の部分的密着性を達成する一方、厳密な密着性は39-66%に留まった。
論文 参考訳(メタデータ) (2025-12-19T09:43:20Z) - Adaptive Neighborhood-Constrained Q Learning for Offline Reinforcement Learning [52.03884701766989]
オフライン強化学習(RL)アルゴリズムは、通常、アクション選択に制約を課す。
本稿では,Bellmanターゲットにおける行動選択を,データセットアクションの近傍の結合に制限する新しい地区制約を提案する。
我々は,この制約を満たす目標動作を用いてQ学習を行うための,単純で効果的なアルゴリズムであるAdaptive Neighborhood-Constrained Q Learning(ANQ)を開発した。
論文 参考訳(メタデータ) (2025-11-04T13:42:05Z) - Fast Controlled Generation from Language Models with Adaptive Weighted Rejection Sampling [90.86991492288487]
トークンの制約を評価するのは 違法にコストがかかる
LCDは文字列上のグローバル分布を歪め、ローカル情報のみに基づいてトークンをサンプリングすることができる。
我々のアプローチは最先端のベースラインよりも優れていることを示す。
論文 参考訳(メタデータ) (2025-04-07T18:30:18Z) - RAYEN: Imposition of Hard Convex Constraints on Neural Networks [47.494620411594624]
RAYENは、ニューラルネットワークにハード凸制約を課すフレームワークである。
最先端のアルゴリズムの20倍から7468倍の高速化を実現している。
論文 参考訳(メタデータ) (2023-07-17T09:12:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。