論文の概要: The Alignment Problem in Constrained Code Generation

• arxiv url: http://arxiv.org/abs/2606.21619v1
• Date: Fri, 19 Jun 2026 17:22:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-26 04:32:53.286979
• Title: The Alignment Problem in Constrained Code Generation
• Title（参考訳）: 制約付きコード生成におけるアライメント問題
• Authors: Matteo Biagiola, Jahrim Gabriele Cesario, Luca Di Grazia, George Zakhour, Guido Salvaneschi,
• Abstract要約: 言語モデルが不完全性のレベルにどのように反応するかを検討する。 制約のない復号化は、機能的正確性の観点から制限された復号化を著しく上回る。 これらの貢献により、コミュニティは制約付き復号法における悪影響を認識させる。
• 参考スコア（独自算出の注目度）: 5.219568203653523
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have demonstrated strong capabilities in code generation, but their outputs frequently contain syntax or type errors that result in compilation failures. Constrained decoding has been proposed as a solution to mitigate compilation errors by construction, improving functional correctness as a byproduct. However, previous works overlook a critical aspect of constrained decoding: the alignment between constrainer (e.g., types), language model and the target specification language (e.g., TypeScript). Misalignment is caused by the constrainer being incomplete--rejecting programs that belong to the target--or unsound--allowing programs that are not part of the target. The bias created by incompleteness distorts the language model distribution, and can be detrimental for code generation. We evaluate this hypothesis using seven language models, two target languages, two constrainers, enforcing types and syntax during decoding, and we study how language models react to varying levels of incompleteness. On three benchmarks, when the constrainer is incomplete, unconstrained decoding significantly outperforms constrained decoding in terms of functional correctness. Incompleteness pushes the model into low-probability regions of the program space, causing the generation to frequently time out, and reducing functional correctness by up to 97%. These contributions make the community aware of the negative effects of misalignment in constrained decoding, and provide quantitative insights on how to design constrainers that are beneficial for code generation systems with formal guarantees.
• Abstract（参考訳）: LLM(Large Language Models)は、コード生成において強力な機能を示しているが、その出力にはコンパイルエラーを引き起こす構文や型エラーが頻繁に含まれている。 制約付き復号法は, 副産物としての機能的正しさを向上し, 構成によるコンパイルエラーを軽減するための解法として提案されている。 しかしながら、以前の作業では、制約付きデコーディング(例:型)、言語モデル、ターゲット仕様言語(例:TypeScript)の整合性といった、制約付きデコーディングの重要な側面を見落としていた。 ミスアライメントは、ターゲットに属する制約プログラムが不完全であるために生じる。 不完全性によって生成されるバイアスは言語モデルの分布を歪め、コード生成に有害である。 我々は,この仮説を7つの言語モデル,2つの対象言語,2つの制約言語,デコード中の型と構文を用いて評価し,言語モデルが不完全性の異なるレベルにどのように反応するかを検討する。 3つのベンチマークでは、制約器が不完全である場合、非制約復号法は機能的正しさの観点から制約復号法よりも大幅に優れる。 不完全性は、モデルをプログラム空間の低確率領域に押し込み、生成を頻繁にタイムアウトさせ、機能的正しさを最大97%削減する。 これらの貢献により、コミュニティは制約付きデコーディングにおけるミスアライメントのネガティブな影響を認識し、正式な保証のあるコード生成システムに有用な制約を設計する方法に関する定量的な洞察を提供する。

関連論文リスト

• Readability-Robust Code Summarization via Meta Curriculum Learning [53.44612630063336]
  現実の世界では、コードが貧弱な構造や難読化され、モデルのパフォーマンスが著しく低下することが多い。 本稿では,可読性の低いコードに対するコード要約の堅牢性を向上する,新しい微調整手法であるRoFTCodeSumを提案する。
  論文  参考訳（メタデータ） (2026-01-09T02:38:24Z)
• Type-Constrained Code Generation with Language Models [51.03439021895432]
  本稿では,型システムを利用してコード生成を誘導する型制約デコード手法を提案する。 そこで本研究では,新しい接頭辞オートマトンと,在来型を探索する手法を開発し,LLM生成コードに適切な型付けを強制するための健全なアプローチを構築した。 提案手法は,コード合成,翻訳,修復作業において,コンパイルエラーを半分以上削減し,機能的正しさを著しく向上させる。
  論文  参考訳（メタデータ） (2025-04-12T15:03:00Z)
• Decoding at the Speed of Thought: Harnessing Parallel Decoding of Lexical Units for LLMs [57.27982780697922]
  大規模言語モデルは、自然言語の理解と生成において例外的な能力を示した。 しかし、それらの生成速度は、その復号過程の本質的にシーケンシャルな性質によって制限される。 本稿では,データ駆動方式で実装された新しいデコーディング手法であるLexical Unit Decodingを紹介する。
  論文  参考訳（メタデータ） (2024-05-24T04:35:13Z)
• Constrained Decoding for Fill-in-the-Middle Code Language Models via Efficient Left and Right Quotienting of Context-Sensitive Grammars [11.279507894576213]
  本稿では,構文的に正しくないコードの早期拒絶を可能にするインクリメンタルな合成に寄与する。 文脈自由文法の左右商を許容するために、Earey解析アルゴリズムを拡張した。
  論文  参考訳（メタデータ） (2024-02-28T02:12:47Z)
• Teaching Large Language Models to Self-Debug [62.424077000154945]
  大規模言語モデル(LLM)は、コード生成において素晴らしいパフォーマンスを達成した。 本稿では,大規模言語モデルで予測プログラムを数発のデモでデバッグする自己デバッグを提案する。
  論文  参考訳（メタデータ） (2023-04-11T10:43:43Z)
• Generating Sequences by Learning to Self-Correct [64.0249217590888]
  自己補正(Self-Correction)は、不完全な世代を反復的に修正する独立した修正器から不完全なベースジェネレータを分離する。 本稿では,3つの多種多様なタスクにおいて,自己補正がベースジェネレータを改善することを示す。
  論文  参考訳（メタデータ） (2022-10-31T18:09:51Z)
• FixEval: Execution-based Evaluation of Program Fixes for Programming Problems [23.987104440395576]
  FixEvalは、競合するプログラミング問題とそれに対応する修正に対して、バグの多いコードを提出するベンチマークです。 FixEvalは、モデル生成プログラム修正の正確性を評価するために、ユニットテストの広範なコレクションを提供する。 実験の結果,マッチングに基づくメトリクスは,モデル生成プログラムの修正を正確に反映しないことがわかった。
  論文  参考訳（メタデータ） (2022-06-15T20:18:43Z)
• Compilable Neural Code Generation with Compiler Feedback [43.97362484564799]
  本稿では、言語モデルの微調整、コンパイル可能性強化、コンパイル可能性判定を含む、コンパイル可能なコード生成のための3段階パイプラインを提案する。 2つのコード生成タスクの実験は,提案手法の有効性を示し,平均44.18から89.18に,テキスト・コード生成では70.3から96.2に向上した。
  論文  参考訳（メタデータ） (2022-03-10T03:15:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。