論文の概要: Type-Constrained Code Generation with Language Models

• arxiv url: http://arxiv.org/abs/2504.09246v1
• Date: Sat, 12 Apr 2025 15:03:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-15 16:49:18.712458
• Title: Type-Constrained Code Generation with Language Models
• Title（参考訳）: 言語モデルを用いた型制約コード生成
• Authors: Niels Mündler, Jingxuan He, Hao Wang, Koushik Sen, Dawn Song, Martin Vechev,
• Abstract要約: 大規模言語モデル(LLM)はコードの形式的な側面をモデル化しないため、コンパイル不可能な出力を生成する。 本稿では,型システムを利用してコード生成を誘導する型制約デコード手法を提案する。 提案手法は,コンパイルエラーを半分以上削減し,コード合成,翻訳,修復作業における機能的正しさを向上する。
• 参考スコア（独自算出の注目度）: 51.03439021895432
• License:
• Abstract: Large language models (LLMs) have achieved notable success in code generation. However, they still frequently produce uncompilable output because their next-token inference procedure does not model formal aspects of code. Although constrained decoding is a promising approach to alleviate this issue, it has only been applied to handle either domain-specific languages or syntactic language features. This leaves typing errors, which are beyond the domain of syntax and generally hard to adequately constrain. To address this challenge, we introduce a type-constrained decoding approach that leverages type systems to guide code generation. We develop novel prefix automata for this purpose and introduce a sound approach to enforce well-typedness based on type inference and a search over inhabitable types. We formalize our approach on a simply-typed language and extend it to TypeScript to demonstrate practicality. Our evaluation on HumanEval shows that our approach reduces compilation errors by more than half and increases functional correctness in code synthesis, translation, and repair tasks across LLMs of various sizes and model families, including SOTA open-weight models with more than 30B parameters.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、コード生成において顕著な成功を収めた。 しかし、その次の推論手順はコードの形式的な側面をモデル化しないため、コンパイル不能な出力を頻繁に生成する。 制約付きデコーディングはこの問題を軽減するための有望なアプローチであるが、ドメイン固有の言語や構文言語の特徴を扱うためにのみ適用されている。 これは、構文の領域を超え、一般的に適切に制約するのは難しい、型付けエラーを残します。 この課題に対処するために,型システムを利用してコード生成を誘導する型制約デコード手法を提案する。 この目的のために新しい接頭辞オートマトンを開発し、型推論と居住型に対する探索に基づく健全な型付けを行うための音響アプローチを導入する。 シンプルな型付け言語に対する私たちのアプローチを形式化し、実践性を実証するためにTypeScriptに拡張します。 我々のHumanEvalに対する評価は,コード合成,翻訳,修復作業において,30B以上のパラメータを持つSOTAオープンウェイトモデルを含む様々なサイズおよびモデルファミリのLLMに対して,コンパイルエラーを半分以上削減し,機能的正当性を向上することを示す。

関連論文リスト

• Automata-based constraints for language model decoding [9.137697105669142]
  言語モデル(LM)は、いくつかの形式言語で文字列を生成することがしばしば期待されている。 チューニングにはかなりのリソースが必要で、一般的でない、あるいはタスク固有のフォーマットでは実用的ではない。 我々はこれらの問題をオートマトン理論を適用して解決する。 我々のシステムは、7000倍高速に制約をコンパイルし、確実に正確であり、モジュール方式で拡張することができる。
  論文  参考訳（メタデータ） (2024-07-11T00:25:01Z)
• ConCodeEval: Evaluating Large Language Models for Code Constraints in Domain-Specific Languages [35.170835339618414]
  大規模言語モデル(LLM)は、様々なテキスト生成タスクに対する自然言語の制約を理解するのに苦労する。 通常のコードタスクに対して優れたパフォーマンスを発揮するコード言語は、同じ言語がきめ細かい制約を表現している場合、うまく機能しない。 ConCodeEvalは、5つの表現にまたがるコード制約のための2つの新しいタスクを持つ、第一級のベンチマークです。
  論文  参考訳（メタデータ） (2024-07-03T08:36:13Z)
• Supporting Cross-language Cross-project Bug Localization Using Pre-trained Language Models [2.5121668584771837]
  既存のテクニックは、アプリケーション固有のデータに依存しているため、一般化性とデプロイメントに苦労することが多い。 本稿では,プロジェクトと言語の境界を超越したバグローカライゼーションのための,PLMに基づく新しい言語モデルを提案する。
  論文  参考訳（メタデータ） (2024-07-03T01:09:36Z)
• Decoding at the Speed of Thought: Harnessing Parallel Decoding of Lexical Units for LLMs [57.27982780697922]
  大規模言語モデルは、自然言語の理解と生成において例外的な能力を示した。 しかし、それらの生成速度は、その復号過程の本質的にシーケンシャルな性質によって制限される。 本稿では,データ駆動方式で実装された新しいデコーディング手法であるLexical Unit Decodingを紹介する。
  論文  参考訳（メタデータ） (2024-05-24T04:35:13Z)
• Understanding How CodeLLMs (Mis)Predict Types with Activation Steering [1.7252995245478464]
  モデルが型を誤って予測した場合に何が起こるかを調べる。 コードにセマンティクスを保存する編集を適用することで、コードLLMは最終的に型アノテーションの誤予測に誤解される。 ステアリングは型予測タスクで直接微調整に匹敵する性能を発揮することを示す。
  論文  参考訳（メタデータ） (2024-04-02T12:44:44Z)
• Coding by Design: GPT-4 empowers Agile Model Driven Development [0.03683202928838613]
  この研究は、アジャイルモデル駆動開発(MDD)アプローチを提供し、OpenAIのGPT-4を使ってコードの自動生成を強化する。 私たちの研究は、現行のMDDメソッドへの重要な貢献として"アジリティ"を強調しています。 最終的に、GPT-4を利用して、最後のレイヤはJavaとPythonの両方でコードを自動生成します。
  論文  参考訳（メタデータ） (2023-10-06T15:05:05Z)
• Generative Type Inference for Python [62.01560866916557]
  本稿では静的解析から静的ドメイン知識を取り入れた数ショットの生成型推論手法であるTypeGenを紹介する。 TypeGenは、静的解析の型推論ステップを、型依存グラフ(TDG)に基づいたプロンプトに変換することで、COTプロンプトを生成する。 実験の結果、TypeGenは引数型予測では10.0%、Top-1 Exact Matchでは22.5%で最高のベースラインであるType4Pyを上回っている。
  論文  参考訳（メタデータ） (2023-07-18T11:40:31Z)
• Language Model Pre-Training with Sparse Latent Typing [66.75786739499604]
  そこで本研究では,多種多様な潜在型を持つ文レベルのキーワードを疎に抽出することのできる,事前学習対象Sparse Latent Typingを提案する。 実験結果から,本モデルは外部知識を使わずに,自己教師型で解釈可能な潜在型カテゴリを学習できることが示唆された。
  論文  参考訳（メタデータ） (2022-10-23T00:37:08Z)
• Constrained Language Models Yield Few-Shot Semantic Parsers [73.50960967598654]
  我々は,事前学習された大規模言語モデルの利用を,少ない意味論として検討する。 意味構文解析の目標は、自然言語入力によって構造化された意味表現を生成することである。 言語モデルを用いて、入力を英語に似た制御されたサブ言語にパラフレーズし、対象の意味表現に自動的にマッピングする。
  論文  参考訳（メタデータ） (2021-04-18T08:13:06Z)
• Limits of Detecting Text Generated by Large-Scale Language Models [65.46403462928319]
  誤情報キャンペーンで使用される可能性があるため、長く一貫性のあるテキストを生成できる大規模な言語モデルが危険であると考える者もいる。 ここでは、仮説テスト問題として大規模言語モデル出力検出を定式化し、テキストを真あるいは生成されたものと分類する。
  論文  参考訳（メタデータ） (2020-02-09T19:53:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。