論文の概要: BeSpec: Behavior-Level Specification Alignment for Code Generation

• arxiv url: http://arxiv.org/abs/2607.02949v1
• Date: Fri, 03 Jul 2026 04:48:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-09 13:18:24.615106
• Title: BeSpec: Behavior-Level Specification Alignment for Code Generation
• Title（参考訳）: BeSpec: コード生成のための振る舞いレベル仕様アライメント
• Abstract要約: 本稿では,行動モデルに基づく仕様アライメントアプローチであるBeSpecについて述べる。 BeSpecはタスク記述を、正しいプログラムの意図した振る舞いに関する部分的な証拠として扱う。 候補プログラムを生成し、プローブ入力で実行し、観測された振る舞いと予測された振る舞いを比較する。
• 参考スコア（独自算出の注目度）: 2.9611475619490633
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLMs have made substantial progress on automated code generation from natural-language descriptions of desired behavior (intent). Most existing methods improve generated programs through execution-guided code refinement: they generate a candidate solution, execute it, and patch the implementation using feedback, while leaving the underlying specification unchanged. This workflow implicitly assumes that the LLM's understanding of the intent is already correct and complete. In practice, however, intents are often ambiguous or underspecified. As a result, even a capable model may produce a correct implementation of the wrong intent, making specification mismatch a central bottleneck. This paper presents BeSpec, a behavioral model-based approach to specification alignment. BeSpec treats the task description as partial evidence about the intended behavior of the correct program. It first builds an explicit behavioral model, which are checkable properties that valid outputs must satisfy. BeSpec then generates candidate programs, executes them on probe inputs, and compares their observed behavior with the predicted behaviors. When observed behavior does not match the predicted behaviors, BeSpec either refines the specification or rejects the candidate program. We evaluate BeSpec with three LLMs on four benchmarks: CodeContests, xCodeEval, APPS, and the contamination-free LiveCodeBench. Against nine baselines, BeSpec achieves the highest Pass@1 and average pass rate across all settings, improving average Pass@1 over the strongest baseline by 8.1%--25.3% relative across the three LLMs. A failure analysis shows that after alignment, most remaining errors stem from algorithmic difficulty rather than misunderstood specifications, while ablation studies confirm that each major component of BeSpec contributes positively.
• Abstract（参考訳）: LLMは、望ましい振る舞い(インテント)の自然言語記述から自動コード生成に大きく進歩した。 既存のほとんどのメソッドは、実行誘導のコード修正によって生成されたプログラムを改善し、候補ソリューションを生成し、それを実行し、フィードバックを使って実装をパッチする。 このワークフローは、LLMの意図に対する理解がすでに正確で完全なものであることを暗黙的に仮定している。 しかし実際には、意図が曖昧であるか不明確であることが多い。 その結果、有能なモデルでさえ間違った意図を正しく実装することができ、仕様ミスマッチが中心的なボトルネックとなる。 本稿では,行動モデルに基づく仕様アライメントアプローチであるBeSpecについて述べる。 BeSpecはタスク記述を、正しいプログラムの意図した振る舞いに関する部分的な証拠として扱う。 まず、有効な出力が満たさなければならないチェック可能なプロパティである明示的な振る舞いモデルを構築します。 BeSpecは候補プログラムを生成し、プローブ入力で実行し、観測された振る舞いと予測された振る舞いを比較する。 観察された振る舞いが予測された振る舞いと一致しない場合、BeSpecは仕様を洗練するか、候補プログラムを拒否する。 我々は,BeSpecを,CodeContests,xCodeEval,APPS,汚染のないLiveCodeBenchの4つのベンチマークで評価した。 9つのベースラインに対して、BeSpecはすべての設定でPass@1と平均パスレートを達成し、最強ベースラインよりも平均パス@1を8.1%-25.3%改善した。 フェール分析は、アライメント後、残っていたほとんどのエラーは、誤解された仕様よりもアルゴリズム上の難しさによるものであることが示し、一方、アブレーション研究は、BeSpecの各主要コンポーネントが肯定的に寄与することを確認した。

関連論文リスト

• SpecFirst: Behavioral Specification Elicitation as a First-Class Step in Agent-Based Program Synthesis from Scratch [17.260324148993046]
  LLMベースのエージェントは、既存のコンテキストがコンテキストを提供するソフトウェアエンジニアリングタスクに優れていますが、スクラッチからプログラムを構築することは基本的に難しいです。 既存のフレームワークでは、ドキュメントの読み込み、振る舞いの探索、コード合成をひとつのパスにまとめています。 コード合成の前に仕様を強制する2段階のフレームワークであるSpecFirstを提示する。
  論文  参考訳（メタデータ） (2026-07-29T17:42:47Z)
• Teaching Code LLMs to Reason with Intermediate Formal Specifications [9.552020178028576]
  SpecCoderは、検証済みの参照プログラム、振る舞いを変えるミュータント、マルチターン仕様修正トレースから学ぶトレーニングフレームワークである。 SpecCoderは、欠陥のある実行を拒否しながら正しい実行を保持する仕様を選択し、受動的アノテーションから実行可能なエビデンスに変換する。
  論文  参考訳（メタデータ） (2026-07-05T11:09:30Z)
• Underspecification does not imply Incoherence: The Risks of Semantic Collapse in Coding Models [6.72873429875663]
  大きな言語モデル(LLM)は、タスク記述が明確で正確なときにコードを生成するのにますます効果的になっています。 しかし、ユーザが提供するタスク記述は曖昧、不完全、あるいは矛盾しがちであり、意図されたプログラム動作の重要な側面は明確でないままである。 LLMはしばしば、タスク記述の1つの誤った解釈に分解され、一貫性はあるが行動的に不整合なコードを生成する。
  論文  参考訳（メタデータ） (2026-07-02T09:43:15Z)
• Verus-SpecGym: An Agentic Environment for Evaluating Specification Autoformalization [26.123396123145415]
  LLMエージェントが非公式なプログラミング問題を忠実な形式仕様に変換することができるかどうか、仕様自動書式化について検討する。 Codeforces問題から派生した581の仕様記述タスクのベンチマークであるVerus-SpecBenchを紹介する。 フェールモードの解析は、モデル生成仕様が重要な入力仮定を受け入れ、誤った出力を受け入れ、有効な仕様を拒否できることを示している。
  論文  参考訳（メタデータ） (2026-05-26T02:12:48Z)
• LiveFMBench: Unveiling the Power and Limits of Agentic Workflows in Specification Generation [75.05397479715576]
  大規模言語モデル(LLM)とエージェントは有望な進歩を示しているが、その真の能力と失敗モードは未だ不明である。 CプログラムのためのLCMおよびエージェントベースの形式仕様生成に関する、最初の体系的および汚染に配慮した研究を提案する。
  論文  参考訳（メタデータ） (2026-05-02T11:31:33Z)
• CodeSpecBench: Benchmarking LLMs for Executable Behavioral Specification Generation [49.30536937161147]
  本稿では,実行ベース評価プロトコルの下で実行可能な動作仕様生成のためのベンチマークであるCodeSpecBenchを紹介する。 CodeSpecBenchは関数レベルとリポジトリレベルのタスクの両方をサポートし、仕様を実行可能なPython関数としてエンコードする。 リポジトリレベルのタスクでは、最高のモデルが20.2%のパス率しか達成できないため、パフォーマンスが大幅に低下するのを観察します。
  論文  参考訳（メタデータ） (2026-04-14T04:31:45Z)
• DuET: Dual Execution for Test Output Prediction with Generated Code and Pseudocode [56.14374797825548]
  よりエラー耐性の高い擬似コードに基づいて予測を行うLLMベースの擬似コード実行を提案する。 両手法を機能的多数決で組み合わせた二重実行フレームワークであるDuETを提案する。 LiveCodeBenchでは、DuETは最先端のパフォーマンスを実現し、Pass@1を13.6ppで改善した。
  論文  参考訳（メタデータ） (2026-04-13T14:18:58Z)
• Intent-aligned Formal Specification Synthesis via Traceable Refinement [43.72968325799861]
  VeriSpecGenは、要求レベルの属性と局所的な修復を通じて、リーンで意図に整合した仕様を合成する、トレーサブルな改善フレームワークです。 VeriSpecGenは自然言語をアトミックな要件に分解し、明示的なトレーサビリティマップで要求対象のテストを生成する。 我々は、Claude Opus 4.5を使用してVERINA SpecGenタスクの86.6%を達成し、モデルファミリとスケールで最大31.8ポイントのベースラインを改善する。
  論文  参考訳（メタデータ） (2026-04-12T00:52:27Z)
• AutoReSpec: A Framework for Generating Specification using Large Language Models [1.0026496861838448]
  大きな言語モデル(LLM)は形式的な仕様生成において有望であるが、初期の結果にはいくつかの制限がある。 提案するAutoReSpecは,オープンソースとクローズドソースのLLMを組み合わせて,検証可能な仕様生成を行う協調フレームワークである。 我々はAutoReSpecを72の現実世界および合成Javaプログラムの新しいベンチマークで評価する。
  論文  参考訳（メタデータ） (2026-04-04T15:17:08Z)
• Do AI models help produce verified bug fixes? [62.985237003585674]
  大規模言語モデルは、ソフトウェアバグの修正に使用される。 本稿では,プログラマが大規模言語モデルを用いて,自身のスキルを補完する方法について検討する。 その結果は、プログラムバグに対する保証された修正を提供するAIとLLMの適切な役割への第一歩となる。
  論文  参考訳（メタデータ） (2025-07-21T17:30:16Z)
• Teaching Your Models to Understand Code via Focal Preference Alignment [70.71693365502212]
  既存の手法では、テストケースの成功率に基づいてn個の候補解が評価される。 このアプローチは、特定のエラーを特定するのではなく、失敗するコードブロック全体を整列するので、意味のあるエラーと訂正の関係を捉えるのに必要な粒度が欠けている。 我々は、人間の反復デバッグを模倣してコードLLMを洗練させる新しい優先順位調整フレームワークであるTarget-DPOを提案する。
  論文  参考訳（メタデータ） (2025-03-04T16:56:34Z)
• ImbSAM: A Closer Look at Sharpness-Aware Minimization in Class-Imbalanced Recognition [62.20538402226608]
  シャープネス・アウェアの最小化(SAM)は,クラス不均衡条件下での一般化問題に対処できないことを示す。 このボトルネックを克服するために,Im Balanced-SAM (ImbSAM) というクラス認識スムーズネス最適化アルゴリズムを提案する。 我々のImbSAMは、テールクラスと異常に対する顕著なパフォーマンス改善を示す。
  論文  参考訳（メタデータ） (2023-08-15T14:46:32Z)
• Contrastive Retrospection: honing in on critical steps for rapid learning and generalization in RL [44.436494923745734]
  我々は、オフラインのコントラスト学習を用いて、重要なステップに注目する新しい強化学習アルゴリズムを提案する。 Contrastive Retrospection (ConSpec)と呼ばれるこのアルゴリズムは、既存のRLアルゴリズムに追加することができる。
  論文  参考訳（メタデータ） (2022-10-12T00:35:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。