論文の概要: SpecFirst: Behavioral Specification Elicitation as a First-Class Step in Agent-Based Program Synthesis from Scratch

• arxiv url: http://arxiv.org/abs/2607.27167v1
• Date: Wed, 29 Jul 2026 17:42:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-30 21:06:25.764991
• Title: SpecFirst: Behavioral Specification Elicitation as a First-Class Step in Agent-Based Program Synthesis from Scratch
• Title（参考訳）: SpecFirst: Scratchからのエージェントベースプログラム合成における第一段階としての行動仕様抽出
• Abstract要約: LLMベースのエージェントは、既存のコンテキストがコンテキストを提供するソフトウェアエンジニアリングタスクに優れていますが、スクラッチからプログラムを構築することは基本的に難しいです。 既存のフレームワークでは、ドキュメントの読み込み、振る舞いの探索、コード合成をひとつのパスにまとめています。 コード合成の前に仕様を強制する2段階のフレームワークであるSpecFirstを提示する。
• 参考スコア（独自算出の注目度）: 17.260324148993046
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: LLM-based agents excel at software engineering tasks where an existing codebase provides context, but constructing a program from scratch remains fundamentally harder. Recent benchmarks such as ProgramBench quantify this gap: given only natural-language documentation and an execute-only binary as a behavioral oracle, even frontier models solve fewer than 1% of instances. Existing frameworks conflate documentation reading, behavioral exploration, and code synthesis into a single pass, causing agents to probe insufficiently, lose behavioral intent as context drifts, and propagate early misinterpretations into the final implementation. Inspired by classical requirements engineering, we argue that behavioral specification elicitation should be a first-class phase that precedes implementation. We present SpecFirst, a two-stage framework that forces the specification elicitation before code synthesis. A dedicated spec agent first probes the binary and combines observations with documentation into a structured specification. Next, a code synthesis agent then uses this specification to drive implementation. This decomposition resolves documentation ambiguities before coding begins and provides a stable behavioral reference throughout synthesis. We evaluate SpecFirst on all 200 ProgramBench instances across four models spanning two families and an order of magnitude of capability. SpecFirst consistently outperforms the single-loop baseline, improving test pass rates by 6.9%-21.3% and binary exploration coverage by 9.4%-18.5%, all statistically significant. Behavioral analysis on code synthesis further shows that a prior specification enables earlier and more sustained code construction. Our results demonstrate that an explicit requirements-engineering phase is an effective paradigm for from-scratch program construction.
• Abstract（参考訳）: LLMベースのエージェントは、既存のコードベースがコンテキストを提供するソフトウェアエンジニアリングタスクに長けているが、スクラッチからプログラムを構築することは基本的には難しい。 ProgramBenchのような最近のベンチマークは、このギャップを定量化している。自然言語のドキュメントと振る舞いのオラクルとしての実行専用のバイナリだけを考えると、フロンティアモデルでさえ1%未満のインスタンスを解決している。 既存のフレームワークはドキュメントの読み込み、行動探索、コード合成を1つのパスに分割し、エージェントが不十分な調査をし、コンテキストのドリフトとして振る舞いの意図を失い、初期の誤解を最終実装に広める。 古典的な要求工学に触発されて、我々は行動仕様の導出は実装に先立つ第一級の段階であるべきだと論じる。 コード合成の前に仕様を強制する2段階のフレームワークであるSpecFirstを提示する。 専用のスペックエージェントが最初にバイナリを探索し、観察とドキュメントを構造化された仕様に結合する。 次に、コード合成エージェントがこの仕様を使用して実装を駆動する。 この分解は、コーディングが始まる前に文書の曖昧さを解消し、合成を通して安定した行動参照を提供する。 2つのファミリーにまたがる4つのモデルにまたがる200のProgramBenchインスタンスと1桁の能力でSpecFirstを評価する。 SpecFirstはシングルループベースラインを一貫して上回り、テストパス率を6.9%-21.3%、バイナリサーベイカバレッジを9.4%-18.5%改善し、全て統計的に有意である。 コード合成に関する振る舞い解析は、事前の仕様により、より早く、より持続的なコード構築が可能になることを示している。 この結果から, 明示的な要求工学フェーズが, プログラム構築に有効なパラダイムであることが示唆された。

関連論文リスト

• Synthetic Semantic Supervision for Contrastive Code Representation Learning in Small Transformers: An Empirical Study [8.409799680956013]
  汎用コード埋め込みは、コード検索、分類、検索のためのパワーツールである。 コード機能と意図を強調する自然言語記述を合成的に生成した小型エンコーダのコントラスト事前学習について検討する。
  論文  参考訳（メタデータ） (2026-09-03T11:41:09Z)
• Agentic Separation Logic Specification Synthesis [4.177196802192322]
  Spec-Agentは、大規模なC++で表現力のある、よく検証された仕様を合成するためのエージェントシステムである。 それぞれの関数に対して、Spec-Agentは静的解析とランタイムヒープトレースを使用して、適切なターゲット仕様言語を選択する。 数百万行のコードからなるオープンソースのC++上でSpec-Agentを評価する。
  論文  参考訳（メタデータ） (2026-05-26T18:05:42Z)
• From I/O to Code with Discovery Agent [103.88427301265669]
  IO2Codeの発見エージェントであるDIO-Agentを提案する。 本手法は,プログラム空間上の進化的探索としてIO2Codeをフレーム化する。 大規模な実験により、DIO-Agentは従来のプログラムバイサンプル法とSOTA進化エージェントベースラインの両方を一貫して上回っていることが示された。
  論文  参考訳（メタデータ） (2026-05-14T18:57:32Z)
• CodeSpecBench: Benchmarking LLMs for Executable Behavioral Specification Generation [49.30536937161147]
  本稿では,実行ベース評価プロトコルの下で実行可能な動作仕様生成のためのベンチマークであるCodeSpecBenchを紹介する。 CodeSpecBenchは関数レベルとリポジトリレベルのタスクの両方をサポートし、仕様を実行可能なPython関数としてエンコードする。 リポジトリレベルのタスクでは、最高のモデルが20.2%のパス率しか達成できないため、パフォーマンスが大幅に低下するのを観察します。
  論文  参考訳（メタデータ） (2026-04-14T04:31:45Z)
• Understanding by Reconstruction: Reversing the Software Development Process for LLM Pretraining [66.89012795621349]
  大規模言語モデル(LLM)は、複雑なソフトウェア工学に必要な、深く、長期にわたる推論に苦しむことが多い。 本稿では,再構築による理解という,新しいパラダイムを提案する。 マルチエージェントシミュレーションを用いて潜在エージェント軌道を合成するフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-03-11T09:23:20Z)
• AlgoVeri: An Aligned Benchmark for Verified Code Generation on Classical Algorithms [54.99368693313797]
  既存のベンチマークでは、個々の言語/ツールのみをテストするため、パフォーマンス番号は直接比較できない。 このギャップに対処するAlgoVeriは、Dafny、Verus、Leanで77ドルの古典的アルゴリズムのベリコーディングを評価するベンチマークです。
  論文  参考訳（メタデータ） (2026-02-10T06:58:26Z)
• SynthCoder: A Synthetical Strategy to Tune LLMs for Code Completion [7.668823606571788]
  コード補完は、ソフトウェア工学における大規模言語モデル(LLM)の顕著な応用である。 本稿では,Fill-in-the-Middle(FIM)コード補完タスクにおける最先端技術を実現するために,業界をリードするプラクティスを統合するモデルであるSynthCoderを提案する。
  論文  参考訳（メタデータ） (2025-08-21T12:23:49Z)
• Your Coding Intent is Secretly in the Context and You Should Deliberately Infer It Before Completion [18.177415287934487]
  大規模言語モデル(LLM)は、リポジトリスケールでの関数補完にますます使われています。 現実のリポジトリでは、このようなアノテーションは頻繁に欠落し、パフォーマンスは大幅に低下します。 我々は、タスクを3段階のプロセスとして構成する。第1段階はインテント推論に焦点を当て、モデルがターゲット関数の前のコードを解析して、所望の機能に関する手がかりを明らかにする。 第2段階では、事前のコンテキストだけでは意図回復に不十分なケースを扱うための、オプションのインタラクティブリファインメント機構が導入されている。
  論文  参考訳（メタデータ） (2025-08-13T06:45:23Z)
• CodeARC: Benchmarking Reasoning Capabilities of LLM Agents for Inductive Program Synthesis [6.8081984950459]
  既存の評価プロトコルは、静的なサンプルセットとホールドアウトテストに依存しており、合成された関数が正しくない場合にフィードバックを提供する。 エージェントが隠れたターゲット関数と対話する新しい評価フレームワークであるCodeARCを提案する。 1114の関数を特徴とする汎用帰納的プログラム合成のための,最初の大規模ベンチマークを構築した。
  論文  参考訳（メタデータ） (2025-03-29T16:50:39Z)
• Towards Efficient Fine-tuning of Pre-trained Code Models: An Experimental Study and Beyond [52.656743602538825]
  微調整された事前訓練されたコードモデルは、大きな計算コストを発生させる。 我々は、レイヤーワイドで事前訓練された表現と、微調整中に符号化されたコード知識に何が起こるのかを実験的に検討する。 本稿では,レイヤ凍結により事前学習したコードモデルを効率的に微調整するTellyを提案する。
  論文  参考訳（メタデータ） (2023-04-11T13:34:13Z)
• Mutual Exclusivity Training and Primitive Augmentation to Induce Compositionality [84.94877848357896]
  最近のデータセットは、標準的なシーケンス・ツー・シーケンスモデルにおける体系的な一般化能力の欠如を露呈している。 本稿では,セq2seqモデルの振る舞いを分析し,相互排他バイアスの欠如と全例を記憶する傾向の2つの要因を同定する。 広範に使用されている2つの構成性データセット上で、標準的なシーケンス・ツー・シーケンスモデルを用いて、経験的改善を示す。
  論文  参考訳（メタデータ） (2022-11-28T17:36:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。