論文の概要: SpecForge: Recursive Self-Improvement for Coding Agents via Behavioral Specifications
- arxiv url: http://arxiv.org/abs/2610.15708v1
- Date: Sun, 11 Oct 2026 15:46:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.238333
- Title: SpecForge: Recursive Self-Improvement for Coding Agents via Behavioral Specifications
- Title（参考訳）: SpecForge: 行動仕様によるコードエージェントの再帰的自己改善
- Abstract要約: フリーズ言語モデルに基づくコーディングエージェントは、モデル重みを更新することなく、依存する外部コンテキストを精査することで、パフォーマンスを向上させることができる。
エージェントが現在の仕様からコードを生成し、それを実行検証テストで評価し、観測された失敗に基づいて仕様を洗練する自己改善ループを定式化する。
この問題に3つのメカニズムで対処する,多面的なツリー検索フレームワークであるSpecForgeを紹介した。
DevEval+では、SpecForgeは、Claude-4.5-Sonnetによる94.9%の解決率と5.7%のポイント平均改善を含む、5つのバックボーンモデルで最高のパフォーマンスを達成する。
- 参考スコア（独自算出の注目度）: 42.45190218343587
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Coding agents based on frozen language models can improve their performance by refining the external context they rely on, without updating model weights. We study recursive self-improvement through behavioral specifications: natural-language code documentation that describes the behavior of program entities and guides agents in generating correct code. We formulate a self-improvement loop in which an agent generates code from its current specifications, evaluates it with execution-verified tests, and refines the specifications based on observed failures. The improved specifications then guide subsequent generation, progressively improving the agent's understanding of the codebase. However, recursive refinement is challenging because program entities are interdependent. Improving the specification of one entity can inadvertently degrade the correctness of others, a phenomenon we call output coupling. This creates a whack-a-mole effect in which local improvements cause regressions elsewhere, preventing consistent progress. We introduce SpecForge, a multi-frontier tree search framework that addresses this challenge with three mechanisms: (i) Pareto-guided state selection preserves complementary specification states and prevents premature commitment; (ii) dependency-constrained entity selection prioritizes callee-before-caller refinement; and (iii) error-diversified expansion explores multiple refinements using different subsets of test failures. On DevEval+, SpecForge achieves the best performance across five backbone models, including a 94.9% solve rate with Claude-4.5-Sonnet and a 5.7-percentage-point average improvement over the strongest baseline. The improved specifications also make the agent better at tasks outside the loop: they transfer to cross-language translation and to new-feature implementation, where they outperform the benchmark-provided requirement documents.
- Abstract（参考訳）: フリーズ言語モデルに基づくコーディングエージェントは、モデル重みを更新することなく、依存する外部コンテキストを精査することで、パフォーマンスを向上させることができる。
プログラムエンティティの振る舞いを記述した自然言語コードドキュメンテーションと,正しいコードを生成するエージェントの指導を行う。
エージェントが現在の仕様からコードを生成し、それを実行検証テストで評価し、観測された失敗に基づいて仕様を洗練する自己改善ループを定式化する。
改善された仕様は、その後世代をガイドし、エージェントのコードベースに対する理解を徐々に改善する。
しかし、プログラムエンティティが相互依存しているため、再帰的洗練は難しい。
あるエンティティの仕様を改善することは、出力結合と呼ばれる現象である他のエンティティの正しさを必然的に低下させることができます。
これにより、局所的な改善が他の場所での回帰を引き起こし、一貫した進行を妨げてしまう。
私たちは、この課題に3つのメカニズムで対処するマルチフロンティアツリーサーチフレームワークであるSpecForgeを紹介します。
一 パレート誘導状態の選択は、相補的な仕様状態を保持し、早期のコミットメントを防止する。
(ii)依存性に制約のあるエンティティの選択は、呼び出し元-before-callerの洗練を優先し、
3) 誤差分散拡張は、テスト失敗の異なるサブセットを用いて、複数の改善を探索する。
DevEval+では、Clude-4.5-Sonnetによる94.9%の解決率、最強のベースラインに対する平均5.7%の改善を含む、5つのバックボーンモデルで最高のパフォーマンスを達成する。
改良された仕様は、エージェントがループ外のタスクをより良くする: 言語間の翻訳と新しい機能の実装に移行し、ベンチマークで提供された要求文書を上回ります。
関連論文リスト
- HarnessEvolve: Learning from Reference Trajectories for Reliable Agent Self-Evolution [11.431479238875712]
我々は、信頼できるエージェントの自己進化を実現するために、参照軌道から学習する自己進化フレームワークであるHarnessEvolveを紹介する。
私たちは、さまざまなモデルとエージェントフレームワークを使用して、オープンドメインとエンタープライズシナリオにまたがるいくつかのベンチマークで広範な実験を行います。
結果は、HarnessEvolveがすべてのベンチマークと設定で、最先端のベースラインを一貫して上回っていることを示している。
論文 参考訳（メタデータ） (2026-09-01T07:31:18Z) - Automating Formal Verification with Agent-Guided Tree Search [0.0]
形式的検証は、ソフトウェアを確実に修正する道を提供するが、検証済みのコードを書くのに十分な費用がかかるため、本番ではほとんど使われない。
最近のベンチマークでは、仕様をコードに変換する能力と、マシンチェックによる正確さの反復を計測している。
この論文は、リーンにおけるLCM駆動による検証コード生成の状況を評価し、パフォーマンスを改善するための検索ベースの手法を開発する。
論文 参考訳（メタデータ） (2026-05-26T14:50:47Z) - DocSync: Agentic Documentation Maintenance via Critic-Guided Reflexion [0.0]
DocSyncは、ドキュメントのメンテナンスを構造的に基盤付けられた反復的な生成タスクとしてフレーム化するエージェントワークフローである。
LoRA適応小言語モデルを用いたDocSyncの資源制約実装を実証的に評価する。
このAST対応エージェントアプローチが標準エンコーダ・デコーダのベースラインを大幅に上回ることを示す。
論文 参考訳（メタデータ） (2026-05-04T02:41:33Z) - LiveFMBench: Unveiling the Power and Limits of Agentic Workflows in Specification Generation [75.05397479715576]
大規模言語モデル(LLM)とエージェントは有望な進歩を示しているが、その真の能力と失敗モードは未だ不明である。
CプログラムのためのLCMおよびエージェントベースの形式仕様生成に関する、最初の体系的および汚染に配慮した研究を提案する。
論文 参考訳（メタデータ） (2026-05-02T11:31:33Z) - AdaExplore: Failure-Driven Adaptation and Diversity-Preserving Search for Efficient Kernel Generation [59.964989458924585]
AdaExploreは、パフォーマンスクリティカルなカーネルコード生成のための蓄積された実行フィードバックによる自己改善を可能にするエージェントフレームワークである。
適応段階では、エージェントはタスクを合成し、繰り返し発生する障害を有効ルールの再利用可能なメモリに変換する。
探索段階では、候補核を木として整理し、小さな局所精製とより大きな構造再生を交互に行う。
論文 参考訳（メタデータ） (2026-04-17T18:25:03Z) - ReLoop: Structured Modeling and Behavioral Verification for Reliable LLM-Based Optimization [6.572539312871392]
大規模言語モデル(LLM)は、自然言語を最適化コードに変換することができるが、サイレント障害は重大なリスクをもたらす。
2つの相補的な方向からサイレント障害に対処するReLoopを紹介します。
論文 参考訳（メタデータ） (2026-02-17T20:20:33Z) - BRIDGE: Building Representations In Domain Guided Program Verification [67.36686119518441]
BRIDGEは、検証をコード、仕様、証明の3つの相互接続ドメインに分解する。
提案手法は, 標準誤差フィードバック法よりも精度と効率を著しく向上することを示す。
論文 参考訳（メタデータ） (2025-11-26T06:39:19Z) - GenerationPrograms: Fine-grained Attribution with Executable Programs [72.23792263905372]
コードエージェント」アーキテクチャの最近の進歩に触発されたモジュラー生成フレームワークであるGenerationProgramsを導入する。
GenerationProgramsは、プロセスを2つの異なるステージに分解する: まず、クエリに明示的に調整されたモジュール形式のテキスト操作からなる実行可能なプログラムプランを作成し、次に、プログラムの指定した命令に従ってこれらの操作を実行し、最終的な応答を生成する。
経験的評価は、生成プログラムは文書レベルと文レベルの両方の属性品質を著しく改善することを示している。
論文 参考訳（メタデータ） (2025-06-17T14:37:09Z) - COrAL: Order-Agnostic Language Modeling for Efficient Iterative Refinement [80.18490952057125]
反復改良は、複雑なタスクにおける大規模言語モデル(LLM)の能力を高める効果的なパラダイムとして登場した。
我々はこれらの課題を克服するために、コンテキストワイズ順序非依存言語モデリング(COrAL)を提案する。
当社のアプローチでは、管理可能なコンテキストウィンドウ内で複数のトークン依存関係をモデル化しています。
論文 参考訳（メタデータ） (2024-10-12T23:56:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。