論文の概要: ProgramGym: Scaling Training Environments for Long-Horizon Program Reproduction Agents
- arxiv url: http://arxiv.org/abs/2610.13395v1
- Date: Fri, 09 Oct 2026 11:09:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-13 04:06:29.545536
- Title: ProgramGym: Scaling Training Environments for Long-Horizon Program Reproduction Agents
- Title（参考訳）: ProgramGym:長期プログラム再現エージェントのスケーリング環境
- Abstract要約: コーディングエージェントは、スクラッチからプログラムを構築するのにますます使われています。
エージェントに何が必要なのかを発見し、どのようにシステムを設計するかを決定するよう強制するスケーラブルなトレーニング環境は、まだ不十分です。
本稿では,長期プログラム再生エージェントのスケーラブルなトレーニング環境のためのProgram-EnvとProgram-AgentからなるフレームワークであるProgramGymを紹介する。
- 参考スコア（独自算出の注目度）: 43.660913861691036
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Coding agents are increasingly used to build programs from scratch as software engineers do rather than to resolve issues within a repository or to generate a repository from a given requirements document. However, scalable verifiable training environments that force agents to discover what is required and to decide how the system should be designed remain scarce. Moreover, existing agent workflows also cannot sustain long-horizon development in which the agent explores the reference program before implementation. To address these challenges, we introduce ProgramGym, a framework consisting of Program-Env and Program-Agent for scalable training environments of long-horizon program reproduction agents. Specifically, Program-Env constructs verifiable training environments from repositories through a feedback-driven loop that repairs runtime sandbox builds and the quality of black-box tests. Using this novel pipeline, we obtain 1,648 training environments spanning C, C++, Go, and Rust. Program-Agent combines a role-isolated workflow of analysis, implementation, and review with revision management for compilation checks and failure recovery. Experiments on ProgramBench show that both Program-Env and Program-Agent improve performance on program reproduction. Fine-tuning on trajectories with these constructed environments raises the performance of Qwen3.8-27B from 34.87% to 42.84%. Program-Agent further raises the base and SFT models to 55.71% and 56.25%, both exceeding some flagship models. We will release the ProgramGym to support further research on coding agents that build programs from scratch.
- Abstract（参考訳）: コーディングエージェントは、ソフトウェア技術者がリポジトリ内の問題を解決したり、所定の要求文書からリポジトリを生成する代わりに、スクラッチからプログラムを構築するのにますます使われています。
しかし、エージェントに何が必要かを発見し、どのようにシステムを設計するかを決定するよう強制するスケーラブルな検証可能なトレーニング環境は、まだほとんど残っていない。
さらに、既存のエージェントワークフローは、エージェントが実装前に参照プログラムを探索する長期開発を維持できない。
これらの課題に対処するために,プログラム-Env と Program-Agent から構成される,長期的プログラム再生エージェントのスケーラブルなトレーニング環境のためのフレームワークである ProgramGym を紹介した。
具体的には、Program-Envは、ランタイムサンドボックスのビルドとブラックボックステストの品質を修復するフィードバック駆動のループを通じて、リポジトリから検証可能なトレーニング環境を構築する。
このパイプラインを使うことで、C、C++、Go、Rustにまたがる1,648のトレーニング環境が得られる。
Program-Agentは、分析、実装、レビューのロール分離されたワークフローと、コンパイルチェックと障害復旧のためのリビジョン管理を組み合わせる。
ProgramBenchの実験では、Program-EnvとProgram-Agentの両方がプログラム再生のパフォーマンスを改善している。
これらの構築された環境による軌道の微調整により、Qwen3.8-27Bの性能は34.87%から42.84%に向上した。
Program-AgentはベースモデルとSFTモデルをさらに55.71%、56.25%に引き上げた。
プログラムをスクラッチから構築するコーディングエージェントに関するさらなる研究を支援するために、ProgramGymをリリースします。
関連論文リスト
- AgentSWE: Can Coding Agents Build the Agent You Actually Want? [27.064072390170466]
本稿ではエージェント開発ライフサイクルの3段階にまたがるエージェントソフトウェアエンジニアリングのベンチマークであるエージェントSWEを紹介する。
25のタスクはそれぞれ、試験ではなく委員会としてフレーム化されている。
要求が要求するものを提供するにはほど遠いものはありません。
論文 参考訳（メタデータ） (2026-10-09T10:35:27Z) - E2E-SWE: Benchmarking LLMs on Building Working Codebases from Scratch [22.683140191384652]
コーディングエージェントが完全に機能するソフトウェアリポジトリをエンドツーエンドに構築できるかどうかを評価するベンチマークであるE2E-SWEを紹介する。
E2E-SWEは、11のプログラミング言語にまたがる186のリポジトリ生成タスクを含んでいる。
Pass@1は11.7%から67.7%の範囲である。
論文 参考訳（メタデータ） (2026-09-29T18:02:25Z) - CodeMidas: Scaling Agentic Coding RL Environments from Code Itself [55.204742661138745]
強化学習(RL)による有能な符号化エージェントの訓練には、信頼性のある検証器による多様なタスクが必要である。
オープンソースはそのようなタスクの豊富なソースを提供するが、既存のメソッドは通常、問題やコミットのような開発成果物に依存している。
我々は,既存の実装機能を,ソースコードを唯一のタスク固有の入力として使用して実行可能なRL環境に変換するエージェントパイプラインであるCodeMidasを紹介する。
論文 参考訳（メタデータ） (2026-09-18T17:55:17Z) - LoopsBench: From Harness Engineering to Loop Engineering in Benchmarking Coding Agent [60.27239351179265]
LOOPSBENCHは、符号化エージェント評価におけるループエンジニアリングのベンチマークである。
8つのプログラミング言語と9つのドメインにまたがる、本物のソースからの112のタスクで構成されている。
フロー対応ランタイムは、準備されたフロンティアに沿ってテストをリリースし、レグレッション義務として完了したノードを保持します。
論文 参考訳（メタデータ） (2026-07-31T20:18:25Z) - MindForge: Teaching Small Language Models Whole-Life-Cycle Software Engineering via Source-Free Program Synthesis [17.260324148993046]
我々はオープンソースのコマンドラインプログラムをソースフリー環境に変換する自動パイプラインであるMindForgeを紹介した。
ProgramBenchとは相容れないリポジトリからトレーニング環境を構築し,高品質なデータレシピをキュレートする。
これらの軌道上の微調整Qwen3.6-27Bは、ProgramBenchの平均テストパスレートを37.98%から49.51%に引き上げている。
論文 参考訳（メタデータ） (2026-07-29T17:23:02Z) - Latent Programming Horizons in Coding Agents [6.8463578914435645]
ソフトウェアエンジニアリングタスクを解決するコーディングエージェントは、コードの推論、編集、テストの実行に数十ステップを費やしている。
符号化エージェントによる言語モデルの残余ストリームは、進化するプログラムの特性を線形にエンコードすることを示す。
将来の編集結果を予測するために訓練されたプローブは、パフォーマンスを最大25ステップまで向上させる。
論文 参考訳（メタデータ） (2026-07-06T15:08:26Z) - ProgramBench: Can Language Models Rebuild Programs From Scratch? [59.40748183470308]
ProgramBenchは、ソフトウェアエンジニアリングエージェントがソフトウェアをホリシックに開発する能力を測定する。
エンドツーエンドの動作テストはエージェント駆動ファジィによって生成される。
モデルは、人間が書いたコードと大きく異なるモノリシックでシングルファイルの実装を好む。
論文 参考訳（メタデータ） (2026-05-05T09:17:02Z) - LongCLI-Bench: A Preliminary Benchmark and Study for Long-horizon Agentic Programming in Command-Line Interfaces [65.11019654023978]
LongCLI-Benchは、長期にわたる現実的なタスクにまたがるエージェント能力を評価するために設計されたベンチマークである。
私たちは、1000以上のコンピュータサイエンスの課題と現実世界のタスクから、20の高品質で長い水平タスクをキュレートしました。
実験によると、最先端のエージェントでさえLongCLI-Benchの20%未満のパスレートを達成する。
論文 参考訳（メタデータ） (2026-02-15T23:12:57Z) - NL2Repo-Bench: Towards Long-Horizon Repository Generation Evaluation of Coding Agents [79.29376673236142]
既存のベンチマークは、完全なソフトウェアシステムを構築するのに必要な長期的能力の厳格な評価に失敗する。
符号化エージェントの長期リポジトリ生成能力を評価するために設計されたベンチマークであるNL2Repo Benchを提案する。
論文 参考訳（メタデータ） (2025-12-14T15:12:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。