論文の概要: WEAVE: Weaving Real-World Code Evolution into Dependency-Structured Tasks for Benchmarking and Training Code Agents
- arxiv url: http://arxiv.org/abs/2610.22039v3
- Date: Tue, 20 Oct 2026 19:33:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-23 00:40:05.960423
- Title: WEAVE: Weaving Real-World Code Evolution into Dependency-Structured Tasks for Benchmarking and Training Code Agents
- Title（参考訳）: WEAVE: コードエージェントのベンチマークとトレーニングのための依存性構造化タスクに現実のコード進化を織り込む
- Abstract要約: WEAVEは,検証済みのPR履歴を実行可能な依存性構造化タスクに変換するフレームワークである。
さらに、依存性に一貫性のある部分的な進捗を測定する、決定論的でテスト対象のメトリクスであるGraph Creditを導入します。
タスク構築、エージェント評価、教師付き微調整、強化学習の実験は、WAEAVEがコヒーレントな実行可能なタスクを得られることを示している。
- 参考スコア（独自算出の注目度）: 25.457812561470032
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Real-world software engineering rarely consists of isolated changes. Features, migrations, and systematic fixes often unfold across multiple pull requests (PRs), requiring coordinated modifications across a repository. Yet most executable repository-level benchmarks retain a single issue or PR as the task unit, while existing multi-PR settings rely on coarse aggregation and structure-agnostic evaluation. This mismatch obscures dependencies among changes and limits progress measurement and learning signals for long-horizon code agents. We introduce WEAVE, a framework that transforms verified PR histories into executable, dependency-structured tasks. WEAVE leverages repository-calibrated typed change loci to organize related PRs into bounded DAGs and instantiate each as a unified executable task. We further introduce Graph Credit, a deterministic, test-grounded metric that measures dependency-consistent partial progress and supports dense, verifiable rewards for reinforcement learning. Experiments on task construction, agent evaluation, supervised fine-tuning, and reinforcement learning show that WEAVE yields coherent executable tasks, enables more faithful progress measurement than flat scoring, and provides effective supervision and verifiable rewards for training code agents.
- Abstract（参考訳）: 現実世界のソフトウェアエンジニアリングは、まれに独立した変更で構成されます。
機能、マイグレーション、体系的な修正は、しばしば複数のプルリクエスト(PR)にまたがって展開され、リポジトリ間で調整された修正が必要になる。
しかし、ほとんどの実行可能なリポジトリレベルのベンチマークはタスク単位として単一の問題またはPRを保持し、既存のマルチPR設定は粗い集約と構造に依存しない評価に依存している。
このミスマッチは変更間の依存関係を曖昧にし、長距離コードエージェントの進捗測定と学習信号を制限する。
WEAVEは,検証済みのPR履歴を実行可能な依存性構造化タスクに変換するフレームワークである。
WEAVEはリポジトリキャリブレーションされた型付き変更ロシを活用して、関連するPRを境界付きDAGに整理し、それぞれを統一実行可能なタスクとしてインスタンス化する。
さらに、グラフクレデンシャル(Graph Credit)を導入します。これは、依存性に一貫性のある部分的な進捗を測定し、強化学習のための高密度で検証可能な報酬をサポートします。
タスク構築、エージェント評価、教師付き微調整、強化学習の実験は、WAEAVEがコヒーレントな実行タスクを達成し、フラットスコアよりも忠実な進捗測定を可能にし、コードエージェントの効果的な監督と検証可能な報酬を提供することを示している。
関連論文リスト
- Self-Evolving Agent Harness [35.97277648771392]
Harness自己進化(Harness self-evolution)は、プロンプト、メモリ、足場、実行可能コンポーネントを含むエージェントのソフトウェアを修正し、モデルの重みを固定する。
承認されたリビジョンが実行中に持続するフィードバック駆動プロセスを形式化する。
本研究では,知識共有と組織的信頼性の持続的改善が科学的信頼性,物理的安全性,制度的説明責任にどのような影響を及ぼすかを検討する。
論文 参考訳（メタデータ） (2026-10-13T17:48:49Z) - WorkRover: Scaling Long-Horizon Cowork Agent Training Via Recursive Environment Evolution [101.12175332979554]
環境進化を通じて長期のコワーキングエージェントを訓練するためのフレームワークであるWorkRoverを紹介する。
Factorial Compatibility Replay (FCR)は、ロールアウトフィードバックを使用してコンポーネントのリビジョンの組み合わせを評価する。
Verifier-to-Turn Credit Assignment (VTCA)は、決定論的ワークスペース-プログレスチェックからの信号でトラジェクトリレベルのGRPOのアドバンテージを増大させる。
論文 参考訳（メタデータ） (2026-10-13T09:52:02Z) - EngramBench: A Capability-Grounded Benchmark for Skill-Evolution Harnesses [50.93446596863591]
EngramBenchは、ソリューションオーバーラップすることなく、厳密なオーバーラップの公理に支配される機能基底ベンチマークである。
人間の専門的検証によって裏付けられた48の複数時間実行軌跡に対する我々の評価は、手続き記憶に関する深い洞察を浮き彫りにしている。
破滅的なトークン重大な試行錯誤からエージェントを遠ざけることで、真の能力抽象化は冗長なコンテキストの肥大を削減し、全体的なコーディング時間を55%以上削減します。
論文 参考訳（メタデータ） (2026-09-30T08:33:17Z) - AsynCodeBench: Benchmarking Collaboration of Asynchronous Multi-Agent Systems in Software Engineering [29.404011829533857]
マルチエージェントソフトウェアエンジニアリングのための依存性中心ベンチマークであるAsynCodeBenchを紹介する。
AsynCodeBenchは明示的な依存性グラフと実行可能な依存性チェッカーで各タスクを表現する。
コーディング性能の改善が必ずしもコラボレーションの強化につながるとは限らないことを示す。
論文 参考訳（メタデータ） (2026-09-26T14:19:40Z) - SWE-Gate: Passing Functional Tests Is Not Enough for Software Engineering Agents [63.65682461568621]
ソフトウェアエンジニアリングエージェントのためのリポジトリレベルのベンチマークであるSWE-Gateを導入し、機能的正当性とともにレビュー制約コンプライアンスを明示的に評価する。
SWE-Gateは、実際のプルリクエストレビューコメントからレビュー制約を導き、これらの制約に関するリポジトリレベルの修復インスタンスを合成する。
各インスタンスは、非準拠およびゴールドパッチとともに、機能テストと制約テストの分離を提供し、イシュー解決能力とレビュー制約コンプライアンスの明確な分離を可能にする。
論文 参考訳（メタデータ） (2026-09-03T17:53:34Z) - Knowledge Reutilization in Meta-Reinforcement Learning [51.07319647819108]
本稿では,動的に単純化されたエージェント上でタスクレベルの知識を学習し,それを異種エージェントに転送するメタ知識再利用フレームワークを提案する。
我々のフレームワークは、最新の最先端ベースラインと比較して、最終段階のトラッキングエラーを94.75% -- 99.79%削減している。
論文 参考訳（メタデータ） (2026-06-16T16:32:28Z) - Coordination Matters: Evaluation of Cooperative Multi-Agent Reinforcement Learning [1.9806597528054068]
プロセスレベルの診断でリターンを補うコーディネート・アウェア評価の視点を提案する。
制御されたコミットメント制約付き空間的タスク割り当てテストベッドSTATを用いて、この視点をインスタンス化する。
この結果から, 冗長配置の相違, 代入の多様性, タスク補完効率の相違など, 同様のリターン傾向が, 協調機構の相違を反映できることが示唆された。
論文 参考訳（メタデータ） (2026-05-07T16:50:53Z) - Improving the Efficiency of Language Agent Teams with Adaptive Task Graphs [52.26652574704317]
大規模言語モデル(LLM)はますますチームにデプロイされているが、既存のコーディネーションアプローチは2つの極端な部分を占めることが多い。
本稿では,Language Agent Teams for Task Evolution (LATTE)を紹介した。
論文 参考訳（メタデータ） (2026-05-07T14:19:17Z) - Beyond Isolated Tasks: A Framework for Evaluating Coding Agents on Sequential Software Evolution [5.10403054516716]
既存のデータセットは、分離された単一のプルリクエスト(PR)タスクのパフォーマンスをステートレスな方法で評価する。
本稿では,SWE-STEPSのデータセット生成を支援する自動コーディングタスク生成フレームワークを提案する。
論文 参考訳（メタデータ） (2026-04-03T13:44:40Z) - CompassVerifier: A Unified and Robust Verifier for LLMs Evaluation and Outcome Reward [50.97588334916863]
評価と結果報酬のための正確で堅牢な軽量検証モデルであるCompassVerifierを開発した。
数学、知識、多種多様な推論タスクにまたがる多分野の能力を示し、様々な答えの型を処理する能力を示す。
我々は,複数のデータソースから収集したモデル出力からなるVerifierBenchベンチマークを導入し,メタエラーパターンを手動で解析してCompassVerifierを強化する。
論文 参考訳（メタデータ） (2025-08-05T17:55:24Z) - On the Impacts of Contexts on Repository-Level Code Generation [5.641402231731082]
本稿ではレポジトリレベルのコード生成を評価するために設計された新しいベンチマークであるRepoExecを紹介する。
実行可能性、包括的なテストケース生成による機能的正当性、ファイル間のコンテキストの正確な利用という3つの重要な側面に注目します。
論文 参考訳（メタデータ） (2024-06-17T10:45:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。