論文の概要: Can Coding Agents Sustain Continual Evolution without Forgetting?
- arxiv url: http://arxiv.org/abs/2611.03219v1
- Date: Mon, 02 Nov 2026 14:43:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 05:45:03.368007
- Title: Can Coding Agents Sustain Continual Evolution without Forgetting?
- Title（参考訳）: コーディングエージェントは忘れずに継続的な進化を維持できるのか?
- Abstract要約: ハーネスの自己進化はエージェントのパフォーマンスを改善するための重要なパラダイムとして現れている。
本研究では, エージェントハーネスが, 壊滅的な忘れを伴わずに, 複数のタスクにわたって連続的に進化できるかどうかを考察する。
実験結果から, その後のデータセットの進化は, 前述したデータセットの性能を著しく損なう可能性が示唆された。
- 参考スコア（独自算出の注目度）: 7.128000785628377
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, harness self-evolution has emerged as an important paradigm for improving agent performance. Prior studies show that evolving the agent harness can effectively enhance agent capabilities without modifying the foundation model's parameters. We find that existing approaches largely study agent evolution on a single task. In practice, coding agents may need to handle multiple task types over time. Whether an agent harness can continuously evolve across multiple tasks without suffering from catastrophic forgetting remains an important open question. In this paper, we investigate this open question through a comprehensive empirical study of continual harness self-evolution. We organize three software engineering task datasets into six different evolution directions and apply two representative harness evolution methods to perform continual evolution along these directions. Our experimental results show that evolution on a subsequent dataset can substantially undermine the performance on previously seen datasets. For example, with DeepSeek-V4-Flash-0731, Meta-Harness improves its performance on SWE-Bench to 94.0% after evolution. However, after further evolution on FeatureBench, its performance on SWE-Bench drops to 32.0% by the fifth round, corresponding to a 66% relative decrease. Finally, based on our experimental findings, we identify several insights, providing directions for the continual self-evolution of agent harnesses. Code is available at https://github.com/THU-Agent/continual-harness-evolution.
- Abstract（参考訳）: 近年,エージェント性能向上のパラダイムとして,自己進化の活用が注目されている。
以前の研究では、エージェントハーネスの進化は、基礎モデルのパラメータを変更することなく、効果的にエージェント能力を高めることが示されている。
既存のアプローチは、エージェントの進化を1つのタスクで研究している。
実際には、コーディングエージェントは時間とともに複数のタスクタイプを処理する必要がある。
エージェントハーネスが、破滅的な忘れ込みに悩まされることなく、複数のタスクにわたって継続的に進化できるかどうかは、依然として重要な疑問である。
本稿では,このオープンな質問を,連続的ハーネス自己進化の包括的実証研究を通して検討する。
3つのソフトウェアエンジニアリングタスクデータセットを6つの異なる進化方向に整理し、2つの代表的なハーネス進化手法を適用し、これらの方向に沿って連続的な進化を行う。
実験結果から, その後のデータセットの進化は, 前述したデータセットの性能を著しく損なう可能性が示唆された。
例えば、DeepSeek-V4-Flash-0731では、Meta-Harnessは進化後のSWE-Benchの性能を94.0%に改善している。
しかし、FeatureBenchのさらなる進化の後、SWE-Benchのパフォーマンスは第5ラウンドで32.0%に低下し、相対的に66%低下した。
最後に,実験結果から,エージェントハーネスの持続的自己進化の方向性について,いくつかの知見が得られた。
コードはhttps://github.com/THU-Agent/continual-harness-evolutionで公開されている。
関連論文リスト
- ExpEvolve: Structuring and Reusing Experience for Open-Ended Discovery [69.97159498143903]
AlphaEvolveのような進化的コーディングエージェントは、Large Language Models(LLM)を使用してAIサイエンティストを構築する上で、注目すべき成功の1つだ。
概念レベルの抽出と制御を進化に注入するExpEvolveを提案する。
論文 参考訳（メタデータ） (2026-10-21T07:00:23Z) - VisualEvolve: A Skill Self-Evolution Framework for Visual Reasoning [50.86992960366212]
視覚ツールの使用により、視覚言語モデル(VLM)はタスク関連エビデンスを取得することができるが、その有効性は、事前に定義された視覚操作と、トレーニング中に学習したツール利用戦略によって制限される。
Select-Execute--Evolve--Evaluate cycleを通して、VLMの実行可能なビジュアル操作とツール利用戦略を進化させるフレームワークであるVisualEvolveを提案する。
VisualEvolveは、初期スキルライブラリを24設定中23で改善し、Qwen3.5-Plusを使用してVisualProbe Hardで最大15.1ポイント向上した。
論文 参考訳（メタデータ） (2026-10-20T15:37:38Z) - CoEvo-RSI: When Harnesses Evolve, Which Models Should Follow? [56.229150296159695]
我々は、持続的だがしばしば見過ごされる脳-モデルにおける身体のミスマッチ問題-ハーネス共進化について研究する。
本稿では,エージェント駆動の双方向履歴継承によるモデル-ハーネス共進化を促進するRSIフレームワークであるCoEvo-RSIを紹介する。
論文 参考訳（メタデータ） (2026-10-18T07:38:03Z) - Evo$^2$: Evolving the Evolver through Weight-Harness Co-Evolution [34.424787883582205]
Evo$2$はウェイトハーネスの共同進化のためのフレームワークである。
更新を利用するために、単一ポリシーがProposerとReflectorの両方として機能する統合されたデュアルロールパイプラインを設計する。
重み付け更新のために、修正とそれらの実行結果はProposerとReflectorの両方のトレーニングをガイドします。
論文 参考訳（メタデータ） (2026-10-09T05:28:02Z) - Learning from Research: Toward Lifelong Agent Harness Evolution [25.703133924514884]
言語エージェントはますます複雑なタスクを解決することが期待されている。
有望なアプローチの1つは、ツールの使用、メモリ管理、タスク実行を管理するソフトウェアであるエージェントハーネスを進化させることである。
ScholarEvolveは、進化をガイドするための最先端の研究を自動的に引き出すフレームワークである。
論文 参考訳（メタデータ） (2026-09-30T17:00:38Z) - EVOHARNESSBENCH: Can Your Agents Keep Pace with an Evolving Harness? [83.21711423118768]
EVOHARNESSBENCHは、制御されたハーネス進化下でエージェントを評価するためのベンチマークである。
検証器ベースのベンチマークから決定的に構築された17のマルチステージハーネスストリームを含んでいる。
論文 参考訳（メタデータ） (2026-09-03T03:24:02Z) - EvolveNet: Collaborative Harness Evolution for Agent Self-Improvement [70.68218215070745]
既存のアプローチでは、すべての実行エクスペリエンスを単一のハーネスにルーティングできると仮定している。
EvolveNetは、経験抽出をデータに移動させるハーネス進化のパラダイムである。
論文 参考訳（メタデータ） (2026-08-05T15:37:18Z) - DemoEvolve: Overcoming Sparse Feedback in Agentic Harness Evolution with Demonstrations [12.048713464721665]
DemoEvolveは、進化を活用するためのデモブートストラップ付きのアプローチである。
我々はこのパラダイムを標本効率の速い適応の一形態として研究する。
DemoEvolveは、より効果的で監査可能なハーネス編集を生成する。
論文 参考訳（メタデータ） (2026-05-23T12:10:52Z) - Your Agent May Misevolve: Emergent Risks in Self-evolving LLM Agents [58.69865074060139]
エージェントの自己進化が意図しない方法で逸脱し、望ましくない結果や有害な結果に至る場合について検討する。
我々の経験から、誤進化は広範囲にわたるリスクであり、最上位のLSM上に構築されたエージェントにも影響を及ぼすことが判明した。
我々は、より安全で信頼性の高い自己進化型エージェントを構築するためのさらなる研究を促すための潜在的な緩和戦略について議論する。
論文 参考訳（メタデータ） (2025-09-30T14:55:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。