論文の概要: How Do Coding-Agent Harnesses Self-Evolve? An Empirical Study of Retrospective Adaptation

• arxiv url: http://arxiv.org/abs/2610.34938v1
• Date: Mon, 26 Oct 2026 07:06:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.77974
• Title: How Do Coding-Agent Harnesses Self-Evolve? An Empirical Study of Retrospective Adaptation
• Title（参考訳）: コード・アジェント・ハーネスはどのように自己進化するか : ふりかえり適応の実証的研究
• Abstract要約: 我々は、エージェントに完了したセッションをレビューし、ハーネスの変更を提案するスキルであるレトロを研究している。 変更の度合いに関わらず、新しいセッションで同じリポジトリから後のイシューを12回評価しました。
• 参考スコア（独自算出の注目度）: 12.261894106066082
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Coding agents can adapt their harnesses, the software, configuration, and instructions used to run them, based on experience from earlier tasks, but whether these adaptations improve their behavior on later tasks remains unclear. We study \retro, a skill that asks an agent to review a completed session and propose harness changes, and ask what changes it proposes and whether implemented changes reduce repeated work on later tasks. We ran Claude Code on 30 SWE-bench Verified issues, qualitatively coded the 125 proposals from \retro, implemented 24, and evaluated 12 harness changes on later issues from the same repositories in fresh sessions with and without each change. Most proposals referred to an event in the session, but 18 of 43 lint-related proposals recommended a practice regardless of what had happened. Among the seven evaluations in which sessions without the change encountered the targeted problem, two changes eliminated the targeted action, one reduced its occurrence, four showed no reduction, and some changes added work on unrelated issues. Harness self-evolution requires more than generating and implementing changes: it needs ways to establish whether a change helps on later tasks and to revise or remove changes that do not.
• Abstract（参考訳）: コーディングエージェントは、初期のタスクの経験に基づいて、ハーネス、ソフトウェア、設定、実行に使用した命令を適応することができるが、これらの適応がその後のタスクの振る舞いを改善するかどうかは不明だ。 エージェントに完了したセッションのレビューを依頼し、それを利用した変更を提案するスキルである \retro を研究し、それが提案する変更点と、実装された変更がその後のタスクの繰り返し作業を減らすかどうかを問う。 私たちは30のSWE-bench検証問題でClaude Codeを実行し、Sharetroから125の提案を定性的にコードし、24を実装し、各変更を伴わずに新しいセッションで同じリポジトリから後のイシューを12回利用した。 ほとんどの提案はセッションのイベントを指していたが、43件のリント関連提案のうち18件は、何が起こったかに関わらずプラクティスを推奨した。 変化のないセッションが対象問題に遭遇した7つの評価のうち、2つの変更が対象のアクションを排除し、1つは発生を減らし、4つは減少せず、いくつかの変更は無関係な問題に関する作業を追加した。 ハーネスの自己進化は、変化の生成と実装以上のものを必要とします: 変更が後のタスクに役立つかどうかを確定し、変更しない変更を修正または削除する手段が必要です。

関連論文リスト

• FeatureLoop: Benchmarking Coding Agents under Evolving Requirements [9.803830098681557]
  5つの主要なプログラミング言語と7つのソフトウェアフォームにわたる34のリポジトリから61のヒューマンレビュータスクのベンチマークであるFeatureLoopを紹介した。 12のフロンティアモデルを評価し、最強のタスクの72.1%が両方のフィードバックタイプで完了していることがわかった。 しかし、全モデルで2回の修正修正で回復した段階は15.4%に過ぎなかった。
  論文  参考訳（メタデータ） (2026-10-26T14:15:53Z)
• SWE-Shift: Evaluating Coding Agents in Evolving Workspaces [59.99170893706881]
  ソフトウェア開発では、エージェントが動作している間、コード、依存関係、ランタイム状態、要件が変更される可能性がある。 我々は,このような中間実行変化下でのコーディングエージェント評価のベンチマークであるSWE-Shiftを紹介する。 クリーンな成功よりもシフトの少ない17のコーディングエージェントシステムを評価した。
  論文  参考訳（メタデータ） (2026-10-23T05:47:59Z)
• Shockingly Simple Self-retrospection Improves Agentic Models Without RL [56.88703385147974]
  本研究は,説明のみの訓練がその後の行動に与える影響を分離するために,レトロスペクティブ・オンリー・ファインチューニングについて検討する。 Qwen3.5-4B を用いたソフトウェア工学実験では、ROFT は成功と失敗の混合したベースモデルの試行に関する問題で訓練されている。 また、64のサンプルベースモデル試みが失敗する個々のタスクの解決も学べる。
  論文  参考訳（メタデータ） (2026-09-28T17:54:24Z)
• Harness Learning Enables Generalizable Test-Time Adaptation [75.12882372844764]
  本稿では,提案手法を学習し,提案手法を学習し,提案手法を改良するハーネス学習を提案する。 我々は、改良されたハーネスのタスクパフォーマンスを報奨として、強化学習で提案者を訓練する。 推論とマルチホップ質問応答の実験は、学習の活用によってリビジョン品質が向上し、テストタイムで適応する能力が見当たらないタスクに適応することを示した。
  論文  参考訳（メタデータ） (2026-09-28T17:52:54Z)
• WideSWE: Can Coding Agents Coordinate Changes Across Repositories? [26.071091542185957]
  クロスリポジトリタスクにおける符号化エージェントの評価にWideSWEを導入する。 103のソフトウェアエコシステムにおける変更のマイニングとレビューは120の実際のタスクをもたらし、60のバグ修正と60の機能のバランスをとる。 完全なタスク成功は10.83%から42.50%の範囲で、設定ペアのCodex CLIとGPT-5.6-solが最高速度を達成している。
  論文  参考訳（メタデータ） (2026-09-27T09:02:49Z)
• RRSI: Regularized Recursive Self-Improvement of Agent Harnesses [76.77275934611428]
  正規化再帰的自己改善型エージェント・ハーネス(RRSI) 本稿では、正規化の原則を取り入れたRRSIを紹介し、進化候補の提案と選択を制約することで自己改善を活用する。 RRSIは5つのアウト・オブ・ディストリビューション・ベンチマークで14.1ポイント、最大4.7ポイントを獲得し、非正規化進化よりも30%少ないポリシートークンで動作するハーネスを生産している。
  論文  参考訳（メタデータ） (2026-09-21T17:54:49Z)
• LLMs as Continuous Learners: Improving the Reproduction of Defective Code in Software Issues [62.12404317786005]
  EvoCoderは、イシューコード再現のための継続的学習フレームワークである。 その結果,既存のSOTA法よりも20%改善した。
  論文  参考訳（メタデータ） (2024-11-21T08:49:23Z)
• ChangeGuard: Validating Code Changes via Pairwise Learning-Guided Execution [16.130469984234956]
  ChangeGuardは、学習誘導型実行を使用して、修正された関数の実行動作を比較するアプローチである。 提案手法は,77.1%の精度で,69.5%のリコールで意味的変化を識別する。
  論文  参考訳（メタデータ） (2024-10-21T15:13:32Z)
• Unsupervised Learning of General-Purpose Embeddings for Code Changes [6.652641137999891]
  事前学習中にコード変更の埋め込みを得る手法を提案する。 コードの変更とコミットメッセージ生成という、2つの異なる下流タスクでそれらを評価します。 本モデルでは,完全編集シーケンスを用いたモデルの精度を5.9ポイント向上させる。
  論文  参考訳（メタデータ） (2021-06-03T19:08:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。