論文の概要: Self-Evolving Coding Agents via Harness-Policy Optimization

• arxiv url: http://arxiv.org/abs/2610.22791v1
• Date: Fri, 16 Oct 2026 01:07:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.724034
• Title: Self-Evolving Coding Agents via Harness-Policy Optimization
• Title（参考訳）: ハーネス・ポリティ最適化による自己進化型符号化エージェント
• Abstract要約: Self-HPOは、ハーネスとポリシー最適化を代替するコーディングエージェントのための自己改善フレームワークである。 3つのコーディングベンチマークで、Self-HPOはハーネスのみとポリシーのみのベースラインを一貫して上回っている。 Self-HPOはまた、信頼性(Pass@1)を改善し、ベースエージェント上の機能フロンティア(Pass@k)を拡張する。
• 参考スコア（独自算出の注目度）: 59.77935668723671
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language model (LLM) agents have shown promising potential in coding tasks, and their performance is jointly determined by the policy model and the harness that mediates their interaction with the environment. Indeed, harness and policy are mutually reinforcing and evolving only one component is suboptimal---a harness tuned for one checkpoint may not target the failure modes of an updated policy, while policy learning remains limited to the trajectories elicited by a fixed harness. In light of this, we propose Self-HPO, a recursive self-improving framework for coding agents that alternates harness and policy optimization, using the evolving policy as its own harness proposer. Specifically, in each round, the current policy first analyzes its own failures and proposes new harness candidates (H-step). The policy is then updated through reinforcement learning (RL) under the selected harness (P-step), and hard tasks identified during training form the next harness search set, keeping harness optimization targeted to the policy's evolving failure modes. Across three coding benchmarks, Self-HPO consistently outperforms harness-only and policy-only baselines, improving Qwen3.5-35B-A3B's average resolve rate from 57.8% to 64.8%, with gains generalizing to out-of-distribution settings. Further analysis shows that both optimized components retain gains even when paired with their base counterparts, while their joint gain exceeds the sum of their individual gains. Self-HPO also improves reliability (Pass@1) and expands the capability frontier (Pass@k) over the base agent. Additionally, we show that with a stronger external model (e.g., Opus 4.8) as the harness proposer, the same framework yields a further performance boost.
• Abstract（参考訳）: 大規模言語モデル(LLM)エージェントは、コーディングタスクにおいて有望な可能性を示し、その性能はポリシーモデルと環境との相互作用を仲介するハーネスによって共同で決定される。 実際、ハーネスとポリシーは相互に強化され進化しており、1つのチェックポイント用に調整されたハーネスは更新されたポリシーの障害モードを標的にしないが、政策学習は固定されたハーネスによって引き起こされる軌跡に限られている。 そこで本稿では, 自己改善型自己改善フレームワークであるSelf-HPOを提案する。 具体的には、各ラウンドにおいて、現在のポリシーはまず自身の失敗を分析し、新しいハーネス候補(H-step)を提案する。 次に、選択されたハーネス(Pステップ)の下で強化学習(RL)によってポリシーが更新され、トレーニング中に特定されたハードタスクが次のハーネス検索セットとなり、ポリシーの進化する障害モードをターゲットにしたハーネス最適化が維持される。 3つのベンチマークで、Self-HPOはハーネスのみのベースラインとポリシーのみのベースラインを一貫して上回り、Qwen3.5-35B-A3Bの平均リゾルフレートを57.8%から64.8%に改善した。 さらに分析したところ、それぞれの最適化されたコンポーネントは、ベースコンポーネントとペアであってもゲインを保持し、そのジョイントゲインは個々のゲインの合計を超えていることがわかった。 Self-HPOはまた、信頼性(Pass@1)を改善し、ベースエージェント上の機能フロンティア(Pass@k)を拡張する。 さらに、ハーネスプロジェクタとして強力な外部モデル(例: Opus 4.8)を使用することで、同じフレームワークがさらなるパフォーマンス向上をもたらすことを示す。

関連論文リスト

• Inference-Time Policy Alignment for Fair Reinforcement Learning [1.9342617041096457]
  深層強化学習エージェントの政策は、しばしば新しい性能基準に適応するために厳格でコストがかかる。 本稿では,行動依存型福祉スコアを用いて行動確率を調節する乗法的政策形成フレームワークを提案する。 我々のフレームワークは汎用的で、どのディープRLエージェントとも互換性がある。
  論文  参考訳（メタデータ） (2026-07-31T18:00:50Z)
• HarnessForge: Joint Harness and Policy Evolution for Adaptive Agent Systems [21.429473391187287]
  LLMエージェントは、多種多様なタスクレジームで運用されることがますます期待されている。 本稿では,エージェントシステムを進化させるメタ適応フレームワークであるHarnessForgeを提案する。 HarnessForgeはエージェントシステムをハーネスのペアとして定式化し、安定した適応空間を定義する。
  論文  参考訳（メタデータ） (2026-06-01T07:00:35Z)
• One-Way Policy Optimization for Self-Evolving LLMs [63.8638342097375]
  RLVR(Reinforcement Learning with Verifiable Rewards)は,Large Language Models(LLMs)の推論能力を拡張するための,有望なパラダイムとなっている。 本稿では,最適化方向を更新等級から切り離す手法である1-Way Policy Optimization (OWPO)を提案する。 実験の結果,OWPOはDAPO,OPD,MOPDなどの強いベースラインより優れていた。
  論文  参考訳（メタデータ） (2026-05-21T08:25:27Z)
• Posterior Optimization with Clipped Objective for Bridging Efficiency and Stability in Generative Policy Learning [22.708956698352704]
  Clipped Objective (POCO) は、ポリシー改善を時間的アクションチャンクに適した後部推論問題として定式化する原則的なRLフレームワークである。 POCOは破滅的な政策崩壊を防ぎ、SOTAベースラインを上回り、現実世界のタスクで96.7%の成功率を達成した。
  論文  参考訳（メタデータ） (2026-04-02T10:15:47Z)
• GDPO: Group reward-Decoupled Normalization Policy Optimization for Multi-reward RL Optimization [133.27496265096445]
  我々は,グループ相対的政策最適化を,その適合性を検討することなく,マルチリワード設定で適用する方法を示す。 次に、これらの問題を解決するための新しい政策最適化手法であるグループ報酬分離正規化政策最適化(GDPO)を紹介する。 GDPOはGRPOを一貫して上回り、マルチリワード強化学習最適化の有効性と一般化性を示す。
  論文  参考訳（メタデータ） (2026-01-08T18:59:24Z)
• BAPO: Stabilizing Off-Policy Reinforcement Learning for LLMs via Balanced Policy Optimization with Adaptive Clipping [69.74252624161652]
  適応クリッピング(BAPO)を用いたBAlanced Policy Optimizationを提案する。 BAPOはクリッピングバウンダリを動的に調整し、適応的に正と負のコントリビューションを再バランスさせ、エントロピーを保持し、RL最適化を安定化させる。 AIME 2024とAIME 2025ベンチマークでは、7B BAPOモデルがSkyWork-OR1-7Bのようなオープンソースモデルを上回っています。
  論文  参考訳（メタデータ） (2025-10-21T12:55:04Z)
• Pre-Trained Policy Discriminators are General Reward Models [81.3974586561645]
  政策差別学習(POLAR)という,スケーラブルな事前学習手法を提案する。 POLARは報酬モデル(RM)を訓練し、同一のポリシーを識別し、異なるポリシーを識別する。 実証実験の結果、POLARは従来の非事前学習法よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2025-07-07T16:56:31Z)
• WARP: On the Benefits of Weight Averaged Rewarded Policies [66.95013068137115]
  ウェイトアベレード・リワード・ポリシー(WARP)という新しいアライメント戦略を導入する。 WARPは重量空間のポリシーを3つの異なる段階でマージする。 GEMMAポリシによる実験では、WARPが品質とアライメントを改善し、他のオープンソースLLMよりも優れています。
  論文  参考訳（メタデータ） (2024-06-24T16:24:34Z)
• Learning Zero-Shot Cooperation with Humans, Assuming Humans Are Biased [20.606048182101528]
  より一般的なフレームワークであるHidden-Utility Self-Play (HSP)を提案する。 HSPは、学習された人間モデル、手作業によるポリシー、実際の人間との協調において、ベースラインよりも高い報酬を生成する。
  論文  参考訳（メタデータ） (2023-02-03T09:06:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。