論文の概要: CoHARL: Co-Evolving Agent Policies and Executable Harnesses with Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2610.36469v1
- Date: Tue, 27 Oct 2026 01:25:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-28 21:04:31.458945
- Title: CoHARL: Co-Evolving Agent Policies and Executable Harnesses with Reinforcement Learning
- Title（参考訳）: CoHARL:強化学習を伴う共進化型エージェント政策と実行可能ハーネス
- Abstract要約: 大規模言語モデル(LLM)エージェントは、ツールの使用とフィードバックを管理する実行可能なハーネスを通じて環境と対話する。
我々は、共有政策と実行可能なハーネスの集団を共進化させる、人口ベースの強化学習フレームワークであるCoHARLを紹介する。
CoHARL は SWE-rebench で27.6% の平均的な解決率を獲得し、ハーネスのみの検索を6.4 ポイント改善した。
- 参考スコア（独自算出の注目度）: 42.44116672462781
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language model (LLM) agents interact with their environments through executable harnesses that govern tool use and feedback. Optimizing a harness for a fixed policy overlooks how its behavior changes during learning, while training a policy under a fixed harness leaves the interface that generates its training experience unchanged. This motivates adapting the harness throughout policy training. We introduce CoHARL, a population-based reinforcement learning framework that co-evolves a shared policy and a population of executable harnesses. The policy learns from rollouts across the population, and a proposer uses its execution traces to revise harness code during training. CoHARL achieves a 27.6% mean resolved rate on SWE-rebench, improving over harness-only search by 6.4 percentage points. Experiments on SWE-bench Verified and Terminal-Bench 2.0 show gains in software engineering and terminal-based tasks. Under matched training budgets, CoHARL also outperforms searching for a harness once before RL and alternating policy updates with revisions to a single active harness.
- Abstract（参考訳）: 大規模言語モデル(LLM)エージェントは、ツールの使用とフィードバックを管理する実行可能なハーネスを通じて環境と対話する。
固定されたポリシーのハーネスを最適化することは、学習中にその振る舞いがどのように変化するかを見落とし、一方、固定されたハーネスの下でポリシーをトレーニングすることは、トレーニングエクスペリエンスを生成するインターフェースをそのまま残します。
これは政策訓練を通じてハーネスを適応させる動機である。
我々は、共有政策と実行可能なハーネスの集団を共進化させる、人口ベースの強化学習フレームワークであるCoHARLを紹介する。
政策は人口のロールアウトから学び、提案者はその実行トレースを使用してトレーニング中のハーネスコードを修正する。
CoHARL は SWE-rebench で27.6% の平均的な解決率を獲得し、ハーネスのみの検索を6.4 ポイント改善した。
SWE-bench Verified と Terminal-Bench 2.0 の実験は、ソフトウェア工学と端末ベースのタスクの進歩を示している。
整合した訓練予算の下では、CoHARLはRLの前にハーネスを探索し、ポリシー更新と1つのアクティブハーネスへの修正を交互に行う。
関連論文リスト
- Training the Whole Agent, Not Just the Model [23.30182050145758]
本稿では,HarnessAdapt-RLについて紹介する。
タスク間で繰り返し発生するインタラクションの問題に対して、個別の教師モデルはツールとフックを進化させ、それぞれの変更は、どちらかを下げることなく、観察されたパスレートまたは観察されたトレーニング可能なレートを改善する場合にのみ維持する。
9Bベースモデルでは、HarnessAdapt-RLはGRPOのパス@1を9.8、12.6、SWE-bench Verified、Multilingual、Proで6.4ポイント改善し、人間設計のOpenHandsハーネスでGRPOを上回っている。
論文 参考訳（メタデータ） (2026-10-20T11:51:23Z) - HarnessRL: Co-Evolving Policies with a Just-in-Time Training Harness for Open-Ended RL [92.02913442949664]
ミスマッチに基づく強化学習は、自然言語基準による政策を報酬としますが、トレーニングが進むにつれて、これらの報酬は効果がありません。
HarnessRLは,タスクサンプリング,ロールアウトガイダンス,基準の3つのインターフェースを通じて,ポリシーと共進化するトレーニングタイムハーネスである。
RL-Mix-10kでは、ハーネスRLは4Bモデルと9Bモデルの両方で2.8から3.1ポイントで最強のベースラインを上回っている。
論文 参考訳（メタデータ） (2026-10-19T13:53:38Z) - Self-Evolving Coding Agents via Harness-Policy Optimization [59.77935668723671]
Self-HPOは、ハーネスとポリシー最適化を代替するコーディングエージェントのための自己改善フレームワークである。
3つのコーディングベンチマークで、Self-HPOはハーネスのみとポリシーのみのベースラインを一貫して上回っている。
Self-HPOはまた、信頼性(Pass@1)を改善し、ベースエージェント上の機能フロンティア(Pass@k)を拡張する。
論文 参考訳（メタデータ） (2026-10-16T01:07:52Z) - CoTrace: Data Recipes for Training Terminal Agents with Harness-Model Co-Evolution [68.76788820731048]
CoTraceは、トラジェクトリルーティング、プロファイランスマッチング、リフレッシュを管理するハーネス対応のデータレシピである。
コンパクトなハーネス整合コーパスは、兄弟ハーネスにまたがるより大きなコーパスよりも、かなり低い計算で安定したモデルゲインを生成することを示す。
論文 参考訳（メタデータ） (2026-10-07T17:06:59Z) - MESH-Harness: Self-Improving Agent Harnesses via Bandit-Guided Compositional Evolution [51.00839146188019]
MESH-Harnessは、各ハーネスを明示的なロール固有のインターフェイスを持つ機能モジュールにまとめる。
Mixed-start coordinate ascentは、空間を列挙することなく、評価のための完全な構成を選択する。
繰り返しハーネス最適化はMESH-Harnessを5.63-7.79ポイント改善した。
論文 参考訳（メタデータ） (2026-10-04T15:22:23Z) - Harness Learning Enables Generalizable Test-Time Adaptation [75.12882372844764]
本稿では,提案手法を学習し,提案手法を学習し,提案手法を改良するハーネス学習を提案する。
我々は、改良されたハーネスのタスクパフォーマンスを報奨として、強化学習で提案者を訓練する。
推論とマルチホップ質問応答の実験は、学習の活用によってリビジョン品質が向上し、テストタイムで適応する能力が見当たらないタスクに適応することを示した。
論文 参考訳（メタデータ） (2026-09-28T17:52:54Z) - HarnessBandit: Joint Learnability-Transferability Scheduling for Multi-Harness Agentic Reinforcement Learning [40.61476978001808]
ステップ毎に1つのハーネスを選択するオンラインスケジューラであるHarnessBanditを開発した。
我々は、ClawGymで6つのハーネスでQwen3.5-2Bを訓練し、PinchBenchとClawEvalで評価する。
論文 参考訳（メタデータ） (2026-09-12T06:22:45Z) - CHART: A Harness-Rotation Curriculum for Harness-Robust Search Agents [16.641243882855136]
我々は,検索効率と性能の両方を改善するために,並列検索を行うために,探索エージェントを訓練する。
固定ハーネス下でのトレーニングは、そのハーネスの表面形状に過度に適合する行動ハーネスを局所的にする。
本稿では,探索エージェントが徐々に並列検索を統合できる回転カリキュラムであるCurriculum HArness Rotation Training (CHART)を提案する。
論文 参考訳（メタデータ） (2026-09-05T19:12:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。