論文の概要: Training the Whole Agent, Not Just the Model

• arxiv url: http://arxiv.org/abs/2610.28069v1
• Date: Tue, 20 Oct 2026 11:51:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.79443
• Title: Training the Whole Agent, Not Just the Model
• Title（参考訳）: モデルだけでなく、全体エージェントを訓練する
• Abstract要約: 本稿では,HarnessAdapt-RLについて紹介する。 タスク間で繰り返し発生するインタラクションの問題に対して、個別の教師モデルはツールとフックを進化させ、それぞれの変更は、どちらかを下げることなく、観察されたパスレートまたは観察されたトレーニング可能なレートを改善する場合にのみ維持する。 9Bベースモデルでは、HarnessAdapt-RLはGRPOのパス@1を9.8、12.6、SWE-bench Verified、Multilingual、Proで6.4ポイント改善し、人間設計のOpenHandsハーネスでGRPOを上回っている。
• 参考スコア（独自算出の注目度）: 23.30182050145758
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training coding agents typically updates the policy while keeping the harness fixed. During training, trajectories reveal flawed repair strategies and interaction problems that vary across tasks and change as the policy learns. We introduce HarnessAdapt-RL, which trains the policy and adapts its harness during reinforcement learning. For flawed repair strategies, a frozen teacher generates task-specific mechanism-level skills. For interaction problems recurring across tasks, a separate teacher model evolves tools and hooks, keeping each change only if it improves the observed pass rate or the observed trainable rate without lowering either. The policy trains with the adapted harness, and its new trajectories guide further adaptation. With a 9B base model, HarnessAdapt-RL improves pass@1 over GRPO by 9.8, 12.6, and 6.4 percentage points on SWE-bench Verified, Multilingual, and Pro, and outperforms GRPO with the human-designed OpenHands harness. Gains from mechanism-level skills persist after their removal at evaluation. Re-evolving tools and hooks as the policy changes outperforms freezing early versions. Removing them at deployment, in contrast, costs up to 7.7 percentage points. Training therefore produces a model-harness pair: the trained policy and the evolved tools and hooks, with skills removed at deployment.
• Abstract（参考訳）: コーディングエージェントのトレーニングは通常、ハーネスを固定しながらポリシーを更新します。 訓練中、軌道は欠陥のある修理戦略と、ポリシーが学習するにつれてタスクや変更によって異なる相互作用の問題を明らかにする。 本稿では,HarnessAdapt-RLについて紹介する。 欠陥のある修復戦略では、凍結した教師がタスク固有のメカニズムレベルのスキルを生成する。 タスク間で繰り返し発生するインタラクションの問題に対して、個別の教師モデルはツールとフックを進化させ、それぞれの変更は、どちらかを下げることなく、観察されたパスレートまたは観察されたトレーニング可能なレートを改善する場合にのみ維持する。 政策は適応されたハーネスで訓練され、新しい軌道はさらなる適応を導く。 9Bベースモデルでは、HarnessAdapt-RLはGRPOのパス@1を9.8、12.6、SWE-bench Verified、Multilingual、Proで6.4ポイント改善し、人間設計のOpenHandsハーネスでGRPOを上回っている。 評価において、メカニズムレベルのスキルの獲得は、削除後も継続する。 ポリシーの変更によるツールとフックの再進化は、初期バージョンよりも優れています。 一方、配備時に取り除くのは最大7.7%のコストがかかる。 そのため、トレーニングは、トレーニングされたポリシーと進化したツールとフックというモデルとハーネスのペアを生み出し、デプロイ時にスキルを排除します。

関連論文リスト

• HarnessRL: Co-Evolving Policies with a Just-in-Time Training Harness for Open-Ended RL [92.02913442949664]
  ミスマッチに基づく強化学習は、自然言語基準による政策を報酬としますが、トレーニングが進むにつれて、これらの報酬は効果がありません。 HarnessRLは,タスクサンプリング,ロールアウトガイダンス,基準の3つのインターフェースを通じて,ポリシーと共進化するトレーニングタイムハーネスである。 RL-Mix-10kでは、ハーネスRLは4Bモデルと9Bモデルの両方で2.8から3.1ポイントで最強のベースラインを上回っている。
  論文  参考訳（メタデータ） (2026-10-19T13:53:38Z)
• Self-Evolving Coding Agents via Harness-Policy Optimization [59.77935668723671]
  Self-HPOは、ハーネスとポリシー最適化を代替するコーディングエージェントのための自己改善フレームワークである。 3つのコーディングベンチマークで、Self-HPOはハーネスのみとポリシーのみのベースラインを一貫して上回っている。 Self-HPOはまた、信頼性(Pass@1)を改善し、ベースエージェント上の機能フロンティア(Pass@k)を拡張する。
  論文  参考訳（メタデータ） (2026-10-16T01:07:52Z)
• RSIPO: Recursive Self-Improving Policy Optimization for Agentic Reinforcement Learning via Skill-Policy Co-Evolution [77.88178178061172]
  本稿では、エージェントスキルとポリシーモデルをトレーニングプロセスを通じて共進化させる自己進化型エージェントRLフレームワークである、再帰的自己改善政策最適化(RSIPO)を紹介する。 Qwen2.5-7Bがベースモデルとなり、RSIPOはALFWorldで平均98.6%の成功率を記録し、それぞれ2番目に高いベースラインと標準GRPOに対して2.5%と17.4%の改善を達成した。
  論文  参考訳（メタデータ） (2026-10-11T16:54:58Z)
• CoTrace: Data Recipes for Training Terminal Agents with Harness-Model Co-Evolution [68.76788820731048]
  CoTraceは、トラジェクトリルーティング、プロファイランスマッチング、リフレッシュを管理するハーネス対応のデータレシピである。 コンパクトなハーネス整合コーパスは、兄弟ハーネスにまたがるより大きなコーパスよりも、かなり低い計算で安定したモデルゲインを生成することを示す。
  論文  参考訳（メタデータ） (2026-10-07T17:06:59Z)
• Harness Learning Enables Generalizable Test-Time Adaptation [75.12882372844764]
  本稿では,提案手法を学習し,提案手法を学習し,提案手法を改良するハーネス学習を提案する。 我々は、改良されたハーネスのタスクパフォーマンスを報奨として、強化学習で提案者を訓練する。 推論とマルチホップ質問応答の実験は、学習の活用によってリビジョン品質が向上し、テストタイムで適応する能力が見当たらないタスクに適応することを示した。
  論文  参考訳（メタデータ） (2026-09-28T17:52:54Z)
• Co-Evolving Harnesses and Models: On-Policy Correction Helps Weaker Models Catch Up Where Imitation Fails [23.287109132562403]
  自動化されたハーネス進化により、より小さなモデルは、フロンティアモデルコストのごく一部で、ドメイン固有のタスクでうまく機能することができる。 模倣は知識を伝達し,足場の使用量を増加させるが,モデルハーネスの適合性を阻害することを示す。 我々は、メタレベルのMLEエージェントによって自動化され、弱いモデル自身のロールアウトにおいて失敗するターンをローカライズし、専門家にそのターンのみを書き直すよう依頼する、オンデマンドの専門家補正パイプラインを開発する。
  論文  参考訳（メタデータ） (2026-09-08T17:53:49Z)
• PATS: Policy-Aware Training Scaffolding for Agentic Reinforcement Learning [8.197606162420145]
  ダイナミックトレーニングの足場としてスキルを再構築する,ポリシ中心のトレーニングパラダイムを提案する。 当社のフレームワークPATSは,最新のポリシーからエビデンスカードにロールアウトグループを変換し,タスク固有の評価を用いて,その後のロールアウトで使用されるコンテキストを調整する。
  論文  参考訳（メタデータ） (2026-07-23T15:24:35Z)
• Trust the Batch, On- or Off-Policy: Adaptive Policy Optimization for RL Post-Training [50.86545293331458]
  強化学習は、教師付き学習よりも構造的に難しい。 本稿では,固定クリッピングを政策比率の正規化された有効サンプルサイズに置き換える,単純かつ効果的なバッチ適応目的を提案する。
  論文  参考訳（メタデータ） (2026-05-12T16:44:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。