論文の概要: Harness-S: Learning from Sibling Harnesses for Generalizable Agent Training
- arxiv url: http://arxiv.org/abs/2611.04277v1
- Date: Tue, 03 Nov 2026 04:03:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-11 00:33:03.165277
- Title: Harness-S: Learning from Sibling Harnesses for Generalizable Agent Training
- Title（参考訳）: Harness-S:汎用エージェントトレーニングのための兄弟のハーネスからの学習
- Abstract要約: 本研究では,階層型ハーネスによるベース実行システムの障害を選択的に救うためにHarness-Sを導入する。
ディレクショナル・ハーネス・エボリューション(Directional Harness Evolution)は、異なる修理方向に沿って特別な兄弟ハーネスを開発し、再利用可能なシブリング・ハーネス・プールを形成する。
AppWorld、SWE-Gym、DBBench全体で、トレーニングされたポリシーは、元のベースハーネスに戻ると、ポリシーのみのトレーニングよりも大幅に向上する。
- 参考スコア（独自算出の注目度）: 39.24518195164355
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Harness evolution from a common base exhibits Locality, Complementarity, and Nonstationarity: variants repair different failures, and their utility changes as the policy learns. Rather than seeking a universally superior harness, we introduce Harness-S to selectively rescue failures of a base execution system through sibling harnesses and transfer the resulting capabilities into a single policy that remains effective under the original harness. Directional Harness Evolution develops specialized sibling harnesses along distinct repair directions, forming a reusable Sibling Harness Pool that remains fixed during policy training. Complementary Harness Rescue Training invokes this pool only when all initial attempts under the base harness fail. The same policy generates fresh rollouts under selected auxiliary harnesses, and these trajectories replace the failed group for reinforcement learning. An Adaptive Harness Router selects the Top-k variants using Harness Behavior Profiles and voting across multiple LLMs. Policy-aware profile re-anchoring refreshes this evidence as the policy learns. Across AppWorld, SWE-Gym, and DBBench, the trained policy substantially outperforms policy-only training when returned to the original base harness. Behavioral analyses and held-out cases support the transfer of harness-elicited behaviors into the policy itself. Reusing the router for Rank-1 inference provides additional gains at the same executor rollout count.
- Abstract（参考訳）: 共通基盤からのハーネス進化は、局所性、相補性、非定常性を示す。
汎用的に優れたハーネスを求めるのではなく、ハーネスを兄弟にすることでベース実行システムの障害を選択的に救済し、その結果を元のハーネスの下で有効である単一ポリシーに転送するハーネス-Sを導入する。
ディレクショナル・ハーネス・エボリューション (Directional Harness Evolution) は、個別の修理方向に沿って特別な兄弟ハーネスを開発し、政策訓練中に固定された再利用可能な兄弟ハーネスプールを形成する。
補足的ハーネス救助訓練は、ベースハーネスの下の全ての初期試みが失敗した場合にのみ、このプールを起動する。
同じ方針は、選択された補助ハーネスの下で新鮮なロールアウトを発生させ、これらの軌道は、失敗したグループを補強学習に置き換える。
Adaptive Harness Routerは、Harness Behavior Profilesを使用してトップkの変種を選択し、複数のLLMに投票する。
政策を意識したプロフィールの再登録は、ポリシーが学習するにつれてこの証拠を更新する。
AppWorld、SWE-Gym、DBBench全体で、トレーニングされたポリシーは、元のベースハーネスに戻ると、ポリシーのみのトレーニングよりも大幅に向上する。
行動分析とホールドアウトの事例は、ハーネスに富んだ行動が政策そのものに移管されるのを支持している。
Rank-1推論のためにルータを再利用すると、同じエグゼキュータのロールアウトカウントで追加のゲインが得られる。
関連論文リスト
- CoHARL: Co-Evolving Agent Policies and Executable Harnesses with Reinforcement Learning [42.44116672462781]
大規模言語モデル(LLM)エージェントは、ツールの使用とフィードバックを管理する実行可能なハーネスを通じて環境と対話する。
我々は、共有政策と実行可能なハーネスの集団を共進化させる、人口ベースの強化学習フレームワークであるCoHARLを紹介する。
CoHARL は SWE-rebench で27.6% の平均的な解決率を獲得し、ハーネスのみの検索を6.4 ポイント改善した。
論文 参考訳（メタデータ） (2026-10-27T01:25:26Z) - Training the Whole Agent, Not Just the Model [23.30182050145758]
本稿では,HarnessAdapt-RLについて紹介する。
タスク間で繰り返し発生するインタラクションの問題に対して、個別の教師モデルはツールとフックを進化させ、それぞれの変更は、どちらかを下げることなく、観察されたパスレートまたは観察されたトレーニング可能なレートを改善する場合にのみ維持する。
9Bベースモデルでは、HarnessAdapt-RLはGRPOのパス@1を9.8、12.6、SWE-bench Verified、Multilingual、Proで6.4ポイント改善し、人間設計のOpenHandsハーネスでGRPOを上回っている。
論文 参考訳（メタデータ） (2026-10-20T11:51:23Z) - HarnessRL: Co-Evolving Policies with a Just-in-Time Training Harness for Open-Ended RL [92.02913442949664]
ミスマッチに基づく強化学習は、自然言語基準による政策を報酬としますが、トレーニングが進むにつれて、これらの報酬は効果がありません。
HarnessRLは,タスクサンプリング,ロールアウトガイダンス,基準の3つのインターフェースを通じて,ポリシーと共進化するトレーニングタイムハーネスである。
RL-Mix-10kでは、ハーネスRLは4Bモデルと9Bモデルの両方で2.8から3.1ポイントで最強のベースラインを上回っている。
論文 参考訳（メタデータ） (2026-10-19T13:53:38Z) - Self-Evolving Coding Agents via Harness-Policy Optimization [59.77935668723671]
Self-HPOは、ハーネスとポリシー最適化を代替するコーディングエージェントのための自己改善フレームワークである。
3つのコーディングベンチマークで、Self-HPOはハーネスのみとポリシーのみのベースラインを一貫して上回っている。
Self-HPOはまた、信頼性(Pass@1)を改善し、ベースエージェント上の機能フロンティア(Pass@k)を拡張する。
論文 参考訳（メタデータ） (2026-10-16T01:07:52Z) - CoTrace: Data Recipes for Training Terminal Agents with Harness-Model Co-Evolution [68.76788820731048]
CoTraceは、トラジェクトリルーティング、プロファイランスマッチング、リフレッシュを管理するハーネス対応のデータレシピである。
コンパクトなハーネス整合コーパスは、兄弟ハーネスにまたがるより大きなコーパスよりも、かなり低い計算で安定したモデルゲインを生成することを示す。
論文 参考訳（メタデータ） (2026-10-07T17:06:59Z) - LLM-as-a-Tutor: Policy-Aware Prompt Adaptation for Non-Verifiable RL [64.4276583943816]
検証不能な指導のための強化学習は、報酬信号としてプロンプト固有のルーリックを持つ裁判官に依存している。
最近の手法は、トレーニング中にこれらのルーリックを進化するポリシーに適応させるが、トレーニングのプロンプト自体は静的のままである。
この静的なアプローチは、しばしば急激な困難と政策能力の間に重大なミスアライメントをもたらし、裁判官は差別的な報酬信号を取り戻すことができない。
論文 参考訳（メタデータ） (2026-07-05T17:05:13Z) - Statistically Efficient Variance Reduction with Double Policy Estimation
for Off-Policy Evaluation in Sequence-Modeled Reinforcement Learning [53.97273491846883]
本稿では、オフラインシーケンスモデリングとオフライン強化学習をダブルポリシー推定と組み合わせたRLアルゴリズムDPEを提案する。
D4RLベンチマークを用いて,OpenAI Gymの複数のタスクで本手法を検証した。
論文 参考訳（メタデータ） (2023-08-28T20:46:07Z) - Behavior Constraining in Weight Space for Offline Reinforcement Learning [2.7184068098378855]
オフラインの強化学習では、ポリシーは単一のデータセットから学ぶ必要がある。
そこで,本研究では,本手法を重み空間内で直接制約する新しいアルゴリズムを提案し,その有効性を実験で実証する。
論文 参考訳（メタデータ） (2021-07-12T14:50:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。