論文の概要: Harness Scaling for Generalizable Agentic Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2610.29458v2
• Date: Sun, 25 Oct 2026 08:09:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.142206
• Title: Harness Scaling for Generalizable Agentic Reinforcement Learning
• Title（参考訳）: 一般化可能なエージェント強化学習のためのハーネススケーリング
• Abstract要約: この研究は、ハーネススケーリングをエージェントRLの別のスケーリング次元として研究する。 我々は、因数化ハーネス空間を構築し、バランスの取れた因数的カバレッジを持つコンパクトなトレーニングサブセットを選択し、局所性を考慮したタスク割り当てを通じて、クロスハーネストレーニングを組織する。 その結果、ハーネスの多様性はエージェントRLの有意義なスケーリング次元として確立され、この多様性がクロスハーネスの一般化のためにどのように組織されるかの重要性を強調した。
• 参考スコア（独自算出の注目度）: 81.62188508157902
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Agent harnesses have become a central component of modern agentic systems, shaping how models use tools, manage context, and coordinate long-horizon interaction. Realizing the benefits of these harnesses depends on how effectively the underlying model can make use of them, motivating reinforcement learning directly through the harness. While recent efforts have explored harness diversification to reduce specialization to particular execution settings, how to systematically construct and organize harness diversity for cross-harness generalization remains insufficiently understood. This work studies Harness Scaling as a distinct scaling dimension for agentic RL, focusing on structured variation in how policies execute and interact with the same underlying task and environment. Concretely, we construct a factorized harness space, select a compact training subset with balanced factorial coverage, and organize cross-harness training through locality-aware task assignment. Across multiple benchmarks, model scales, and RL algorithms, Harness Scaling consistently improves generalization to unseen harness combinations. Moreover, policies trained through structured white-box harness variation transfer effectively to unseen external black-box harnesses, outperforming policies trained through a single complex black-box harness. These results establish harness diversity as a meaningful scaling dimension for agentic RL and highlight the importance of how this diversity is organized for cross-harness generalization.
• Abstract（参考訳）: エージェントハーネスは現代のエージェントシステムの中心的なコンポーネントとなり、モデルがどのようにツールを使うか、コンテキストを管理し、長期の相互作用を調整する。 これらのハーネスの利点を実現するには、基盤となるモデルがいかに効果的に活用できるかに依存し、ハーネスから直接強化学習を動機付ける。 近年、特定の実行環境への特殊化を減らすために、ハーネスの多様化について検討されているが、ハーネスの一般化のためのハーネスの多様性を体系的に構築し、整理する方法は、まだ十分に理解されていない。 この研究は、Harness ScalingをエージェントRLの個別のスケーリングディメンションとして研究し、ポリシーの実行方法と、その基盤となるタスクと環境との相互作用に関する構造化されたバリエーションに焦点を当てている。 具体的には、因子化されたハーネス空間を構築し、バランスの取れた因子的カバレッジを持つコンパクトなトレーニングサブセットを選択し、局所性を考慮したタスク割り当てを通じて、クロスハーネストレーニングを組織化する。 複数のベンチマーク、モデルスケール、RLアルゴリズムを通じて、Harness Scalingは一貫して一般化を改善して、目に見えないハーネスの組み合わせを実現している。 さらに、構造化されたホワイトボックスハーネスで訓練されたポリシーは、見えない外部のブラックボックスハーネスに効果的に移行し、単一の複雑なブラックボックスハーネスで訓練されたポリシーよりも優れている。 これらの結果は、ハーネスの多様性をエージェントRLの有意義なスケーリング次元として確立し、この多様性がクロスハーネスの一般化のためにどのように組織されるかの重要性を強調する。

関連論文リスト

• Object-Oriented Harness: Evolving Agent Harnesses through Object-Oriented Design [87.6090848775129]
  Object-Oriented Harness(OO-Harness)はオブジェクト指向設計を用いて実行可能なハーネスクラスの階層を進化させるフレームワークである。 OO-Harnessは、比較したメソッドの中で最高のパフォーマンスを達成し、絶対的な改善は、ベース上で最大15%である。
  論文  参考訳（メタデータ） (2026-10-20T15:32:52Z)
• MaD-RSI: Model-as-Data for Recursive Self-Improvement of Agent Harnesses [19.521067236068646]
  エージェントハーネスの帰納的自己改善(RSI)は,大規模言語モデル(LLM)エージェントの能力向上に有効なアプローチとして現れている。 本稿では、モデルをデータとして扱い、ハーネスを最適化の中心に置く新しい視点を紹介する。
  論文  参考訳（メタデータ） (2026-10-20T13:41:00Z)
• MiMo-V2.6: Scaling Reinforcement Learning Towards Self-Improvement [128.77839625189023]
  本報告では,モデルインテリジェンスのフロンティアをRL計算のスケーリングによって推し進めるOmni-modalファミリであるMiMo-V2.6シリーズを紹介する。 我々はRL計算を3次元にスケールし、非同期トレーニングにより1,568個のサンプルと2.7-3.7Bトークンを最大1Mのコンテキスト長で消費する。 大規模なトレーニングを安定させるためには、MoEルータを凍結し、報酬ハッキングに対する多層防御を確立する。
  論文  参考訳（メタデータ） (2026-10-08T13:41:53Z)
• CoTrace: Data Recipes for Training Terminal Agents with Harness-Model Co-Evolution [68.76788820731048]
  CoTraceは、トラジェクトリルーティング、プロファイランスマッチング、リフレッシュを管理するハーネス対応のデータレシピである。 コンパクトなハーネス整合コーパスは、兄弟ハーネスにまたがるより大きなコーパスよりも、かなり低い計算で安定したモデルゲインを生成することを示す。
  論文  参考訳（メタデータ） (2026-10-07T17:06:59Z)
• HarnessBandit: Joint Learnability-Transferability Scheduling for Multi-Harness Agentic Reinforcement Learning [40.61476978001808]
  ステップ毎に1つのハーネスを選択するオンラインスケジューラであるHarnessBanditを開発した。 我々は、ClawGymで6つのハーネスでQwen3.5-2Bを訓練し、PinchBenchとClawEvalで評価する。
  論文  参考訳（メタデータ） (2026-09-12T06:22:45Z)
• ClawGym II: Exploring Black-Box RL on Agent Harness [82.92963070856416]
  エージェントハーネスは、エージェントと環境との相互作用を調整することで、長期タスクの性能を大幅に改善した。 複雑なハーネスによる汎用エージェントの安定かつスケーラブルな最適化のための統合ブラックボックスRLフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-08-17T16:53:03Z)
• Why Does Reinforcement Learning Generalize? A Feature-Level Mechanistic Study of Post-Training in Large Language Models [51.45122910254346]
  強化学習(RL)に基づくポストトレーニングは、トレーニングドメインを超えた大規模言語モデルの推論性能を改善することが多い。 Supervised Fine-tuning (SFT) はしばしば一般的な忘れる能力をもたらす。 制御された実験装置を用いてRL一般化を探索する特徴レベル力学解析手法を提案する。
  論文  参考訳（メタデータ） (2026-04-27T21:22:34Z)
• An Adaptive Placement and Parallelism Framework for Accelerating RLHF Training [11.749347656959822]
  2つの一般的なアジャイルモデル配置戦略を提供するフレキシブルなモデル配置フレームワークを提案する。 私たちのフレームワークは、さまざまなトレーニングシナリオにおいて、これらの戦略を簡単にかつ柔軟に設定するための、シンプルなユーザインターフェースとガイドラインを提供します。
  論文  参考訳（メタデータ） (2023-12-19T03:24:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。