論文の概要: Harness Scaling for Generalizable Agentic Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2610.29458v1
• Date: Wed, 21 Oct 2026 09:15:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.300967
• Title: Harness Scaling for Generalizable Agentic Reinforcement Learning
• Title（参考訳）: 一般化可能なエージェント強化学習のためのハーネススケーリング
• Abstract要約: エージェントRLの新しいスケーリングディメンションである textbfHarness Scaling を導入する。 因子化されたハーネス空間を構築し、バランスの取れた因子被覆を持つコンパクトなトレーニングサブセットを選択し、グローバルなカバレッジと制御されたバリエーションを組み合わせたクロスハーネストレーニングを組織化する。 複数のベンチマーク、モデルスケール、RLアルゴリズムを通じて、Harness Scalingは一貫して、ホワイトボックス構成の見当たらない一般化を改善している。
• 参考スコア（独自算出の注目度）: 81.62188508157902
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Agent harnesses have become a central component of modern agentic systems, shaping how models use tools, manage context, and coordinate long-horizon interaction. Realizing the benefits of these harnesses depends on how effectively the underlying model can make use of them, motivating reinforcement learning directly through the harness. However, existing approaches typically train through a single fixed harness, which can lead to specialization and limited transfer across harness configurations. To address this, we introduce \textbf{Harness Scaling}, a new scaling dimension for agentic RL that extends training from a single harness to diverse execution configurations. Concretely, we construct a factorized harness space, select a compact training subset with balanced factorial coverage, and organize cross-harness training to combine global coverage with controlled variation for the same task. Across multiple benchmarks, model scales, and RL algorithms, Harness Scaling consistently improves generalization to unseen white-box configurations. Moreover, models trained through structured white-box variation transfer effectively to unseen external black-box harnesses, outperforming models trained through a single complex black-box harness. These results establish harness diversity as a meaningful scaling dimension for agentic RL and highlight the importance of how this diversity is organized for cross-harness generalization.
• Abstract（参考訳）: エージェントハーネスは現代のエージェントシステムの中心的なコンポーネントとなり、モデルがどのようにツールを使うか、コンテキストを管理し、長期の相互作用を調整する。 これらのハーネスの利点を実現するには、基盤となるモデルがいかに効果的に活用できるかに依存し、ハーネスから直接強化学習を動機付ける。 しかしながら、既存のアプローチは通常、1つの固定ハーネスをトレーニングする。 これを解決するために,エージェントRLの新しいスケーリングディメンションである \textbf{Harness Scaling} を紹介した。 具体的には、係数化されたハーネス空間を構築し、バランスの取れた係数カバレッジを持つコンパクトなトレーニングサブセットを選択し、グローバルなカバレッジと同一タスクの制御されたバリエーションを組み合わせるために、クロスハーネストレーニングを組織化する。 複数のベンチマーク、モデルスケール、RLアルゴリズムを通じて、Harness Scalingは一貫して、ホワイトボックス構成の見当たらない一般化を改善している。 さらに、構造化されたホワイトボックス変動によってトレーニングされたモデルは、見えない外部のブラックボックスハーネスに効果的に伝達され、単一の複雑なブラックボックスハーネスでトレーニングされたモデルよりも優れた性能を発揮する。 これらの結果は、ハーネスの多様性をエージェントRLの有意義なスケーリング次元として確立し、この多様性がクロスハーネスの一般化のためにどのように組織されるかの重要性を強調する。

関連論文リスト

• Object-Oriented Harness: Evolving Agent Harnesses through Object-Oriented Design [87.6090848775129]
  Object-Oriented Harness(OO-Harness)はオブジェクト指向設計を用いて実行可能なハーネスクラスの階層を進化させるフレームワークである。 OO-Harnessは、比較したメソッドの中で最高のパフォーマンスを達成し、絶対的な改善は、ベース上で最大15%である。
  論文  参考訳（メタデータ） (2026-10-20T15:32:52Z)
• MaD-RSI: Model-as-Data for Recursive Self-Improvement of Agent Harnesses [19.521067236068646]
  エージェントハーネスの帰納的自己改善(RSI)は,大規模言語モデル(LLM)エージェントの能力向上に有効なアプローチとして現れている。 本稿では、モデルをデータとして扱い、ハーネスを最適化の中心に置く新しい視点を紹介する。
  論文  参考訳（メタデータ） (2026-10-20T13:41:00Z)
• MiMo-V2.6: Scaling Reinforcement Learning Towards Self-Improvement [128.77839625189023]
  本報告では,モデルインテリジェンスのフロンティアをRL計算のスケーリングによって推し進めるOmni-modalファミリであるMiMo-V2.6シリーズを紹介する。 我々はRL計算を3次元にスケールし、非同期トレーニングにより1,568個のサンプルと2.7-3.7Bトークンを最大1Mのコンテキスト長で消費する。 大規模なトレーニングを安定させるためには、MoEルータを凍結し、報酬ハッキングに対する多層防御を確立する。
  論文  参考訳（メタデータ） (2026-10-08T13:41:53Z)
• CoTrace: Data Recipes for Training Terminal Agents with Harness-Model Co-Evolution [68.76788820731048]
  CoTraceは、トラジェクトリルーティング、プロファイランスマッチング、リフレッシュを管理するハーネス対応のデータレシピである。 コンパクトなハーネス整合コーパスは、兄弟ハーネスにまたがるより大きなコーパスよりも、かなり低い計算で安定したモデルゲインを生成することを示す。
  論文  参考訳（メタデータ） (2026-10-07T17:06:59Z)
• HarnessBandit: Joint Learnability-Transferability Scheduling for Multi-Harness Agentic Reinforcement Learning [40.61476978001808]
  ステップ毎に1つのハーネスを選択するオンラインスケジューラであるHarnessBanditを開発した。 我々は、ClawGymで6つのハーネスでQwen3.5-2Bを訓練し、PinchBenchとClawEvalで評価する。
  論文  参考訳（メタデータ） (2026-09-12T06:22:45Z)
• ClawGym II: Exploring Black-Box RL on Agent Harness [82.92963070856416]
  エージェントハーネスは、エージェントと環境との相互作用を調整することで、長期タスクの性能を大幅に改善した。 複雑なハーネスによる汎用エージェントの安定かつスケーラブルな最適化のための統合ブラックボックスRLフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-08-17T16:53:03Z)
• Why Does Reinforcement Learning Generalize? A Feature-Level Mechanistic Study of Post-Training in Large Language Models [51.45122910254346]
  強化学習(RL)に基づくポストトレーニングは、トレーニングドメインを超えた大規模言語モデルの推論性能を改善することが多い。 Supervised Fine-tuning (SFT) はしばしば一般的な忘れる能力をもたらす。 制御された実験装置を用いてRL一般化を探索する特徴レベル力学解析手法を提案する。
  論文  参考訳（メタデータ） (2026-04-27T21:22:34Z)
• An Adaptive Placement and Parallelism Framework for Accelerating RLHF Training [11.749347656959822]
  2つの一般的なアジャイルモデル配置戦略を提供するフレキシブルなモデル配置フレームワークを提案する。 私たちのフレームワークは、さまざまなトレーニングシナリオにおいて、これらの戦略を簡単にかつ柔軟に設定するための、シンプルなユーザインターフェースとガイドラインを提供します。
  論文  参考訳（メタデータ） (2023-12-19T03:24:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。