論文の概要: HarnessBandit: Joint Learnability-Transferability Scheduling for Multi-Harness Agentic Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2609.13739v1
- Date: Sat, 12 Sep 2026 06:22:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 07:15:05.490483
- Title: HarnessBandit: Joint Learnability-Transferability Scheduling for Multi-Harness Agentic Reinforcement Learning
- Title（参考訳）: HarnessBandit:マルチハーネスエージェント強化学習のための共同学習可能性-変換可能性スケジューリング
- Abstract要約: ステップ毎に1つのハーネスを選択するオンラインスケジューラであるHarnessBanditを開発した。
我々は、ClawGymで6つのハーネスでQwen3.5-2Bを訓練し、PinchBenchとClawEvalで評価する。
- 参考スコア（独自算出の注目度）: 40.61476978001808
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Language-model agents are increasingly deployed through diverse harnesses that differ in system prompts, tool schemas, control loops, and trajectory formats. The same model can perform unevenly across these interfaces, making robustness to harness variation an important objective. A natural approach is to train a shared policy through multiple harnesses, but doing so introduces a scheduling problem: each training step should favor a harness that currently provides a useful learning signal while also producing an update that benefits the other harnesses. We develop HarnessBandit, an online scheduler that selects one harness per optimizer step. After a group-relative policy optimization (GRPO) update, it observes learnability -- the mean absolute advantage on the batch -- and transferability -- the cosine between a low-dimensional gradient sketch of the current harness and exponential moving averages of the remaining harnesses. The two signals are fused after pooled sliding-window min-max normalization and sampled with a visit-dependent bonus and an explicit exploration floor. We train Qwen3.5-2B across six harnesses on ClawGym and evaluate on PinchBench (held-out tasks, in-distribution OpenClaw) and ClawEval (held-out tasks and harness). HarnessBandit improves over mixed-batch multi-harness training on both benchmarks, while training diagnostics indicate that learnability and transferability provide distinct, evolving signals.
- Abstract（参考訳）: 言語モデルエージェントは,システムプロンプトやツールスキーマ,コントロールループ,トラジェクトリフォーマットなど,さまざまなハーネスを通じてデプロイされるようになっている。
同じモデルでも,これらのインターフェースに対して不均一に動作することが可能です。
自然なアプローチは、共有ポリシーを複数のハーネスを通じてトレーニングすることだが、それを行うとスケジューリングの問題が発生する。各トレーニングステップは、現在有用な学習信号を提供するハーネスを好んで、他のハーネスに恩恵をもたらすアップデートを生成するべきである。
最適化ステップ毎に1つのハーネスを選択するオンラインスケジューラであるHarnessBanditを開発した。
グループ相対ポリシー最適化(GRPO)の更新の後、現在のハーネスの低次元勾配スケッチと、残りのハーネスの指数的な移動平均との間のコサインである学習可能性(バッチにおける平均的なアドバンテージ)を観察する。
2つの信号は、プールされたスライドウインドウのmin-max正規化後に融合し、訪問依存ボーナスと明示的な探査フロアでサンプリングされる。
ClawGymの6つのハーネスでQwen3.5-2Bをトレーニングし、PinchBench(ヘルプアウトタスク、インディストリビューションOpenClaw)とClawEval(ホールアウトタスクとハーネス)を評価します。
HarnessBanditは、両方のベンチマークでの混合バッチマルチハーネストレーニングよりも改善する一方、トレーニング診断では、学習可能性と転送性は、別途進化する信号を提供することを示している。
関連論文リスト
- WHALE: A Simple Recipe for Joint Harness-Weight Optimization [48.550149284101536]
WHALE(Weight-Harness Alternating LEarning)は、2つのフェーズを切り替えるレシピである。
3つの領域にわたるQwen3.5-2B/4Bエージェント(質問応答、数学的推論、チェスパズル)を使用して、WHALEは重量のみ、ハーネスのみ、Fast-Slow Trainingの4.15-24.38ポイントを最高の平均@8の精度で上回る。
論文 参考訳（メタデータ） (2026-08-31T18:12:55Z) - Harness Continual Learning: Continual Adaptation Beyond Model Parameters [9.54786133734043]
我々は、凍結基盤モデルを中心にハーネスが進化する新しい連続学習パラダイムを定式化する。
候補者は、現在の改善、履歴保持、有効性を確認した後にのみハーネスをコミットする。
実験では、複数の設定で対応するベースラインに対して、相対的なゲインが10%を超える能力の蓄積と障害回復が示されている。
論文 参考訳（メタデータ） (2026-08-19T15:12:31Z) - Self-Evolving Embodied Agents via Skill-Harness Evolution [53.307052568223945]
身体的エージェントは、ファンデーションモデルを中心としたシステムとして、ますます構築されている。
教師付き微調整と強化学習はエージェントを新しい環境に適応させることができるが、追加のデータ、報酬、トレーニングの実行が必要である。
SHAPERは,モデルパラメータの凍結を保ちつつ,列車不要な態様適応のための自己進化型フレームワークである。
論文 参考訳（メタデータ） (2026-08-11T18:55:58Z) - Confusion-Geometry Rebalancing for Long-Tailed Adversarial Training [53.3522202888031]
長い尾の分布の下での敵の訓練は二重の不均衡に悩まされ、クラス不均衡はヘッドクラスに対する訓練目標を歪ませる。
そこで本研究では,有向なロバストな誤りを学習信号として活用するプラグインフレームワークである長尾逆行訓練のためのコンフュージョン幾何分散法(CGRm)を提案する。
論文 参考訳（メタデータ） (2026-08-10T14:54:00Z) - HarnessX: A Composable, Adaptive, and Evolvable Agent Harness Foundry [35.87794858139959]
HarnessXは、構成可能、適応可能、進化可能なエージェントハーネス用のファウンダリーである。
型付きハーネスプリミティブを置換代数学で組み立て、AIGISを介して適応する。
軌道をハーネス更新とモデルトレーニング信号の両方に変換することでハーネスモデルループを閉じる。
論文 参考訳（メタデータ） (2026-06-12T08:27:11Z) - HarnessBridge: Learnable Bidirectional Controller for LLM Agent Harness [80.53160974102161]
本稿では,エージェント環境インタフェースを双方向投影としてパラメータ化する軽量学習型ハーネスコントローラであるHarnessBridgeを紹介する。
Terminal-Bench2.0 と SWE-bench Verified では、HarnessBridge はトークンの使用量と軌道長を大幅に削減しながら、強力な特殊なハーネスと一致または超えている。
論文 参考訳（メタデータ） (2026-06-11T04:18:37Z) - ParetoSlider: Diffusion Models Post-Training for Continuous Reward Control [14.748861060405973]
強化学習(Reinforcement Learning, RL)のポストトレーニングは、生成モデルと人間の嗜好を整合させる標準となっている。
初期スカラー化の一般的な実践は、複数の基準が問題となるとき、報酬を固定重み付けの和に分解する。
これはトレーニング時に1つのトレードオフポイントにモデルをコミットし、本質的に矛盾する目標に対する推論時間制御を提供する。
論文 参考訳（メタデータ） (2026-04-22T17:44:56Z) - Learning Expected Emphatic Traces for Deep RL [32.984880782688535]
オフポリシーサンプリングと経験リプレイは、サンプル効率を改善し、モデルフリーの時間差学習手法をスケールするための鍵となる。
リプレイと組み合わせることができるマルチステップ強調重み付けと、必要な強調重み付けを学習するための時間反転TD学習アルゴリズムを開発する。
論文 参考訳（メタデータ） (2021-07-12T13:14:03Z) - Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。
我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
論文 参考訳（メタデータ） (2020-10-26T04:44:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。