論文の概要: ModHarness-RL: Recasting Harnesses as Learnable and Evolving Programs for Agentic RL
- arxiv url: http://arxiv.org/abs/2611.18533v1
- Date: Fri, 13 Nov 2026 18:45:49 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-16 19:21:50.868695
- Title: ModHarness-RL: Recasting Harnesses as Learnable and Evolving Programs for Agentic RL
- Title(参考訳): ModHarness-RL: エージェントRLの学習・進化プログラムとしてのハーネスの再放送
- Abstract要約: ModHarness-RLは、データから学習し、RLで訓練するモデルとして進化するプログラムとしてハーネスを再キャストする。
ModHarness-RLは、その相互作用を構造化状態として記録し、型付きブロックのセットとハーネスの2つのコアコンポーネントは、これらのブロック上のプログラムである。
RLトレーニング中、候補プログラムは最近の軌道から提案され、実行によって検証され、過去の軌道上で再生される。
- 参考スコア(独自算出の注目度): 28.45776083312819
- License:
- Abstract: Agentic reinforcement learning (RL) increasingly relies on a harness, the scaffold around the model that decides what it sees of its own interaction and what guidance it receives. Most existing approaches train under a hand-written harness that stays fixed throughout. However, an effective harness depends on the domain, the data and the model, and keeps changing as the model trains. We introduce ModHarness-RL, which recasts the harness as programs that are learned from data and evolve as the model trains with RL. ModHarness-RL records the interaction as structured State, a set of typed blocks, and two core components of the harness are programs over these blocks, a Compression program that assembles the accumulated history into the model's context and a Steering program that supplies guidance when behavior deviates. During RL training, candidate programs are proposed from recent trajectories, verified by execution, and replayed over past trajectories, so the harness tracks how the model's behavior shifts. We study CodeSearch in depth and further analyze ALFWorld and BIRD SQL, with models from 1.5B to 8B. The proposed Compression and Steering mechanisms improve held-out performance over the fixed-harness baseline in most settings. These results suggest that a harness for agentic RL can be learned from the task's data and evolved with the model.
- Abstract(参考訳): エージェント強化学習(RL)は、ハーネスや、モデルを取り巻く足場にますます依存している。
既存のアプローチのほとんどは、手書きのハーネスの下でトレーニングされ、全期間固定されている。
しかし、効果的なハーネスは、ドメイン、データ、モデルに依存し、モデルが訓練するにつれて変化し続ける。
ModHarness-RLは、データから学習し、RLで訓練するモデルとして進化するプログラムとしてハーネスを再キャストする。
ModHarness-RLは、相互作用を構造化状態として記録し、型付きブロックのセットとハーネスの2つのコアコンポーネントは、これらのブロック上のプログラムであり、蓄積した履歴をモデルのコンテキストに組み立てる圧縮プログラムと、振る舞いがずれた時にガイダンスを提供するステアリングプログラムである。
RLトレーニング中、候補プログラムは最近の軌道から提案され、実行によって検証され、過去の軌道上で再生される。
CodeSearchを深く研究し、ALFWorldとBIRD SQLを1.5Bから8Bのモデルで分析する。
提案した圧縮・ステアリング機構は、ほとんどの設定において固定ハーネスベースライン上でのホールドアウト性能を改善する。
これらの結果は,エージェントRLのハーネスをタスクのデータから学習し,モデルを用いて進化させることを示唆している。
関連論文リスト
- Harness Scaling for Generalizable Agentic Reinforcement Learning [81.62188508157902]
この研究は、ハーネススケーリングをエージェントRLの別のスケーリング次元として研究する。
我々は、因数化ハーネス空間を構築し、バランスの取れた因数的カバレッジを持つコンパクトなトレーニングサブセットを選択し、局所性を考慮したタスク割り当てを通じて、クロスハーネストレーニングを組織する。
その結果、ハーネスの多様性はエージェントRLの有意義なスケーリング次元として確立され、この多様性がクロスハーネスの一般化のためにどのように組織されるかの重要性を強調した。
論文 参考訳(メタデータ) (2026-10-21T09:15:50Z) - CoTrace: Data Recipes for Training Terminal Agents with Harness-Model Co-Evolution [68.76788820731048]
CoTraceは、トラジェクトリルーティング、プロファイランスマッチング、リフレッシュを管理するハーネス対応のデータレシピである。
コンパクトなハーネス整合コーパスは、兄弟ハーネスにまたがるより大きなコーパスよりも、かなり低い計算で安定したモデルゲインを生成することを示す。
論文 参考訳(メタデータ) (2026-10-07T17:06:59Z) - HarnessBandit: Joint Learnability-Transferability Scheduling for Multi-Harness Agentic Reinforcement Learning [40.61476978001808]
ステップ毎に1つのハーネスを選択するオンラインスケジューラであるHarnessBanditを開発した。
我々は、ClawGymで6つのハーネスでQwen3.5-2Bを訓練し、PinchBenchとClawEvalで評価する。
論文 参考訳(メタデータ) (2026-09-12T06:22:45Z) - HELIX: Model-Harness Co-evolution for Recursive Self-Improvement [8.484282837156933]
我々は,HELIXを資源追跡可能なHELIX基板として提案する。
提案手法は,現在の能力向上と,次のモデルに対する学習信号の生成方法を示す。
論文 参考訳(メタデータ) (2026-08-14T04:44:53Z) - Co-Harness: Co-Evolving Harnesses and Model Weights for LLM Agents [37.91666123749406]
Co-Harnessは、ポストトレーニング中にエージェントハーネスとモデルパラメータを共同で最適化するフレームワークである。
自律的なケーススタディによると、Co-Harnessはシステムのクラッシュから回復し、推論効率を改善し、人間の介入なしにアンサンブル戦略を発見することができる。
論文 参考訳(メタデータ) (2026-07-17T02:39:57Z) - HarnessX: A Composable, Adaptive, and Evolvable Agent Harness Foundry [35.87794858139959]
HarnessXは、構成可能、適応可能、進化可能なエージェントハーネス用のファウンダリーである。
型付きハーネスプリミティブを置換代数学で組み立て、AIGISを介して適応する。
軌道をハーネス更新とモデルトレーニング信号の両方に変換することでハーネスモデルループを閉じる。
論文 参考訳(メタデータ) (2026-06-12T08:27:11Z) - Echo Chamber: RL Post-training Amplifies Behaviors Learned in Pretraining [74.83412846804977]
強化学習(RL)に基づく微調整は、訓練後の言語モデルにおいて重要なステップとなっている。
数理推論のためのRLファインタニングを、スクラッチから完全にトレーニングモデルを用いて体系的にエンドツーエンドに研究する。
論文 参考訳(メタデータ) (2025-04-10T17:15:53Z) - Provably Efficient Online RLHF with One-Pass Reward Modeling [70.82499103200402]
人間のフィードバックからの強化学習は、大規模言語モデルと人間の好みを合わせることに顕著な成功を収めた。
オンラインRLHFは有望な方向性として現れ、反復的なデータ収集と改善を可能にしている。
本稿では,過去のデータを保存する必要をなくし,反復毎に一定時間更新を行うワンパス報酬モデリング手法を提案する。
論文 参考訳(メタデータ) (2025-02-11T02:36:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。