論文の概要: HarnessRL: Co-Evolving Policies with a Just-in-Time Training Harness for Open-Ended RL

• arxiv url: http://arxiv.org/abs/2610.26426v1
• Date: Mon, 19 Oct 2026 13:53:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 17:44:53.384487
• Title: HarnessRL: Co-Evolving Policies with a Just-in-Time Training Harness for Open-Ended RL
• Title（参考訳）: HarnessRL: オープンエンディングRLのためのジャストインタイムトレーニングハーネスを持つ共進化型ポリシー
• Abstract要約: ミスマッチに基づく強化学習は、自然言語基準による政策を報酬としますが、トレーニングが進むにつれて、これらの報酬は効果がありません。 HarnessRLは,タスクサンプリング,ロールアウトガイダンス,基準の3つのインターフェースを通じて,ポリシーと共進化するトレーニングタイムハーネスである。 RL-Mix-10kでは、ハーネスRLは4Bモデルと9Bモデルの両方で2.8から3.1ポイントで最強のベースラインを上回っている。
• 参考スコア（独自算出の注目度）: 92.02913442949664
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Rubric-based reinforcement learning (RL) trains policies for open-ended generation with natural-language criteria as rewards, but these rewards can become ineffective as training progresses. We identify two failure modes. Under non-discriminative rewards, scores collapse to uniformly low or high values due to insufficient exploration or a mismatch between task difficulty and policy capability. Under spurious rewards, higher scores do not correspond to better responses. Both reflect a training configuration whose task sampling, exploration, and evaluation stay fixed as the policy evolves. We introduce HarnessRL, a training-time harness that co-evolves with the policy through three interfaces for task sampling, rollout guidance, and rubric criteria. HarnessRL maintains a training-time memory from which a harness evolver retrieves within-task history and cross-task evidence. Using this evidence, the evolver attributes each reward failure to the interface whose update can address it. It then runs a proposer and just-in-time critic loop in which the critic accepts a candidate update only after measuring its effect on the current frozen policy, returning rejected candidates for revision. We also curate Rubric-Mix-10k, a five-domain training and evaluation suite for open-ended RL across medical, science, writing, role-play, and instruction-following tasks. On Rubric-Mix-10k, HarnessRL outperforms the strongest baselines by 2.8 to 3.1 points across both 4B and 9B model scales and nearly halves the training steps to its best checkpoint. Code and data are available at https://github.com/Tongyi-ConvAI/Qwen-Character/tree/main/HarnessRL.
• Abstract（参考訳）: ルーブリックベース強化学習(RL)は、自然言語基準を報奨として、オープンエンド世代のための政策を訓練するが、これらの報酬は訓練が進むにつれて効果が低下する可能性がある。 2つの障害モードを特定します。 非差別的な報酬の下では、調査不足や課題難易度と政策能力のミスマッチにより、スコアは均一に低い値または高い値に崩壊する。 刺激的な報酬の下では、より高いスコアはより良い応答に対応しない。 どちらも、ポリシーが進化するにつれて、タスクサンプリング、探索、評価が固定されたトレーニング構成を反映します。 HarnessRLは,タスクサンプリング,ロールアウトガイダンス,ルーリック基準の3つのインターフェースを通じて,ポリシーと共進化するトレーニングタイムハーネスである。 HarnessRLは、ハーネス進化器がタスク内履歴とタスク間証拠を検索するトレーニングタイムメモリを維持している。 このエビデンスを使用して、進化型は各報酬失敗に対処可能なインターフェースを割り当てる。 その後、プロジェクタとジャスト・イン・タイムの批評家ループを実行し、批判者は現在の凍結政策への影響を計測した後にのみ候補更新を受け取り、拒否された候補をリビジョンに返却する。 また、医学、科学、執筆、ロールプレイ、指示追従といった5分野のRLのトレーニングと評価スイートであるRubric-Mix-10kをキュレートする。 Rubric-Mix-10kでは、HarnessRLは4Bと9Bの両方のモデルスケールで2.8から3.1ポイントで最強のベースラインを上回り、トレーニングステップを最良チェックポイントにほぼ半減させた。 コードとデータはhttps://github.com/Tongyi-ConvAI/Qwen-Character/tree/main/HarnessRLで公開されている。

関連論文リスト

• Probe with Participation Trophies: Random-Reward RL as a Probe of LLM Capability [35.21139712236725]
  ランダムな報酬であっても、大きな言語モデルの性能を向上させることができることを示す。 我々の結果は異なる見方を動機付けており、スプリアス・リワード RL はモデルの到達可能性を調べることができる。
  論文  参考訳（メタデータ） (2026-10-01T05:05:29Z)
• RLHarness: Co-evolving Procedural Skills with Reinforcement Learning for Long-horizon Multimodal Reasoning [23.391937321079578]
  RLHARNESSは、スキル、選択および実行プロトコル、数発のデモ、タスクコントラクトを統一されたバージョン管理されたHarnessにまとめる。 探索蒸留ハーネス(Exploration-Distillation Harness)は、初期ハーネスとSFTとDAPO Iの検証されたトレースを構築する。 最初のRLブロックの後、ポストRLレコンストラクション・ハーネスは、新しい成功と失敗のロールアウトからスキル、プロトコル、デモを再構築し、DAPO IIは再建されたプログラムにポリシーを適用する。
  論文  参考訳（メタデータ） (2026-09-26T07:42:16Z)
• Co-RL: Unsupervised Reasoning Emerges from Diverse Cohort in Multi-agent RL [55.05743310621117]
  Co-RLは、パラメータを共有しない複数の分離されたモデルを、仲間から派生した報酬を使ってRLを通じて同時に最適化するフレームワークである。 我々は,コホート多様性の増大が,自己強化フィードバックループを駆動する相関誤差を減少させることを示す。
  論文  参考訳（メタデータ） (2026-08-18T01:16:02Z)
• Learning Process Rewards via Success Visitation Matching for Efficient RL [54.67547527674048]
  本稿では,スパース結果報酬を高密度プロセス報酬に変換するための簡単な手法を提案する。 我々のアプローチは、以前の成功と失敗のエピソードを区別するために差別者を訓練することに依存しています。 この報酬は、タスクの成功に対応するものだけでなく、すべての州への訪問に対応するポリシーをインセンティブにすることで、タスク完了に向けた進捗が進められているかどうかについての深いフィードバックを提供する。
  論文  参考訳（メタデータ） (2026-06-22T17:30:24Z)
• Train for Truth, Keep the Skills: Binary Retrieval-Augmented Reward Mitigates Hallucinations [103.16279860448874]
  新たな二分探索強化報酬(RAR)を用いたオンライン強化学習手法を提案する。 オープンエンド世代では、バイナリRARは幻覚率を39.3%減少させる。 短い形式の質問応答では、モデルは、パラメトリック知識の不足に直面した時に、戦略的に"I don't know"を出力して、控えめに学習する。
  論文  参考訳（メタデータ） (2025-10-20T16:45:43Z)
• SR-Reward: Taking The Path More Traveled [8.818066308133108]
  オフラインでのデモンストレーションから報酬関数を直接学習する新しい手法を提案する。 従来の逆強化学習(IRL)とは異なり,本手法は学習者の方針から報酬関数を分離する。 textitSR-Rewardと呼ばれる我々の報酬関数は、後継表現(SR)を利用して、実証ポリシーと遷移ダイナミクスの下で期待される将来の状態の訪問に基づいて状態をエンコードする。
  論文  参考訳（メタデータ） (2025-01-04T16:21:10Z)
• Simplifying Deep Reinforcement Learning via Self-Supervision [51.2400839966489]
  自己改善強化学習(Self-Supervised Reinforcement Learning, SSRL)は、純粋に監督された損失を伴うポリシーを最適化する単純なアルゴリズムである。 SSRLは、より安定した性能と実行時間の少ない現代アルゴリズムと驚くほど競合することを示す。
  論文  参考訳（メタデータ） (2021-06-10T06:29:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。