論文の概要: RLHarness: Co-evolving Procedural Skills with Reinforcement Learning for Long-horizon Multimodal Reasoning
- arxiv url: http://arxiv.org/abs/2609.32326v1
- Date: Sat, 26 Sep 2026 07:42:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-07 17:46:12.528847
- Title: RLHarness: Co-evolving Procedural Skills with Reinforcement Learning for Long-horizon Multimodal Reasoning
- Title（参考訳）: RLHarness:長期マルチモーダル推論のための強化学習と手続きスキルの融合
- Abstract要約: RLHARNESSは、スキル、選択および実行プロトコル、数発のデモ、タスクコントラクトを統一されたバージョン管理されたHarnessにまとめる。
探索蒸留ハーネス(Exploration-Distillation Harness)は、初期ハーネスとSFTとDAPO Iの検証されたトレースを構築する。
最初のRLブロックの後、ポストRLレコンストラクション・ハーネスは、新しい成功と失敗のロールアウトからスキル、プロトコル、デモを再構築し、DAPO IIは再建されたプログラムにポリシーを適用する。
- 参考スコア（独自算出の注目度）: 23.391937321079578
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multimodal reasoning requires models to preserve visual evidence through long decision chains while selecting appropriate procedures across diverse scenarios and rules. When learning is guided only by terminal verifiers, reinforcement learning (RL) reveals whether a final answer is correct but not how it should be produced. The policy must therefore discover reusable reasoning procedures while learning to execute them, creating a program cold-start problem. Skills can externalize successful procedures, reduce repeated exploration, and provide inspectable guidance. However, a fixed Skill Bank assumes that this guidance remains compatible with an evolving policy, while updating Skills alone can leave their triggers, execution protocols, and demonstrations stale or mutually inconsistent. We introduce RLHARNESS, which organizes Skills, selection and execution protocols, few-shot demonstrations, and task contracts into a unified, versioned Harness and alternates Harness evolution with policy learning. An Exploration-Distillation Harness builds the initial Harness and version-aligned verified traces for SFT and DAPO I. After the first RL block, a Post-RL Reconstruction Harness rebuilds Skills, protocols, and demonstrations from fresh success-failure rollouts, and DAPO II adapts the policy to the reconstructed program. RLHARNESS improves Accuracy from 16.25%/27.50% to 62.00%/50.00% on MetroMap/TravelMap and raises F1 score from 37.13%/45.50% to 65.81%/65.51% on Fee-VL/Cancel-VL. All four tasks achieve their best results only after reconstruction and DAPO II, showing that an evolving Harness complements RL by continually updating the external program that the policy learns to execute.
- Abstract（参考訳）: マルチモーダル推論は、様々なシナリオやルールにまたがる適切な手続きを選択しながら、長い決定連鎖を通じて視覚的証拠を保存するモデルを必要とする。
学習が終端検証器でのみガイドされると、強化学習(RL)は最終回答が正しいか、どうやって生成すべきかを明らかにする。
したがって、ポリシーは再利用可能な推論手順を学習中に発見し、プログラムのコールドスタート問題を生成する必要がある。
スキルは、成功手順の外部化、反復探索の削減、検査可能なガイダンスを提供する。
しかし、固定されたスキルバンクは、このガイダンスが進化するポリシーと相容れないと仮定し、一方でスキルを更新するだけで、トリガーや実行プロトコル、デモが停滞し、相互に矛盾する可能性があると仮定する。
RLHARNESSは、スキル、選択および実行プロトコル、数発のデモ、タスクコントラクトを統一されたバージョン付きHarnessに編成し、ポリシー学習とHarnessの進化を交換する。
最初のRLブロックの後、ポストRL再構成ハーネスは、新しい成功と失敗のロールアウトからスキル、プロトコル、デモを再構築し、DAPO IIは、再構成されたプログラムにポリシーを適用する。
RLHARNESSは、MetroMap/TravelMapで16.25%/27.50%から62.00%/50.00%に改善し、F1スコアを37.13%/45.50%からFee-VL/Cancel-VLで65.81%/65.51%に引き上げている。
これら4つのタスクは、再構築とDAPO II後にのみ最高の結果が得られ、進化するHarnessは、ポリシーが実行するために学習する外部プログラムを継続的に更新することによって、RLを補完することを示している。
関連論文リスト
- Shockingly Simple Self-retrospection Improves Agentic Models Without RL [56.88703385147974]
本研究は,説明のみの訓練がその後の行動に与える影響を分離するために,レトロスペクティブ・オンリー・ファインチューニングについて検討する。
Qwen3.5-4B を用いたソフトウェア工学実験では、ROFT は成功と失敗の混合したベースモデルの試行に関する問題で訓練されている。
また、64のサンプルベースモデル試みが失敗する個々のタスクの解決も学べる。
論文 参考訳（メタデータ） (2026-09-28T17:54:24Z) - V-Gym: Enhancing Agentic Visual Reasoning via Skill-Data Co-Evolution [68.43599428916389]
V-Gymは、手続き的なスキルと実行軌跡からのマルチモーダルな実践データを反復的に進化させる、自律的なフレームワークである。
スキル進化の過程で、V-Gymは軌道を分析して階層的なスキルを蒸留し、洗練し、手続き的なガイダンスと適用性条件を更新する。
結果として得られた実践結果は、その後のスキル更新にフィードバックされ、継続的なスキル改善のループを閉じます。
論文 参考訳（メタデータ） (2026-09-28T09:09:24Z) - Demonstration-Free Success-Probability Reward Learning for Generalist Robot Policies [25.67759482241777]
強化学習(Reinforcement Learning, RL)は、一般的なロボットポリシーをトライアルとエラーのインタラクションによって改善する。
既存の汎用報酬モデルでは、専門家のデモンストレーションからタスクの進捗を学習することでこの問題を軽減するのが一般的である。
本稿では,疎タスク結果と政策経験から直接,報酬フィードバックを学習できる,実証自由報酬学習パラダイムを導入する。
論文 参考訳（メタデータ） (2026-09-27T15:18:38Z) - SCOPE-RL: Optimizing Reasoning Paths Before and After Success [15.079558450636592]
SCOPE-RLは、検証可能な報酬を伴う強化学習のフレームワークである。
結果のみのGRPOよりも平均精度を最大11.2pp向上させる。
結果のみのGRPOよりも、推論トークンを最大27.1%削減する。
論文 参考訳（メタデータ） (2026-07-13T12:56:28Z) - ReSkill: Reconciling Skill Creation with Policy Optimization in Agentic RL [24.65745354725497]
本稿では,RL-in-the-loopスキル作成フレームワークであるReSkillを紹介する。
ReSkillはGRPOの群構造を利用して、3つのメカニズムを埋め込む。
いくつかのドメインで、ReSkillは既存のメモリとスキルベースのRLメソッドを一貫して上回っている。
論文 参考訳（メタデータ） (2026-06-01T03:12:05Z) - Skill-R1: Agent Skill Evolution via Reinforcement Learning [84.35984979949502]
Skill-R1は、検証可能な報酬からインスタンスレベルの繰り返しスキル最適化のための強化学習フレームワークである。
オープンソースモデルとクローズドソースモデルの両方とのブラックボックス互換性を維持しつつ、モデルレベルの更新よりも大幅に安価に適応できる。
論文 参考訳（メタデータ） (2026-05-10T06:19:15Z) - Context Bootstrapped Reinforcement Learning [51.213972559315486]
Reinforcement Learning from Verifiable Rewards (RLVR) は、探索の非効率さに悩まされている。
我々は,数発のデモをトレーニングプロンプトに先立ってRLVRトレーニングを増強するContextped Bootstrapped Reinforcement Learning (CBRL)を提案する。
CBRLは、成功率を一貫して改善し、探索効率を向上し、アルゴリズムに依存しない。
論文 参考訳（メタデータ） (2026-03-19T14:23:59Z) - Replay Failures as Successes: Sample-Efficient Reinforcement Learning for Instruction Following [42.05102776289243]
強化学習(RL)は、様々な制約で命令に従うために、LLM(Large Language Models)を調整することを約束している。
タスク追従のための新しいサンプル効率のRLフレームワークであるHindsight instruction Replay (HiR)を提案する。
論文 参考訳（メタデータ） (2025-12-29T13:31:08Z) - Train for Truth, Keep the Skills: Binary Retrieval-Augmented Reward Mitigates Hallucinations [103.16279860448874]
新たな二分探索強化報酬(RAR)を用いたオンライン強化学習手法を提案する。
オープンエンド世代では、バイナリRARは幻覚率を39.3%減少させる。
短い形式の質問応答では、モデルは、パラメトリック知識の不足に直面した時に、戦略的に"I don't know"を出力して、控えめに学習する。
論文 参考訳（メタデータ） (2025-10-20T16:45:43Z) - RL Grokking Recipe: How Does RL Unlock and Transfer New Algorithms in LLMs? [92.4931695205957]
DELTA-Codeは、学習可能性と伝達可能性という2つの基本的な側面を探索するために設計された、合成符号問題ファミリーのベンチマークである。
実験の結果, ほぼゼロ報酬の期間が延長された後, RL訓練モデルが突然, ほぼ完全な精度に上昇した。
従来未解決であった問題ファミリの学習性を確保するため,深い報酬を伴うウォームアップ,経験リプレイ,カリキュラムトレーニング,ループ内検証などの重要なトレーニング項目を探索する。
論文 参考訳（メタデータ） (2025-09-25T11:20:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。