論文の概要: From Pretraining to Proficiency: Real-World Subtask RL for Long-Horizon Manipulation with Minimal Human Intervention

• arxiv url: http://arxiv.org/abs/2609.21788v1
• Date: Fri, 18 Sep 2026 14:03:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-21 18:40:17.133502
• Title: From Pretraining to Proficiency: Real-World Subtask RL for Long-Horizon Manipulation with Minimal Human Intervention
• Title（参考訳）: プレトレーニングから習熟へ:最小限の人的介入による長距離マニピュレーションのための実世界サブタスクRL
• Abstract要約: 事前訓練されたロボットファンデーションポリシーは、長い水平タスクの大部分を実行するが、いくつかの重要なサブタスクで繰り返し失敗する可能性がある。 本稿では,人間の介入を最小限に抑えつつ,これらのボトルネックに実践を集中させる現実世界のサブタスクRLフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 6.892136887549818
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A pretrained robot foundation policy may execute most of a long-horizon task yet repeatedly fail at a few critical subtasks. Collecting additional full-task demonstrations for supervised fine-tuning (SFT) requires operators to repeat behaviors the policy already performs well. Reinforcement learning (RL) fine-tuning offers a promising path to bridge this gap, but existing approaches struggle to solve long-horizon tasks using only sparse rewards. We present PARTS (Policy Adaptation with RL on Targeted Subtasks), a real-world subtask RL framework that concentrates practice at these bottlenecks while allowing training rollouts to proceed with minimal human intervention. The frozen pretrained policy supplies nominal actions throughout execution, while agent-generated selectors and success verifiers activate residual corrections and provide local outcome rewards. These rewards support learning from successful subtasks even when complete-task successes are scarce. Training combines online RL with success-reweighted retraining, and each retrained residual policy is redeployed to collect further experience. Humans identify bottlenecks during setup and perform physical resets when needed. On bimanual YAM and single-arm Franka tasks, PARTS improves complete-task success from 32% to 61% and from 50% to 95%, respectively, using tens of minutes of real-world RL rollouts per task on average. Compared with existing real-world RL fine-tuning methods, PARTS raises full-task success by more than 25% under the same robot-rollout budget while requiring less human involvement.
• Abstract（参考訳）: 事前訓練されたロボットファンデーションポリシーは、長い水平タスクの大部分を実行するが、いくつかの重要なサブタスクで繰り返し失敗する可能性がある。 教師付き微調整(SFT)のための追加のフルタスクのデモを収集するには、オペレーターがすでにうまく機能している動作を繰り返す必要がある。 強化学習(RL)ファインチューニングは、このギャップを埋めるための有望な経路を提供するが、既存のアプローチは、スパース報酬のみを使用して長期タスクを解決するのに苦労している。 本稿では、これらのボトルネックに取り組み、トレーニングロールアウトを最小限の人的介入で進めることができる実世界のサブタスクRLフレームワークであるPartinS(Policy Adaptation with RL on Targeted Subtasks)を提案する。 凍結事前訓練されたポリシーは実行を通して名目上の行動を提供し、エージェント生成セレクタと成功検証器は残留補正を活性化し、局所的な結果報酬を提供する。 これらの報酬は、完全なタスクの成功が不足している場合でも、成功したサブタスクから学ぶことを支援する。 トレーニングは、オンラインRLと成功と再トレーニングを組み合わせたもので、各トレーニングされた残留ポリシーは、さらなる経験を集めるために再デプロイされる。 人間はセットアップ中にボトルネックを特定し、必要に応じて物理的リセットを行う。 双方向のYAMタスクとシングルアームのFrankaタスクでは、ParticleSはタスク毎の実際のRLロールアウトを数分間使用して、完全なタスクの成功を32%から61%、そして50%から95%に改善する。 既存の実世界のRLファインチューニング手法と比較すると、ParticleSは同じロボットロールアウト予算の下で全タスク成功率を25%以上引き上げ、人間の関与を少なくする。

関連論文リスト

• PAC: Progress-Augmented Advantage Curriculum for Multi-Task Reinforcement Learning of LLMs [7.858242304760954]
  LLMのマルチタスク強化学習のための進歩的アドバンテージカリキュラムを提案する。 これは、タスクが引き起こせるポリシー更新の規模を計測する利点に基づく学習性と、それらの更新がタスクのパフォーマンスを改善したかどうかを示す最近の報酬ゲインの2つのタスクレベル信号を組み合わせる。
  論文  参考訳（メタデータ） (2026-08-31T09:59:07Z)
• Foresight Residual RL for Long-Horizon Robot Manipulation with Vision-Language-Action Models [32.14222486099161]
  VLA(Vision-Language-Action)ポリシーは、強力な汎用的な操作先を提供するが、厳密で接触に富んだアセンブリでは失敗することが多い。 凍結VLA基本方針に対する残留強化学習において,この障害モードを示す。 本稿では,各サブタスクのスパース成功報酬をオフライン推定フォレスト値で加算することにより,ハンドオフ品質を最適化するResidual RLを提案する。
  論文  参考訳（メタデータ） (2026-07-17T21:00:28Z)
• Learning Process Rewards via Success Visitation Matching for Efficient RL [54.67547527674048]
  本稿では,スパース結果報酬を高密度プロセス報酬に変換するための簡単な手法を提案する。 我々のアプローチは、以前の成功と失敗のエピソードを区別するために差別者を訓練することに依存しています。 この報酬は、タスクの成功に対応するものだけでなく、すべての州への訪問に対応するポリシーをインセンティブにすることで、タスク完了に向けた進捗が進められているかどうかについての深いフィードバックを提供する。
  論文  参考訳（メタデータ） (2026-06-22T17:30:24Z)
• EXPO-FT: Sample-Efficient Reinforcement Learning Finetuning for Vision-Language-Action Models [84.73890225707264]
  提案するEXPO-FTは,事前学習したVLAポリシーの安定かつサンプル効率の良いRL微調整システムである。 本システムは,オンラインロボットデータの平均19.1分以内の全ての評価課題に対して,完全なタスク性能(30/30の成功)を実現する。 我々は、ロボット工学におけるVLAモデルのより広範なRLファインタニング導入を促進することを目的とした、オープンソースのロバスト性をリリースする。
  論文  参考訳（メタデータ） (2026-05-25T06:31:03Z)
• Residual Off-Policy RL for Finetuning Behavior Cloning Policies [41.99435186991878]
  本稿では,行動クローニング(BC)と強化学習(RL)の利点を組み合わせたレシピを提案する。 提案手法は疎二元報酬信号のみを必要とするため,高次自由度(DoF)システムの操作ポリシーを効果的に改善することができる。 特に、私たちの知る限りでは、人型ロボットによる実世界初のRLトレーニングが成功しました。
  論文  参考訳（メタデータ） (2025-09-23T17:59:46Z)
• Agentic Reinforcement Learning with Implicit Step Rewards [92.26560379363492]
  大規模言語モデル (LLMs) は強化学習 (agentic RL) を用いた自律的エージェントとして発展している。 我々は,標準RLアルゴリズムとシームレスに統合された一般的なクレジット割り当て戦略であるエージェントRL(iStar)について,暗黙的なステップ報酬を導入する。 我々は,WebShopとVisualSokobanを含む3つのエージェントベンチマークと,SOTOPIAにおける検証不可能な報酬とのオープンなソーシャルインタラクションについて評価した。
  論文  参考訳（メタデータ） (2025-09-23T16:15:42Z)
• Bigger, Regularized, Categorical: High-Capacity Value Functions are Efficient Multi-Task Learners [60.75160178669076]
  オンライン強化学習におけるタスク干渉の問題に対して,クロスエントロピーを用いて訓練し,学習可能なタスク埋め込みを条件とした高容量値モデルの使用が課題であることを示す。 280以上のユニークなタスクを持つ7つのマルチタスクベンチマークで、高い自由度ヒューマノイド制御と離散視覚ベースのRLにまたがるアプローチを検証した。
  論文  参考訳（メタデータ） (2025-05-29T06:41:45Z)
• SPA-RL: Reinforcing LLM Agents via Stepwise Progress Attribution [9.181156720071547]
  強化学習は、複雑な目標志向のタスクを扱うためのトレーニングエージェントの約束である。 フィードバック信号は通常、タスク全体が完了した後でのみ利用可能である。 我々は、最終報酬を段階的な貢献に分解するステップワイドプログレス属性を提案する。
  論文  参考訳（メタデータ） (2025-05-27T05:21:04Z)
• Persistent Reinforcement Learning via Subgoal Curricula [114.83989499740193]
  VaPRL(Value-accelerated Persistent Reinforcement Learning)は、初期状態のカリキュラムを生成する。 VaPRLは、エピソード強化学習と比較して、3桁の精度で必要な介入を減らす。
  論文  参考訳（メタデータ） (2021-07-27T16:39:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。