論文の概要: Res-HIL: Human-Guided Residual Reinforcement Learning for Sample-Efficient Dexterous Manipulation

• arxiv url: http://arxiv.org/abs/2609.30023v1
• Date: Thu, 24 Sep 2026 16:00:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 21:10:10.071473
• Title: Res-HIL: Human-Guided Residual Reinforcement Learning for Sample-Efficient Dexterous Manipulation
• Title（参考訳）: Res-HIL: サンプル効率の良いデキスタラスマニピュレーションのためのヒューマンガイド型残留補強学習
• Abstract要約: 模倣学習は、ロボットがデモンストレーションから操作スキルを習得することを可能にするが、結果として得られるポリシーはトレーニングデータの外で失敗する可能性がある。 Res-HIL(Res-The-loop Regressed Learning framework)は、凍結した模倣ポリシーに基づいて修正動作を学ぶ。 我々はRes-HILを高精度かつ長時間の動作にまたがる5つのコンタクトリッチな操作タスクに対して評価する。
• 参考スコア（独自算出の注目度）: 1.6973613860495644
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Imitation learning enables robots to acquire manipulation skills from demonstrations, but the resulting policies can fail outside the training data, while collecting more demonstrations requires substantial human effort. Human-in-the-loop reinforcement learning uses corrective feedback during online training, but typically learns the complete task policy rather than refining a pretrained imitation policy. We introduce Res-HIL, a human-in-the-loop residual reinforcement learning framework that learns corrective actions on top of a frozen imitation policy. Each human intervention provides two complementary learning signals: direct supervision of the residual policy and reward shaping of preceding autonomous behavior. Res-HIL combines these signals with zero initialization of the residual policy to stabilize and accelerate online learning. We evaluate Res-HIL on five contact-rich manipulation tasks spanning high-precision and long-horizon behaviors. With only 20 initial demonstrations, Res-HIL outperforms state-of-the-art full-policy human-in-the-loop reinforcement learning and residual fine-tuning without human guidance on every task after ten minutes of online training. Res-HIL improves its pretrained base policies and outperforms imitation policies trained with five times more demonstrations. An ablation study shows that direct residual supervision is critical to performance, while intervention-aware reward shaping substantially improves training efficiency.
• Abstract（参考訳）: 模倣学習により、ロボットはデモンストレーションから操作スキルを取得することができるが、その結果のポリシーはトレーニングデータの外で失敗する可能性がある。 ヒューマン・イン・ザ・ループ(Human-in-the-loop)強化学習(Human-in-the-loop reinforcement learning)は、オンライントレーニング中に修正フィードバックを使用するが、通常、事前訓練された模倣ポリシーを書き換えるのではなく、完全なタスクポリシーを学ぶ。 Res-HIL(Res-The-loop Regressed Learning framework)は、凍結した模倣ポリシーに基づいて修正動作を学ぶ。 人間の介入は2つの補完的な学習信号を提供する: 残留政策の直接監督と、先行する自律行動の報酬形成である。 Res-HILはこれらの信号と残留ポリシーの初期化を組み合わせ、オンライン学習を安定させ、加速する。 我々はRes-HILを高精度かつ長時間の動作にまたがる5つのコンタクトリッチな操作タスクに対して評価する。 最初のデモはわずか20回で、Res-HILは10分間のオンライントレーニングの後、人間の指導なしに、最先端のフルポリティ・イン・ザ・ループ(Human-in-the-loop)の強化学習と残留した微調整を上回ります。 Res-HILは、事前訓練されたベースポリシーを改善し、5倍のデモでトレーニングされた模倣ポリシーを上回ります。 アブレーション研究は、直接的残留監督がパフォーマンスに重要なことを示し、介入認識報酬形成はトレーニング効率を大幅に向上させる。

関連論文リスト

• Stable and Efficient Real-World Online VLA Post-Training via Asynchronous Replay-Anchored Policy Improvement [60.83624556700821]
  本稿では,リプレイ動作における批評家とアクターの更新の両方を基盤として,ロールアウトと学習を同時に行うフレームワークを提案する。 RAPolicyを4つのシングルタスク設定と1つのジョイント5タスク設定で実世界で評価し,オンライントレーニングの予算は1～2時間に過ぎなかった。
  論文  参考訳（メタデータ） (2026-09-19T08:45:18Z)
• OHP-RL: Online Human Preference as Guidance in Reinforcement Learning for Robot Manipulation [16.28822074948203]
  Online Human Preference as Guidance in Reinforcement Learning (OHP-RL) は、政策学習の指針となる選好情報として人間の介入を利用するフレームワークである。 OHP-RLは、強い成功率、より高速な収束、そして従来のアプローチよりもはるかに低い人間の介入努力を一貫して達成する。
  論文  参考訳（メタデータ） (2026-05-15T14:02:34Z)
• On-the-Fly VLA Adaptation via Test-Time Reinforcement Learning [61.38273866396522]
  ビジョン・ランゲージ・アクションモデルが汎用ロボット学習の強力なパラダイムとして登場した。 現在の手法は、シミュレーションや物理世界の展開に挑戦するには相変わらず適していない。 本稿では,VLA フレームワークのテスト時間強化学習について紹介する。
  論文  参考訳（メタデータ） (2026-01-11T01:51:30Z)
• EVOLVE-VLA: Test-Time Training from Environment Feedback for Vision-Language-Action Models [57.75717492488268]
  VLA(Vision-Language-Action)モデルは、大きな言語モデルを活用することで高度なロボット操作を行う。 Supervised Finetuning (SFT) では、タスク毎の数百のデモ、厳格に軌跡を記憶すること、デプロイメント条件がトレーニングから逸脱したときに適応できないことなどが求められている。 EVOLVE-VLA(EVOLVE-VLA)は、VLAが最小またはゼロのタスク固有のデモで環境相互作用を通じて継続的に適応できるテストタイムトレーニングフレームワークである。
  論文  参考訳（メタデータ） (2025-12-16T18:26:38Z)
• Human-in-the-loop Online Rejection Sampling for Robotic Manipulation [55.99788088622936]
  Hi-ORSは、オンライン微調整中に負の報酬を得たサンプルをフィルタリングすることで、値推定を安定化する。 Hi-ORSは、わずか1.5時間でコンタクトリッチな操作をマスターするためのpiベースのポリシーを微調整する。
  論文  参考訳（メタデータ） (2025-10-30T11:53:08Z)
• GUIDE: Real-Time Human-Shaped Agents [4.676987516944155]
  リアルタイム強化学習のためのGUIDEを紹介した。 人間のフィードバックが10分しかなく、我々のアルゴリズムはRLベースラインと比較して最大30%の成功率を達成できる。
  論文  参考訳（メタデータ） (2024-10-19T18:59:39Z)
• Accelerating Self-Imitation Learning from Demonstrations via Policy Constraints and Q-Ensemble [6.861783783234304]
  本稿では,A-SILfDという実演法から学ぶことを提案する。 A-SILfDは専門家のデモンストレーションをエージェントの成功経験として扱い、政策改善を制約するために経験を使用する。 4つのMujoco連続制御タスクにおいて、A-SILfDはオンライントレーニングの15万ステップの後に、ベースラインメソッドを大幅に上回ることができる。
  論文  参考訳（メタデータ） (2022-12-07T10:29:13Z)
• Minimizing Human Assistance: Augmenting a Single Demonstration for Deep Reinforcement Learning [0.0]
  簡単なバーチャルリアリティーシミュレーションによって収集された1つの人間の例を用いて、RLトレーニングを支援する。 提案手法は,人間的なデモを多数生成するために,1つのデモを増強する。 人間の例から学ぶにもかかわらず、エージェントは人間レベルのパフォーマンスに制約されない。
  論文  参考訳（メタデータ） (2022-09-22T19:04:43Z)
• Persistent Reinforcement Learning via Subgoal Curricula [114.83989499740193]
  VaPRL(Value-accelerated Persistent Reinforcement Learning)は、初期状態のカリキュラムを生成する。 VaPRLは、エピソード強化学習と比較して、3桁の精度で必要な介入を減らす。
  論文  参考訳（メタデータ） (2021-07-27T16:39:45Z)
• Simplifying Deep Reinforcement Learning via Self-Supervision [51.2400839966489]
  自己改善強化学習(Self-Supervised Reinforcement Learning, SSRL)は、純粋に監督された損失を伴うポリシーを最適化する単純なアルゴリズムである。 SSRLは、より安定した性能と実行時間の少ない現代アルゴリズムと驚くほど競合することを示す。
  論文  参考訳（メタデータ） (2021-06-10T06:29:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。