論文の概要: ReF-HIL: Shaping the Critic around Human Action Neighborhoods for Efficient Human-in-the-Loop Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2609.37131v1
• Date: Tue, 29 Sep 2026 09:35:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.387478
• Title: ReF-HIL: Shaping the Critic around Human Action Neighborhoods for Efficient Human-in-the-Loop Reinforcement Learning
• Title（参考訳）: ReF-HIL:効率的な対人強化学習のためのヒューマンアクション周辺批判の形成
• Abstract要約: HIL-RL(Human-in-the-loop reinforcement learning)は、ロボット操作ポリシーを効率的に訓練するための有望なルートを提供する。 本稿では,HIL-RLフレームワークであるReF-HILを提案する。
• 参考スコア（独自算出の注目度）: 14.069480017716453
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Human-in-the-loop reinforcement learning (HIL-RL) offers a promising route to efficient training of robotic manipulation policies by combining autonomous learning with human demonstrations and online corrections. However, insufficient use of successful human experience in value learning prolongs costly real-world training, while persistent imitation penalties can limit value-driven policy improvement. To address these limitations, we propose ReF-HIL, an efficient HIL-RL framework that uses human guidance to accelerate the learning process. Human-Reference-Guided Value Shaping learns an independent value reference from successful human experience to guide online value learning, while incorporating local corrective feedback. A Human Action Fence defines a learned human-action neighborhood, allowing value-driven optimization for better performance without imitation penalties inside while constraining policy and value updates outside. Experiments on five diverse and challenging real-world manipulation tasks demonstrate improved overall learning efficiency and higher success rates compared with the evaluated baselines. Specifically, ReF-HIL reaches 90% autonomous success in only 18-63 minutes of active training and achieves final success rates of 91.7-100%. These results highlight the potential of human-guided reinforcement learning to acquire reliable manipulation skills efficiently in the real world. Project website: https://anonymous.4open.science/w/ReF-HIL-7762/
• Abstract（参考訳）: HIL-RL(Human-in-the-loop reinforcement learning)は、自律学習と人間の実演とオンライン修正を組み合わせることで、ロボット操作ポリシーの効率的なトレーニングへの有望なルートを提供する。 しかしながら、価値学習における人間の経験の不十分な使用は、コストのかかる実世界のトレーニングを長引かせる一方、永続的な模倣罰は価値駆動型政策改善を制限することができる。 これらの制約に対処するために,人間の指導を用いて学習プロセスを高速化する効率的なHIL-RLフレームワークであるReF-HILを提案する。 ヒューマン参照型バリューシェイピング(Human-Reference-Guided Value Shaping)は、人間の経験から独立した価値参照を学び、オンライン価値学習をガイドし、局所的な修正フィードバックを取り入れる。 Human Action Fence(ヒューマンアクションフェンス)は、学習されたヒューマンアクション地区を定義し、ポリシーとバリュー更新を外部に制約しながら、内部の模倣罰を伴わずに、より良いパフォーマンスのための価値駆動型最適化を可能にする。 5つの多様で挑戦的な実世界の操作タスクの実験では、評価ベースラインと比較して、全体的な学習効率と成功率の向上が示されている。 具体的には、ReF-HILは18-63分間のアクティブトレーニングで90%の自律的な成功に達し、最終成功率は91.7-100%に達する。 これらの結果は,人間の指導による強化学習が,実世界における信頼性の高い操作スキルを効果的に獲得する可能性を明らかにするものである。 プロジェクトウェブサイト:https://anonymous.4open.science/w/ReF-HIL-7762/

関連論文リスト

• Res-HIL: Human-Guided Residual Reinforcement Learning for Sample-Efficient Dexterous Manipulation [1.6973613860495644]
  模倣学習は、ロボットがデモンストレーションから操作スキルを習得することを可能にするが、結果として得られるポリシーはトレーニングデータの外で失敗する可能性がある。 Res-HIL(Res-The-loop Regressed Learning framework)は、凍結した模倣ポリシーに基づいて修正動作を学ぶ。 我々はRes-HILを高精度かつ長時間の動作にまたがる5つのコンタクトリッチな操作タスクに対して評価する。
  論文  参考訳（メタデータ） (2026-09-24T16:00:02Z)
• Human-in-the-loop Online Rejection Sampling for Robotic Manipulation [55.99788088622936]
  Hi-ORSは、オンライン微調整中に負の報酬を得たサンプルをフィルタリングすることで、値推定を安定化する。 Hi-ORSは、わずか1.5時間でコンタクトリッチな操作をマスターするためのpiベースのポリシーを微調整する。
  論文  参考訳（メタデータ） (2025-10-30T11:53:08Z)
• Training LLM Agents to Empower Humans [67.80021254324294]
  本稿では,人間のエンパワーメントの最大化に基づく支援言語モデルのチューニング手法を提案する。 我々のエンパワーメント最大化手法であるEmpowerは、オフラインのテキストデータのみを必要とする。 我々は,Empowerで訓練されたエージェントが,プログラミング問題に挑戦する人間プログラマの成功率を平均192%向上させることを示す。
  論文  参考訳（メタデータ） (2025-10-15T16:09:33Z)
• From Learning to Mastery: Achieving Safe and Efficient Real-World Autonomous Driving with Human-In-The-Loop Reinforcement Learning [2.9019234287347864]
  我々はH-DSAC(Human-Guided Distributional Soft Actor-Critic)という,報酬のないアクティブなループ学習手法を提案する。 提案手法は,PVPとDSACを組み合わせることで,実環境における効率的かつ安全なトレーニングを実現する。
  論文  参考訳（メタデータ） (2025-10-07T15:33:29Z)
• GUIDE: Real-Time Human-Shaped Agents [4.676987516944155]
  リアルタイム強化学習のためのGUIDEを紹介した。 人間のフィードバックが10分しかなく、我々のアルゴリズムはRLベースラインと比較して最大30%の成功率を達成できる。
  論文  参考訳（メタデータ） (2024-10-19T18:59:39Z)
• Trustworthy Human-AI Collaboration: Reinforcement Learning with Human Feedback and Physics Knowledge for Safe Autonomous Driving [1.5361702135159845]
  RLHF(Reinforcement Learning with Human Feedback)は、トレーニングの安全性とサンプリング効率を高める可能性から注目されている。 人間の学習プロセスに触発されて,人間フィードバックを用いた物理強化学習(PE-RLHF)を提案する。 PE-RLHFは、人間のフィードバック品質が低下しても、学習したポリシーが少なくとも物理ベースのポリシーと同様に機能することを保証します。
  論文  参考訳（メタデータ） (2024-09-01T22:20:32Z)
• Affordance-Guided Reinforcement Learning via Visual Prompting [51.361977466993345]
  Keypoint-based Affordance Guidance for Improvements (KAGI) は、視覚言語モデル(VLM)によって形成される報酬を自律的なRLに活用する手法である。 自然言語記述によって指定された多様な実世界の操作タスクにおいて、KAGIは自律的なRLのサンプル効率を改善し、30Kのオンライン微調整ステップでタスク完了を成功させる。
  論文  参考訳（メタデータ） (2024-07-14T21:41:29Z)
• Learning to Influence Human Behavior with Offline Reinforcement Learning [70.7884839812069]
  人間の準最適性を捉える必要があるような環境での影響に焦点を当てる。 人間によるオンライン実験は安全ではない可能性があり、環境の高忠実度シミュレータを作成することは現実的ではないことが多い。 オフライン強化学習は、観察された人間・人間の行動の要素を拡張し、組み合わせることで、人間に効果的に影響を及ぼすことができることを示す。
  論文  参考訳（メタデータ） (2023-03-03T23:41:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。