論文の概要: ROVE: Unlocking Human Interventions for Humanoid Manipulation via Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2606.17011v1
• Date: Mon, 15 Jun 2026 17:45:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 18:36:05.11808
• Title: ROVE: Unlocking Human Interventions for Humanoid Manipulation via Reinforcement Learning
• Title（参考訳）: ROVE:強化学習によるヒューマノイド操作のための人的介入の解錠
• Authors: Wei Xiao, Weiliang Tang, Yuying Ge, Hui Zhou, Yao Mu, Li Zhang, Yixiao Ge,
• Abstract要約: 人間の介入が不十分な人型VLA後トレーニングのための強化学習フレームワークであるROVEを提案する。 まず、ROVEは、ヒューマノイド操作のためのデプロイメントと介入データを収集できる、Human-in-the-loopパイプラインを導入している。 第二に、OVE(Optimistic Value Estimation)を用いて、混合質軌道から高価値な振る舞いを優先順位付けする。
• 参考スコア（独自算出の注目度）: 44.43333438148224
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Human interventions provide crucial corrective signals for post-training Vision-Language-Action (VLA) models. However, enabling seamless humanoid interventions is a formidable systems challenge due to complex whole-body kinematics and dexterous-hand control. Consequently, the collected intervention trajectories are often suboptimal, and methods that rely on human interventions as expert supervision can absorb hesitant, inefficient, or even erroneous behaviors. To address both the system and algorithmic challenges, we propose ROVE, a reinforcement learning framework for humanoid VLA post-training with imperfect human interventions. First, ROVE introduces a human-in-the-loop pipeline capable of collecting deployment and intervention data for humanoid manipulation. Second, it utilizes Optimistic Value Estimation (OVE) to prioritize high-value behaviors from mixed-quality trajectories. To further robustify value estimation, we incorporate cross-embodiment human experience videos to provide rich supervision for long-tailed failure and recovery modes. The resulting critic yields informative advantage signals, steering the VLA actor to focus on high-value behaviors rather than indiscriminately imitating all actions. On challenging real-world contact-rich and fine-grained humanoid manipulation tasks, ROVE outperforms experience-learning baselines and consistently improves across multiple rollout-intervention iterations.
• Abstract（参考訳）: 人間の介入は、VLA(Vision-Language-Action)モデルに対する重要な修正信号を提供する。 しかしながら、シームレスなヒューマノイドの介入を可能にすることは、複雑な全身運動学と器用な手動制御による致命的なシステム課題である。 その結果、収集された介入軌跡は、しばしば準最適であり、専門家の監督として人間の介入に依存する方法は、ためらい、非効率、あるいは誤った振る舞いを吸収することができる。 システムとアルゴリズムの両課題に対処するため,人間の介入が不十分なヒューマノイドVLA後トレーニングのための強化学習フレームワークであるROVEを提案する。 まず、ROVEは、ヒューマノイド操作のためのデプロイメントと介入データを収集できる、Human-in-the-loopパイプラインを導入している。 第二に、OVE(Optimistic Value Estimation)を用いて、混合質軌道から高価値な振る舞いを優先順位付けする。 付加価値推定をさらに高めるため,長期の故障と回復モードの監視にクロスボディーメントな人間体験映像を取り入れた。 結果、批評家は情報的な有利な信号をもたらし、VLAアクターはすべてのアクションを無差別に模倣するのではなく、高価値な振る舞いに集中するよう促す。 実世界のコンタクトリッチできめ細かいヒューマノイド操作タスクにおいて、ROVEは経験学習ベースラインより優れ、複数のロールアウト・インターベンションイテレーションで一貫して改善されている。

関連論文リスト

• OHP-RL: Online Human Preference as Guidance in Reinforcement Learning for Robot Manipulation [16.28822074948203]
  Online Human Preference as Guidance in Reinforcement Learning (OHP-RL) は、政策学習の指針となる選好情報として人間の介入を利用するフレームワークである。 OHP-RLは、強い成功率、より高速な収束、そして従来のアプローチよりもはるかに低い人間の介入努力を一貫して達成する。
  論文  参考訳（メタデータ） (2026-05-15T14:02:34Z)
• Human-Robot Copilot for Data-Efficient Imitation Learning [38.76308745375941]
  遠隔操作による人間の実演を収集し,ロボットにタスク固有のスキルを教える枠組みを提案する。 Human-Robot Copilotフレームワークは、広範囲の産業用および研究用マニピュレータとの互換性を維持しながら、デクスタラス遠隔操作のスケーリングファクタを利用することができる。
  論文  参考訳（メタデータ） (2026-04-04T07:00:32Z)
• METIS: Multi-Source Egocentric Training for Integrated Dexterous Vision-Language-Action Model [36.82365894983052]
  大きなボトルネックは、デクスタラススキルのための大規模でアクションアノテートされたデータの不足にある。 我々は,エゴセントリックなデータセット上で事前学習したデクスタラス操作のための視覚言語アクションモデルMETISを提案する。 提案手法は,6つの実世界のタスクにおける平均成功率を達成し,異常な操作能力を示す。
  論文  参考訳（メタデータ） (2025-11-21T16:32:36Z)
• IntentionVLA: Generalizable and Efficient Embodied Intention Reasoning for Human-Robot Interaction [51.130510883952546]
  Vision-Language-Action(VLA)モデルは、事前訓練された視覚言語モデル(VLM)を活用して、ロボット制御との認識を両立させる。 カリキュラム学習パラダイムと効率的な推論機構を備えたVLAフレームワークである textbfIntentionVLA を提案する。 提案手法はまず,意図推論,空間的接地,コンパクトな具体的推論を組み合わせ,慎重に設計した推論データを活用する。
  論文  参考訳（メタデータ） (2025-10-09T04:49:46Z)
• Human-assisted Robotic Policy Refinement via Action Preference Optimization [26.144183856600687]
  行動選好最適化(Action Preference Optimization、APO)は、視覚・言語・行動モデル(VLA)を人間の操作による選好アライメントによって洗練する手法である。 これを解決するために、APOは相互作用から導出される二元的望ましくない信号を用いた適応的再重み付けアルゴリズムを提案する。 シミュレーションと実世界のシナリオで行われた実験は、より優れた一般化とロバスト性を示す。
  論文  参考訳（メタデータ） (2025-06-08T13:14:18Z)
• MEReQ: Max-Ent Residual-Q Inverse RL for Sample-Efficient Alignment from Intervention [76.83428371942735]
  本稿では,人間の介入によるサンプル効率向上を目的としたMEReQ(Maximum-Entropy Residual-Q Inverse Reinforcement Learning)を紹介する。 MereQは、人間の専門家と以前の政策の根底にある報酬関数との相違を捉える残差報酬関数を推論する。 その後、Residual Q-Learning(RQL)を使用して、ポリシーをこの残留報酬関数を使用して人間の好みと整合させる。
  論文  参考訳（メタデータ） (2024-06-24T01:51:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。