論文の概要: RARM: Confidence-Gated Progress Reward Modeling for RL in Manipulation

• arxiv url: http://arxiv.org/abs/2606.22027v1
• Date: Sat, 20 Jun 2026 13:03:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 17:05:29.995054
• Title: RARM: Confidence-Gated Progress Reward Modeling for RL in Manipulation
• Title（参考訳）: RARM: 操作におけるRLの信頼強化プログレッシブ・リワードモデリング
• Authors: Pengzhi Yang, Xinyu Wang, Pengyu Jing, Kehan Wen, Yiduo Qu, Zhenhao Huang, Minghao Fu, Xin Liu, Yaheng Shen, Fan Shi,
• Abstract要約: ロボット操作のための強化学習は報酬設計によってボトルネックとなることが多い。 本稿では,RARM(Reference-Anchored Reward Model)について紹介する。 RARMはその後のRLトレーニングにおいて最高の総合的な成功率を達成し、特に布の折り畳みのような長い水平タスクにおいて大きな成果を上げている。
• 参考スコア（独自算出の注目度）: 12.756156905476503
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning for robot manipulation is often bottlenecked by reward design, especially in long-horizon tasks: sparse success rewards provide weak supervision, while hand-crafted dense rewards are tedious to design and generalize poorly across tasks. Progress-based reward models offer a promising alternative by estimating how far an observation has advanced toward task completion, but existing approaches often require task-specific demonstrations or progress labels, and can assign high rewards to visually plausible but physically incorrect states. We introduce the Reference-Anchored Reward Model (RARM), a lightweight visual comparator that converts a single successful demonstration into a dense, progress-aware reward. RARM is trained once on general-purpose videos with a contrastive temporal objective, requiring no robot-specific data, task-specific reward labels, or per-task reward engineering. At deployment, RARM matches rollout clips to reference clips and rewards only confident forward progress, suppressing uncertain matches that may otherwise produce false-positive rewards. Across 9 simulated manipulation tasks from LIBERO and MetaWorld and 4 real-world tasks, RARM achieves the best overall success rates in subsequent RL training, with particularly large gains on long-horizon tasks such as cloth folding, where unreliable progress estimates are especially harmful.
• Abstract（参考訳）: ロボット操作のための強化学習は、特に長期のタスクにおいて、報酬設計によってボトルネックとなることが多い。 プログレッシブベースの報酬モデル(英語版)は、観察がタスク完了に向けてどこまで進んでいるかを推定することで、有望な代替手段を提供するが、既存のアプローチでは、しばしばタスク固有のデモやプログレッシブラベルを必要とし、視覚的にもっとも不正確な状態に高い報酬を割り当てることができる。 本稿では,RARM(Reference-Anchored Reward Model)について紹介する。 RARMは、ロボット固有のデータやタスク固有の報酬ラベル、タスクごとの報酬エンジニアリングを必要としない、対照的な時間的目的を持った汎用ビデオでトレーニングされている。 デプロイ時に、RARMはロールアウトクリップと参照クリップとをマッチングし、自信を持って前進するだけであり、そうでなければ偽陽性の報酬を生み出す可能性のある不確実なマッチを抑える。 LIBEROとMetaWorldの9つの操作タスクと4つの実世界のタスクをシミュレーションし、RARMはその後のRLトレーニングにおいて最高の総合的な成功率を達成する。

関連論文リスト

• TimeRewarder: Learning Dense Reward from Passive Videos via Frame-wise Temporal Distance [36.22149703563646]
  TimeRewarderは、受動的ビデオから進捗推定信号を導出する、シンプルで効果的な報酬学習手法である。 TimeRewarderはスパース・リワードタスクのRLを大幅に改善し、タスク1タスク当たり20,000のインタラクションしか持たない9/10タスクでほぼ完璧に成功することを示す。
  論文  参考訳（メタデータ） (2025-09-30T17:58:20Z)
• Intra-Trajectory Consistency for Reward Modeling [67.84522106537274]
  軌道内整合性正則化を開発し、より高い次トーケン生成確率を持つプロセスがより一貫した報酬を維持することを強制する。 提案した正規化でトレーニングした報酬モデルにより、より優れたDPO整合ポリシーが導出され、より優れたベスト・オブ・N(BON)検証結果が得られることを示す。
  論文  参考訳（メタデータ） (2025-06-10T12:59:14Z)
• RRO: LLM Agent Optimization Through Rising Reward Trajectories [52.579992804584464]
  大規模言語モデル (LLM) は様々なタスクにおいて異常な性能を示した。 実際には、エージェントは特定の重要なステップの結果に敏感で、タスクを失敗する可能性がある。 この問題を軽減するために,Reward Rising Optimization (RRO)を提案する。
  論文  参考訳（メタデータ） (2025-05-27T05:27:54Z)
• PROGRESSOR: A Perceptually Guided Reward Estimator with Self-Supervised Online Refinement [16.768912344111946]
  本稿では,タスクに依存しない報酬関数をビデオから学習するフレームワークであるProgESSORを提案する。 ProGRESSORは、ロボットが外部の監督なしに複雑な動作を学習できるようにする。
  論文  参考訳（メタデータ） (2024-11-26T04:17:51Z)
• Beyond Simple Sum of Delayed Rewards: Non-Markovian Reward Modeling for Reinforcement Learning [44.770495418026734]
  強化学習(Reinforcement Learning, RL)は、報酬信号から学習することで、エージェントに様々なスキルを習得する権限を与える。 伝統的な手法では、マルコフ報酬の根底にある存在を仮定し、観測された遅延報酬は単にインスタンスレベルの報酬の和である。 本稿では,特殊なインシーケンスアテンション機構を備えた複合遅延逆変換器(CoDeTr)を提案する。
  論文  参考訳（メタデータ） (2024-10-26T13:12:27Z)
• DreamSmooth: Improving Model-based Reinforcement Learning via Reward Smoothing [60.21269454707625]
  DreamSmoothは、与えられたタイミングでの正確な報酬ではなく、時間的に滑らかな報酬を予測することを学ぶ。 本研究では,DreamSmoothが長時間のスパース・リワードタスクにおいて最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2023-11-02T17:57:38Z)
• A Study on Dense and Sparse (Visual) Rewards in Robot Policy Learning [19.67628391301068]
  我々は,様々な種類の報酬の下で,複数の最先端の深層強化学習アルゴリズムの性能について検討した。 以上の結果から,視覚的疎度報酬は視覚的疎度報酬よりも優れており,全てのタスクに最適なアルゴリズムが存在しないことが示唆された。
  論文  参考訳（メタデータ） (2021-08-06T17:47:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。