論文の概要: Demonstration-Free Success-Probability Reward Learning for Generalist Robot Policies

• arxiv url: http://arxiv.org/abs/2609.33653v1
• Date: Sun, 27 Sep 2026 15:18:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-05 14:59:48.18025
• Title: Demonstration-Free Success-Probability Reward Learning for Generalist Robot Policies
• Title（参考訳）: 汎用ロボット政策における実証自由成功確率回帰学習
• Abstract要約: 強化学習(Reinforcement Learning, RL)は、一般的なロボットポリシーをトライアルとエラーのインタラクションによって改善する。 既存の汎用報酬モデルでは、専門家のデモンストレーションからタスクの進捗を学習することでこの問題を軽減するのが一般的である。 本稿では,疎タスク結果と政策経験から直接,報酬フィードバックを学習できる,実証自由報酬学習パラダイムを導入する。
• 参考スコア（独自算出の注目度）: 25.67759482241777
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning (RL) enables generalist robot policies to improve through trial-and-error interaction, yet its effectiveness is fundamentally constrained by sparse task rewards. Existing general-purpose reward models typically alleviate this issue by learning task progress from expert demonstrations, but introduce a distribution mismatch with the mixed-quality rollouts encountered during policy optimization, making their estimates unreliable on suboptimal and failed behaviors from which the policy must learn. In this work, we introduce a demonstration-free reward learning paradigm where dense reward feedback can be learned directly from sparse task outcomes and policy experience. We theoretically show that terminal task outcomes implicitly define dense success-probability feedback at intermediate timesteps, which can be recursively learned through bootstrapping. Based on this insight, we introduce eVTA$_0$, which learns success probabilities from mixed-quality policy rollouts through temporal-difference-style bootstrapping, without expert demonstrations or intermediate annotations. We further introduce RL with Evolving Rewards (RLER), a closed-loop framework that adapts eVTA$_0$ using newly collected rollouts as the policy evolves. Experiments show that eVTA$_0$ provides more informative rewards than state-of-the-art reward models and achieves the best average policy performance across all LIBERO task suites under the same RL training budget, improving success rates by 5.4%-13.8% over the initial policy. In real-world manipulation, RLER further improves overall success rates by 20%-26%, with 35%-36% gains under out-of-distribution conditions. These results demonstrate the effectiveness of demonstration-free reward learning and adapting rewards as the policy evolves. Project webpage: https://duowuyms.github.io/evta0.
• Abstract（参考訳）: 強化学習(Reinforcement Learning, RL)は、一般的なロボットポリシーを、試行錯誤の相互作用を通じて改善することを可能にするが、その効果は、まばらなタスク報酬によって根本的に制限される。 既存の汎用報酬モデルでは、専門家によるデモンストレーションからタスクの進捗を学習することでこの問題を軽減するのが一般的だが、政策最適化中に遭遇する混合品質のロールアウトとの分布ミスマッチを導入し、その見積もりを政策が学ばなければならない準最適かつ失敗な行動で信頼できないようにする。 本研究では,疎タスク結果や政策経験から直接,報酬フィードバックを直接学習する,実証自由報酬学習パラダイムを導入する。 理論的には、終端タスクの結果が、ブートストラップによって再帰的に学習できる中間段階において、密着した成功確率フィードバックを暗黙的に定義することを示します。 この知見に基づいてeVTA$_0$を導入し、専門家によるデモンストレーションや中間アノテーションを使わずに、時間差によるブートストラップを通じて、多種多様なポリシーのロールアウトから成功確率を学習する。 さらに、ポリシーが進化するにつれて、新たに収集したロールアウトを使用してeVTA$_0$に適応するクローズドループフレームワークであるEvolving Rewards (RLER)を導入します。 実験の結果、eVTA$_0$は最先端の報酬モデルよりも有益な報酬を提供し、同じRLトレーニング予算の下で全てのLIBEROタスクスイートで最高の平均ポリシー性能を達成し、最初のポリシーよりも成功率を5.4%から13.8%向上させることが示されている。 実世界の操作では、RLERは全体の成功率を20%-26%改善し、アウト・オブ・ディストリビューション条件下では35%-36%向上した。 これらの結果は,政策の進展に伴って,実演自由報酬学習と報酬適応の有効性を示すものである。 プロジェクトWebページ: https://duowuyms.github.io/evta0。

関連論文リスト

• EvoRS: On-Policy Self-Evolution of Reward Systems for Open-Ended Reinforcement Learning [54.99968863245366]
  EvoRSは自己進化型RLフレームワークで、報酬体系を政治上の経験から進化させる。 執筆とロールプレイを通じて、EvoRSは3人の審査員全員の下で最高の品質を達成する。
  論文  参考訳（メタデータ） (2026-09-11T05:40:59Z)
• Learning Process Rewards via Success Visitation Matching for Efficient RL [54.67547527674048]
  本稿では,スパース結果報酬を高密度プロセス報酬に変換するための簡単な手法を提案する。 我々のアプローチは、以前の成功と失敗のエピソードを区別するために差別者を訓練することに依存しています。 この報酬は、タスクの成功に対応するものだけでなく、すべての州への訪問に対応するポリシーをインセンティブにすることで、タスク完了に向けた進捗が進められているかどうかについての深いフィードバックを提供する。
  論文  参考訳（メタデータ） (2026-06-22T17:30:24Z)
• Coherent Off-Policy Improvement of Large Behavior Models with Learned Rewards [24.576576709809036]
  強化学習は、さらなる経験を用いてポリシーを微調整するために使用することができる。 逆強化学習では、専門家によるデモンストレーションから高密度報酬関数が学習される。 提案手法は,6つのスパース操作タスクすべてに対してpi-0.5を維持・改善し,複雑な操作タスクのうち5つに対して50q 90%の成功率を達成できることを示す。
  論文  参考訳（メタデータ） (2026-06-01T12:49:14Z)
• Generalizable Dense Reward for Long-Horizon Robotic Tasks [10.301325532021218]
  VLM(Vision-Language Models)は、タスクを検証可能なサブタスクに分解する。 自己確実性は、PPOファインタニング全体を通じてステップごとの本質的なガイダンスを提供する。 CHORESベンチマークでは、VLLRは事前訓練されたポリシーよりも最大56%の絶対的な成功率を達成する。
  論文  参考訳（メタデータ） (2026-03-31T02:05:07Z)
• Agentic Reinforcement Learning with Implicit Step Rewards [92.26560379363492]
  大規模言語モデル (LLMs) は強化学習 (agentic RL) を用いた自律的エージェントとして発展している。 我々は,標準RLアルゴリズムとシームレスに統合された一般的なクレジット割り当て戦略であるエージェントRL(iStar)について,暗黙的なステップ報酬を導入する。 我々は,WebShopとVisualSokobanを含む3つのエージェントベンチマークと,SOTOPIAにおける検証不可能な報酬とのオープンなソーシャルインタラクションについて評価した。
  論文  参考訳（メタデータ） (2025-09-23T16:15:42Z)
• Rewarding Progress: Scaling Automated Process Verifiers for LLM Reasoning [90.23629291067763]
  大規模言語モデルにおける推論を改善するための有望なアプローチは、プロセス報酬モデル(PRM)を使用することである。 PRMは多段階の推論トレースの各ステップでフィードバックを提供し、結果報酬モデル(ORM)よりも信用割当を改善する可能性がある。 PRMに対して探索を行ったり、強化学習(RL)の報酬として使ったりすることで、基本方針を改善するために、「プロセス報酬をどう設計すべきか?」と質問する。 理論的には,良質なプロデューサの集合を特徴付けるとともに,このようなプロデューサからのプロセス報酬の最適化が,テスト時間探索やオンラインRLの探索を改善することを示す。
  論文  参考訳（メタデータ） (2024-10-10T17:31:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。