論文の概要: Evo-RL: Iterative Robot Reinforcement Learning from Selective Experience
- arxiv url: http://arxiv.org/abs/2610.13345v1
- Date: Fri, 09 Oct 2026 10:19:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-13 04:06:29.522868
- Title: Evo-RL: Iterative Robot Reinforcement Learning from Selective Experience
- Title（参考訳）: Evo-RL:選択経験に基づく反復型ロボット強化学習
- Abstract要約: Evo-RLは、人間の介入とアドバンテージ誘導された経験選択を組み合わせた反復的強化学習法である。
私たちのコード、モデルチェックポイント、データセットが公開されています。
- 参考スコア（独自算出の注目度）: 6.665540255421502
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Existing real-world reinforcement learning methods improve robot policies by combining human corrections with autonomous rollouts. However, accumulated experience varies in its value for policy improvement, and even successful trajectories can contain inefficient or redundant behavior, motivating more selective experience reuse. To this end, we propose Evo-RL, an iterative reinforcement learning method that combines human interventions with advantage-guided experience selection. Evo-RL uses human corrections and experience with positive estimated advantages from successful trajectories to iteratively refine the policy. To support learning from these different experience sources, we introduce RW-RL-Dataset, which spans over 1,000 hours across four robot embodiments. On a real-world high-precision manipulation task, Evo-RL improves attempt success rate over RECAP by 30.46\%. Our code, model checkpoints, and dataset are publicly available.
- Abstract（参考訳）: 既存の実世界の強化学習手法は、人間の修正と自律的なロールアウトを組み合わせることで、ロボットポリシーを改善する。
しかし、蓄積された経験は政策改善の価値に変化があり、成功した軌道さえも非効率または冗長な振る舞いを含み、より選択的な経験再利用を動機付けることができる。
そこで本稿では,人間の介入と経験選択を併用した反復的強化学習手法であるEvo-RLを提案する。
Evo-RLは人間の修正と経験を使い、軌道を成功させ、ポリシーを反復的に洗練するために肯定的な利点を見積もっている。
これらの異なる体験源からの学習を支援するために,4つのロボットエンボディメントに1,000時間以上かかるRW-RL-Datasetを導入する。
実世界の高精度操作タスクでは、Evo-RLはRECAPの試行成功率を30.46\%向上させる。
私たちのコード、モデルチェックポイント、データセットが公開されています。
関連論文リスト
- Coherent Off-Policy Improvement of Large Behavior Models with Learned Rewards [24.576576709809036]
強化学習は、さらなる経験を用いてポリシーを微調整するために使用することができる。
逆強化学習では、専門家によるデモンストレーションから高密度報酬関数が学習される。
提案手法は,6つのスパース操作タスクすべてに対してpi-0.5を維持・改善し,複雑な操作タスクのうち5つに対して50q 90%の成功率を達成できることを示す。
論文 参考訳（メタデータ） (2026-06-01T12:49:14Z) - Evolving-RL: End-to-End Optimization of Experience-Driven Self-Evolving Capability within Agents [31.6974589324286]
自己進化エージェントは、過去の相互作用から再利用可能な経験を蒸留することで、大きな言語モデルの静的な性質を克服することを目的としている。
本稿では、自己進化に必要な経験抽出と利用能力を共同で改善する効率的なアルゴリズムフレームワークであるEvolving-RLを提案する。
ALFWorldとMind2Webの実験によると、Evolving-RLはLLMが経験を抽出し再利用する能力を効果的に強化する。
論文 参考訳（メタデータ） (2026-05-11T14:43:56Z) - RLoop: An Self-Improving Framework for Reinforcement Learning with Iterative Policy Initialization [65.23034604711489]
大規模な推論モデルをトレーニングするための自己改善フレームワークであるRLoopを紹介します。
RLoopはまず、RLを使用して所定のポリシからソリューション空間を探索し、成功したトラジェクトリをフィルタリングしてエキスパートデータセットを作成する。
実験の結果、RLoopsは一般化を忘れて大幅に改善し、平均精度は9%、pass@32はバニラRLに比べて15%以上向上した。
論文 参考訳（メタデータ） (2025-11-06T11:27:16Z) - Human-in-the-loop Online Rejection Sampling for Robotic Manipulation [55.99788088622936]
Hi-ORSは、オンライン微調整中に負の報酬を得たサンプルをフィルタリングすることで、値推定を安定化する。
Hi-ORSは、わずか1.5時間でコンタクトリッチな操作をマスターするためのpiベースのポリシーを微調整する。
論文 参考訳（メタデータ） (2025-10-30T11:53:08Z) - Precise and Dexterous Robotic Manipulation via Human-in-the-Loop Reinforcement Learning [47.785786984974855]
本稿では,多種多様な操作タスクに対して印象的な性能を示す,ループ内視覚に基づくRLシステムを提案する。
提案手法では,実証と人間の修正,効率的なRLアルゴリズム,その他のシステムレベルの設計選択を統合してポリシを学習する。
提案手法は,再現学習のベースラインと先行RLアプローチを著しく上回り,成功率の平均2倍,実行速度1.8倍に向上した。
論文 参考訳（メタデータ） (2024-10-29T08:12:20Z) - SERL: A Software Suite for Sample-Efficient Robotic Reinforcement Learning [82.46975428739329]
筆者らは,報酬の計算と環境のリセットを行う手法とともに,効率的なオフ・ポリティクス・ディープ・RL法を含むライブラリを開発した。
我々は,PCBボードアセンブリ,ケーブルルーティング,オブジェクトの移動に関するポリシを,非常に効率的な学習を実現することができることを発見した。
これらの政策は完全な成功率またはほぼ完全な成功率、摂動下でさえ極端な堅牢性を実現し、突発的な堅牢性回復と修正行動を示す。
論文 参考訳（メタデータ） (2024-01-29T10:01:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。