論文の概要: Reinforcement Learning from Real-Robot Interaction without High-Quality State Estimates

• arxiv url: http://arxiv.org/abs/2610.14042v1
• Date: Fri, 02 Oct 2026 21:59:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-18 21:02:54.476288
• Title: Reinforcement Learning from Real-Robot Interaction without High-Quality State Estimates
• Title（参考訳）: 高品質状態推定のない実ロボットインタラクションによる強化学習
• Abstract要約: ロボット強化学習(RL)の長年の目標は、ロボットが自身の物理的経験から学ぶことである。 本課題は,2足歩行ロボットがサッカーのゴールを達成するための課題である。 RSSM-RLPDを導入し、NAOロボットがサッカーボールをゴールにドリブルするタスクに適用する。
• 参考スコア（独自算出の注目度）: 5.861140128685936
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A longstanding goal for robot reinforcement learning (RL) is that robots learn from their own physical experience, as humans and animals do. A key obstacle to learning directly from physical experience, especially outside instrumented lab environments, is that the state of the world is usually unobservable to the learner and must be estimated from on-board sensing. Errors in that estimate corrupt both the policy input and potentially the reward signal. We study this challenge using the contact-rich task of a bipedal robot learning to score soccer goals. We estimate all key state variables on-board with an unscented Kalman filter (UKF) and no external instrumentation (e.g., motion capture or overhead cameras). Because the UKF may incorrectly estimate state when the ball is unobserved, we learn a new state representation with a recurrent state-space model (RSSM) that, critically, only corrects the RSSM's latent state when the ball is observed. Building on RLPD, we introduce RSSM-RLPD and apply it to the task of a NAO robot learning to dribble a soccer ball into a goal. We show that the robot learns to score from multiple starting positions after 30 minutes of real-world interaction, reaching 100% success against 0% for a feed-forward policy under the same training budget. We complement our physical robot experiments with a simulation study and show that RSSM-RLPD learns policies that achieve a higher success rate than behavior cloning, a feed-forward, and GRU baseline. Taken together, our results show that the addition of a learned state representation to existing on-robot learning methods enables RL from real-robot data even with a high degree of partial observability.
• Abstract（参考訳）: ロボット強化学習(RL)の長年の目標は、人間や動物と同じように、ロボットが自身の物理的経験から学ぶことである。 物理的経験、特に実験室外の環境から直接学習する上での重要な障害は、世界の状態が学習者にとって観察不可能であり、オンボードセンシングから推定しなければならないことである。 その見積のエラーは、ポリシー入力と潜在的報酬信号の両方を不正にします。 本課題は,2足歩行ロボットがサッカーのゴールを達成するための課題である。 キー状態変数はすべてUKF(unscented Kalman filter)と外部機器(例えばモーションキャプチャーやオーバーヘッドカメラ)で推定する。 UKFは、ボールが観測されていないときの状態を誤って推定するため、繰り返し状態空間モデル(RSSM)で新しい状態表現を学習し、ボールが観測されたときにのみRSSMの潜時状態を補正する。 RLPDに基づいて、RSSM-RLPDを導入し、それをNAOロボット学習のタスクに適用し、サッカーボールをゴールにドリブルする。 ロボットは実世界の対話30分後に複数の開始位置から得点を学習し、同じトレーニング予算の下でフィードフォワードポリシーの0%に対して100%成功することを示した。 シミュレーション実験により,我々の身体ロボット実験を補完し,RSSM-RLPDが行動クローニング,フィードフォワード,GRUベースラインよりも高い成功率を達成するポリシーを学習していることを示す。 この結果から,既存のオンロボット学習手法に学習状態表現を追加することで,高次部分観測が可能であっても実ロボットデータからRLを抽出できることが示唆された。

関連論文リスト

• EgoZero: Robot Learning from Smart Glasses [54.6168258133554]
  EgoZeroはProject Ariaスマートグラスで捉えた人間のデモから堅牢な操作ポリシーを学ぶ。 EgoZeroのポリシーをFranka Pandaロボットにデプロイし、7つの操作タスクに対して70%の成功率でゼロショット転送を実演する。 この結果から,実世界におけるロボット学習のためのスケーラブルな基盤として,現在地にある人間のデータを活用できることが示唆された。
  論文  参考訳（メタデータ） (2025-05-26T17:59:17Z)
• Learning Robot Soccer from Egocentric Vision with Deep Reinforcement Learning [17.906144781244336]
  我々は,自己中心型RGBビジョンによる完全オンボード計算とセンシングにより,エンドツーエンドのロボットサッカーポリシーを訓練する。 本稿では,マルチエージェントロボットサッカーにおけるエンドツーエンドトレーニングの最初の実演を行う。
  論文  参考訳（メタデータ） (2024-05-03T18:41:13Z)
• Interactive Robot Learning from Verbal Correction [42.37176329867376]
  OLAFは、ロボットがミスをしたとき、言葉で訂正するロボットを教える。 OLAFの重要な特徴は、言葉のフィードバックに基づいてロボットの視覚運動神経ポリシーを更新する能力である。 本研究では,ユーザがロボットに長期操作タスクを指示する実験において,設計の有効性を実証する。
  論文  参考訳（メタデータ） (2023-10-26T16:46:12Z)
• Stabilizing Contrastive RL: Techniques for Robotic Goal Reaching from Offline Data [96.5899286619008]
  自己指導型学習は、制御戦略を学ぶのに必要な人間のアノテーションとエンジニアリングの労力を減らす可能性がある。 我々の研究は、強化学習(RL)自体が自己監督的な問題であることを示す先行研究に基づいている。 コントラスト学習に基づく自己教師付きRLアルゴリズムは,実世界の画像に基づくロボット操作タスクを解くことができることを示す。
  論文  参考訳（メタデータ） (2023-06-06T01:36:56Z)
• Quality-Diversity Optimisation on a Physical Robot Through Dynamics-Aware and Reset-Free Learning [4.260312058817663]
  本研究では,リセットフリーQD(RF-QD)アルゴリズムを用いて,物理ロボット上で直接コントローラを学習する。 本手法は,ロボットと環境との相互作用から学習したダイナミクスモデルを用いて,ロボットの動作を予測する。 RF-QDには、ロボットが外を歩いたときに安全なゾーンに戻すリカバリポリシーも含まれており、継続的な学習を可能にしている。
  論文  参考訳（メタデータ） (2023-04-24T13:24:00Z)
• Self-Improving Robots: End-to-End Autonomous Visuomotor Reinforcement Learning [54.636562516974884]
  模倣と強化学習において、人間の監督コストは、ロボットが訓練できるデータの量を制限する。 本研究では,自己改善型ロボットシステムのための新しい設計手法であるMEDAL++を提案する。 ロボットは、タスクの実施と解除の両方を学ぶことで、自律的にタスクを練習し、同時にデモンストレーションから報酬関数を推論する。
  論文  参考訳（メタデータ） (2023-03-02T18:51:38Z)
• A Framework for Efficient Robotic Manipulation [79.10407063260473]
  単一のロボットアームがピクセルからスパースリワード操作ポリシーを学習できることを示します。 デモは10回しかなく、単一のロボットアームがピクセルからスパースリワード操作のポリシーを学習できることを示しています。
  論文  参考訳（メタデータ） (2020-12-14T22:18:39Z)
• SQUIRL: Robust and Efficient Learning from Video Demonstration of Long-Horizon Robotic Manipulation Tasks [8.756012472587601]
  深層強化学習(RL)は複雑な操作タスクを学習するために用いられる。 RLは、ロボットが大量の現実世界の経験を収集する必要がある。 SQUIRLは、単一のビデオデモしか持たない、新しいが関連するロングホライゾンタスクを実行する。
  論文  参考訳（メタデータ） (2020-03-10T20:26:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。