論文の概要: A Balanced Data Diet: Addressing the Exploration Bottleneck in Mega-Scale RL for Robot Control

• arxiv url: http://arxiv.org/abs/2610.12465v1
• Date: Thu, 08 Oct 2026 17:59:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:54.272422
• Title: A Balanced Data Diet: Addressing the Exploration Bottleneck in Mega-Scale RL for Robot Control
• Title（参考訳）: バランスの取れたデータダイエット:メガスケールRLにおけるロボット制御のための探索ロボット
• Abstract要約: 汎用ロボットは、アジャイルの移動から巧妙な操作に至るまで、幅広いタスクをこなさなければならない。 Sim-to-real reinforcement learning (RL)は、この目標に有用なツールであることが証明されている。 本稿では,タスク構成にRLトレーニングを集中させるシンプルな適応型サンプリングシステムであるSuscess Guided Smpling(SGS)を紹介する。
• 参考スコア（独自算出の注目度）: 18.735829504304196
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: General-purpose robots must perform a wide range of tasks from agile locomotion to dexterous manipulation. While sim-to-real reinforcement learning (RL) has proven to be a useful tool for this goal, current RL pipelines depend on engineering-heavy, per-task structural priors such as shaped rewards and demonstrations. Recent work has shown that diverse simulator resets, combined with massively parallel simulation, can alleviate much of this engineering burden on several manipulation problems. However, we find that naively scaling this paradigm to more precise or dynamic problems remains non-trivial. While simulator resets can help with exploration, uniformly sampling over this distribution wastes a growing fraction of learning experience on task configurations the policy has already mastered or cannot yet attempt. This makes it challenging to see the expected benefits of scaling parallel environments for RL, since much of the learning signal in a batch is wasted during learning. To mitigate this, we introduce Success Guided Sampling (SGS), a simple adaptive sampler that concentrates RL training on task configurations around the frontier of the policy's capabilities. Doing so allows large-scale simulated RL to make the most out of the experience in a batch, enabling much more effective scaling to large-scale parallel simulation. Across experiments using up to $2^{20}$ (over one million) parallel environments, SGS enables RL to solve challenging multi-terrain quadruped locomotion and contact-rich assembly tasks that prior methods fail to solve. Finally, we distill the learned manipulation policies into RGB-based policies and demonstrate zero-shot transfer to several challenging assembly tasks on real hardware. Project website: https://sgs-rl.github.io/.
• Abstract（参考訳）: 汎用ロボットは、アジャイルの移動から巧妙な操作に至るまで、幅広いタスクをこなさなければならない。 sim-to-real reinforcement learning (RL)は、この目標に有用なツールであることが証明されているが、現在のRLパイプラインは、形状の報酬やデモのような、工学的に重く、タスクごとの構造的な事前に依存する。 近年の研究では、多種多様なシミュレータリセットと超並列シミュレーションを組み合わせることで、いくつかの操作問題において、この工学的負担の多くを軽減できることが示されている。 しかし、このパラダイムをより正確にあるいは動的に拡張することは簡単ではない。 シミュレータのリセットは探索に役立つが、この分布を均一にサンプリングすることで、タスク構成に関する学習経験が増加するのを無駄にする。 これにより、バッチ内の学習信号の多くは、学習中に無駄になるため、RLの並列環境のスケーリングという期待されたメリットを見出すことが難しくなる。 これを緩和するために、ポリシーの能力のフロンティア周辺のタスク設定にRLトレーニングを集中させるシンプルな適応型サンプリングであるSGS(Success Guided Smpling)を導入する。 これにより、大規模なシミュレーションRLをバッチで最大限に活用することができ、大規模な並列シミュレーションよりもはるかに効率的なスケーリングが可能になる。 最大$2^{20}$(100万ドル以上)の並列環境を用いた実験全体を通して、SGSはRLが従来の手法では解けなかった、マルチテランの四足歩行とコンタクトリッチな組立タスクを解くことができる。 最後に、学習した操作ポリシーをRGBベースのポリシーに蒸留し、実際のハードウェア上でのいくつかの困難なアセンブリタスクへのゼロショット転送を示す。 プロジェクトウェブサイト:https://sgs-rl.github.io/.com

関連論文リスト

• Scaling Tasks, Not Samples: Mastering Humanoid Control through Multi-Task Model-Based Reinforcement Learning [49.82882141491629]
  効果的なオンライン学習は、タスク毎のサンプル数ではなく、タスクの回数を拡大すべきである、と我々は主張する。 この体制はモデルに基づく強化学習の構造上の利点を明らかにしている。 我々は、オンライン学習のためのサンプル効率のよいマルチタスクアルゴリズムである textbfEfficientZero-Multitask (EZ-M) を用いて、このアイデアをインスタンス化する。
  論文  参考訳（メタデータ） (2026-03-02T05:07:43Z)
• Stabilizing Reinforcement Learning in Differentiable Multiphysics Simulation [11.360832156847103]
  本稿では,剛体や変形物を含むタスクにおけるRLのスケーリングを実現するための,新しいRLアルゴリズムとシミュレーションプラットフォームを提案する。 我々は,最大エントロピー1次モデルに基づくRLアルゴリズムであるSoft Analytic Policy (SAPO)を導入する。 また,剛体以外の様々な材料を模擬する並列微分可能多物理シミュレーションプラットフォームであるRewarpedを開発した。
  論文  参考訳（メタデータ） (2024-12-16T18:56:24Z)
• Autonomous Vehicle Controllers From End-to-End Differentiable Simulation [57.278726604424556]
  そこで我々は,AVコントローラのトレーニングにAPG(analytic Policy gradients)アプローチを適用可能なシミュレータを提案し,その設計を行う。 提案するフレームワークは, エージェントがより根底的なポリシーを学ぶのを助けるために, 環境力学の勾配を役立てる, エンド・ツー・エンドの訓練ループに, 微分可能シミュレータを組み込む。 ダイナミクスにおけるパフォーマンスとノイズに対する堅牢性の大幅な改善と、全体としてより直感的なヒューマンライクな処理が見られます。
  論文  参考訳（メタデータ） (2024-09-12T11:50:06Z)
• PLANRL: A Motion Planning and Imitation Learning Framework to Bootstrap Reinforcement Learning [13.564676246832544]
  PLANRLは、ロボットがいつ古典的な動き計画を使うべきか、いつポリシーを学ぶべきかを選択するためのフレームワークである。 PLANRLは2つの操作モードを切り替える: オブジェクトから離れたときに古典的なテクニックを使ってウェイポイントに到達し、オブジェクトと対話しようとするときに細かい操作制御を行う。 我々は,複数の課題のあるシミュレーション環境と実世界のタスクにまたがってアプローチを評価し,既存手法と比較して適応性,効率,一般化の点で優れた性能を示す。
  論文  参考訳（メタデータ） (2024-08-07T19:30:08Z)
• Learn to Teach: Sample-Efficient Privileged Learning for Humanoid Locomotion over Diverse Terrains [6.967583364984562]
  本研究は,教師と学生の政策学習を統合したワンステージ・トレーニング・フレームワーク,Learn to Teach (L2T)を提案する。 提案手法は, サンプルをリサイクルし, 共有力学を用いて学習軌跡を同期させ, サンプルの複雑さと学習時間を著しく低減する。 深度推定モジュールを使わずに12以上の困難な地形上で, ゼロショットのシミュレートとロバストな性能を実証し, シミュレーションとハードウェアテストによりRL変種(L2T-RL)を検証した。
  論文  参考訳（メタデータ） (2024-02-09T21:16:43Z)
• REBOOT: Reuse Data for Bootstrapping Efficient Real-World Dexterous Manipulation [61.7171775202833]
  本稿では,強化学習による巧妙な操作スキルの学習を効率化するシステムを提案する。 我々のアプローチの主な考え方は、サンプル効率のRLとリプレイバッファブートストラップの最近の進歩の統合である。 本システムでは,実世界の学習サイクルを,模倣に基づくピックアップポリシを通じて学習されたリセットを組み込むことで完遂する。
  論文  参考訳（メタデータ） (2023-09-06T19:05:31Z)
• Learning Dexterous Manipulation from Suboptimal Experts [69.8017067648129]
  相対エントロピーQラーニング(Relative Entropy Q-Learning、REQ)は、オフラインおよび従来のRLアルゴリズムのアイデアを組み合わせた単純なポリシーアルゴリズムである。 本稿では、REQが、デモから一般の政治外RL、オフラインRL、およびRLにどのように有効であるかを示す。
  論文  参考訳（メタデータ） (2020-10-16T18:48:49Z)
• Meta-Reinforcement Learning for Robotic Industrial Insertion Tasks [70.56451186797436]
  本研究では,メタ強化学習を用いてシミュレーションの課題の大部分を解決する方法について検討する。 エージェントを訓練して現実の挿入タスクを成功させる手法を実証する。
  論文  参考訳（メタデータ） (2020-04-29T18:00:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。