論文の概要: Learn to Teach: Sample-Efficient Privileged Learning for Humanoid Locomotion over Diverse Terrains

• arxiv url: http://arxiv.org/abs/2402.06783v2
• Date: Fri, 14 Mar 2025 18:05:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-18 14:56:56.902103
• Title: Learn to Teach: Sample-Efficient Privileged Learning for Humanoid Locomotion over Diverse Terrains
• Title（参考訳）: 教師に学ぶ: 多様な地形上でのヒューマノイドロコモーションのためのサンプル効率のよい原始的学習
• Authors: Feiyang Wu, Xavier Nal, Jaehwi Jang, Wei Zhu, Zhaoyuan Gu, Anqi Wu, Ye Zhao,
• Abstract要約: 本研究は,教師と学生の政策学習を統合したワンステージ・トレーニング・フレームワーク,Learn to Teach (L2T)を提案する。 提案手法は, サンプルをリサイクルし, 共有力学を用いて学習軌跡を同期させ, サンプルの複雑さと学習時間を著しく低減する。 深度推定モジュールを使わずに12以上の困難な地形上で, ゼロショットのシミュレートとロバストな性能を実証し, シミュレーションとハードウェアテストによりRL変種(L2T-RL)を検証した。
• 参考スコア（独自算出の注目度）: 6.967583364984562
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Humanoid robots promise transformative capabilities for industrial and service applications. While recent advances in Reinforcement Learning (RL) yield impressive results in locomotion, manipulation, and navigation, the proposed methods typically require enormous simulation samples to account for real-world variability. This work proposes a novel one-stage training framework-Learn to Teach (L2T)-which unifies teacher and student policy learning. Our approach recycles simulator samples and synchronizes the learning trajectories through shared dynamics, significantly reducing sample complexities and training time while achieving state-of-the-art performance. Furthermore, we validate the RL variant (L2T-RL) through extensive simulations and hardware tests on the Digit robot, demonstrating zero-shot sim-to-real transfer and robust performance over 12+ challenging terrains without depth estimation modules.
• Abstract（参考訳）: ヒューマノイドロボットは、産業用およびサービス用アプリケーションにトランスフォーメーション機能を約束する。 近年の強化学習(Reinforcement Learning, RL)の進歩は, 移動, 操作, ナビゲーションにおいて顕著な結果をもたらすが, 提案手法は実世界の変動を考慮に入れた膨大なシミュレーションサンプルを必要とするのが一般的である。 本研究は,教師と学生の政策学習を統合したワンステージ・トレーニング・フレームワーク,Learn to Teach (L2T)を提案する。 提案手法は,サンプルをリサイクルし,共有力学を用いて学習軌跡を同期させ,サンプルの複雑さとトレーニング時間を著しく低減し,最先端性能を実現させる。 さらに、ディジットロボットの広範囲なシミュレーションとハードウェアテストにより、12以上の挑戦地形上でのゼロショットシミュレートとロバストな性能を実証し、RL変種(L2T-RL)を検証する。

関連論文リスト

• CTSAC: Curriculum-Based Transformer Soft Actor-Critic for Goal-Oriented Robot Exploration [3.435901586870572]
  強化学習(RL)は自律型ロボット探査の分野で有望なアプローチになりつつある。 現在のRLベースの探索アルゴリズムは、限られた環境推論能力、緩やかな収束率、シム・トゥ・レアル転送における重大な課題に直面することが多い。 本稿では,探索効率と転送性能の両方を改善することを目的とした,カリキュラム学習に基づく変圧器強化学習アルゴリズム(CTSAC)を提案する。
  論文  参考訳（メタデータ） (2025-03-18T13:44:29Z)
• Adaptive Teaching in Heterogeneous Agents: Balancing Surprise in Sparse Reward Scenarios [3.638198517970729]
  実証から学ぶことは、類似エージェントでシステムを訓練する効果的な方法である。 しかし、生徒の能力の限界から外れたデモを自然に複製することは、効率的な学習を制限することができる。 本稿では,教師と学生エージェントの異質性の課題に対処するために,教員-学生学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-23T05:52:42Z)
• YODA: Teacher-Student Progressive Learning for Language Models [82.0172215948963]
  本稿では,教師が指導するプログレッシブ・ラーニング・フレームワークであるYodaを紹介する。 モデルファインチューニングの有効性を向上させるために,教師の教育過程をエミュレートする。 実験の結果, YODAのデータによるLLaMA2のトレーニングにより, SFTは大幅に向上した。
  論文  参考訳（メタデータ） (2024-01-28T14:32:15Z)
• Back-stepping Experience Replay with Application to Model-free Reinforcement Learning for a Soft Snake Robot [15.005962159112002]
  Back-stepping Experience Replay (BER)は、任意の外部強化学習アルゴリズムと互換性がある。 柔らかいヘビロボットの移動とナビゲーションのためのモデルレスRLアプローチにおけるBERの適用について述べる。
  論文  参考訳（メタデータ） (2024-01-21T02:17:16Z)
• Model-Based Reinforcement Learning with Multi-Task Offline Pretraining [59.82457030180094]
  本稿では,オフラインデータから新しいタスクへ,潜在的に有用なダイナミックスや動作デモを伝達するモデルベースRL法を提案する。 主な考え方は、世界モデルを行動学習のシミュレーターとしてだけでなく、タスクの関連性を測定するツールとして使うことである。 本稿では,Meta-WorldとDeepMind Control Suiteの最先端手法と比較して,我々のアプローチの利点を実証する。
  論文  参考訳（メタデータ） (2023-06-06T02:24:41Z)
• Hindsight States: Blending Sim and Real Task Elements for Efficient Reinforcement Learning [61.3506230781327]
  ロボット工学では、第一原理から導かれた力学モデルに基づくシミュレーションに基づいて、トレーニングデータを生成する方法がある。 ここでは、力学の複雑さの不均衡を利用して、より標本効率のよい学習を行う。 提案手法をいくつかの課題に対して検証し,既存の近視アルゴリズムと組み合わせた場合の学習改善を実証する。
  論文  参考訳（メタデータ） (2023-03-03T21:55:04Z)
• Distantly-Supervised Named Entity Recognition with Adaptive Teacher Learning and Fine-grained Student Ensemble [56.705249154629264]
  NERモデルの堅牢性を改善するために,自己学習型教員学生フレームワークを提案する。 本稿では,2つの教員ネットワークからなる適応型教員学習を提案する。 微粒な学生アンサンブルは、教師モデルの各フラグメントを、生徒の対応するフラグメントの時間移動平均で更新し、各モデルフラグメントのノイズに対する一貫した予測を強化する。
  論文  参考訳（メタデータ） (2022-12-13T12:14:09Z)
• Continual learning autoencoder training for a particle-in-cell simulation via streaming [52.77024349608834]
  今後のエクサスケール時代は 次世代の物理シミュレーションを 高解像度で提供します これらのシミュレーションは高解像度であり、ディスク上に大量のシミュレーションデータを格納することはほぼ不可能であるため、機械学習モデルのトレーニングに影響を与える。 この研究は、ディスク上のデータなしで、実行中のシミュレーションにニューラルネットワークを同時にトレーニングするアプローチを示す。
  論文  参考訳（メタデータ） (2022-11-09T09:55:14Z)
• Teacher-student curriculum learning for reinforcement learning [1.7259824817932292]
  強化学習(rl)は、シーケンシャルな意思決定問題に対する一般的なパラダイムである。 深部強化学習手法のサンプル非効率性は,実世界の問題に適用する際の重要な障害である。 そこで我々は,学生が選択した課題の解き方を学習している間に,生徒の課題を選択する教師を同時に訓練する学習環境を提案する。
  論文  参考訳（メタデータ） (2022-10-31T14:45:39Z)
• SAM-RL: Sensing-Aware Model-Based Reinforcement Learning via Differentiable Physics-Based Simulation and Rendering [49.78647219715034]
  本稿では,SAM-RL と呼ばれる感性認識モデルに基づく強化学習システムを提案する。 SAM-RLは、センサーを意識した学習パイプラインによって、ロボットがタスクプロセスを監視するための情報的視点を選択することを可能にする。 我々は,ロボット組立,ツール操作,変形可能なオブジェクト操作という3つの操作タスクを達成するための実世界の実験に,我々のフレームワークを適用した。
  論文  参考訳（メタデータ） (2022-10-27T05:30:43Z)
• Know Thy Student: Interactive Learning with Gaussian Processes [11.641731210416102]
  そこで本研究では,ガウス過程を用いた簡単な診断アルゴリズムを提案する。 本研究は,教師が生徒に実演を行い,余分な軌跡の送出を避けるためのオフライン強化学習環境である。 本実験は,対話型教師の助けを借りて,学生がより効率的に学習できる方法を示す。
  論文  参考訳（メタデータ） (2022-04-26T04:43:57Z)
• TRAIL: Near-Optimal Imitation Learning with Suboptimal Data [100.83688818427915]
  オフラインデータセットを使用してファクタードトランジションモデルを学習するトレーニング目標を提案する。 我々の理論的分析は、学習された潜在行動空間が下流模倣学習のサンプル効率を高めることを示唆している。 実際に潜伏行動空間を学習するために、エネルギーベースの遷移モデルを学ぶアルゴリズムTRAIL(Transition-Reparametrized Actions for Imitation Learning)を提案する。
  論文  参考訳（メタデータ） (2021-10-27T21:05:00Z)
• Iterative Teacher-Aware Learning [136.05341445369265]
  人間の教育において、教師と学生はコミュニケーション効率を最大化するために適応的に交流することができる。 本稿では,教師の協調意図を可能性関数に組み込むことができる,勾配最適化に基づく教師認識学習者を提案する。
  論文  参考訳（メタデータ） (2021-10-01T00:27:47Z)
• Efficient Transformers in Reinforcement Learning using Actor-Learner Distillation [91.05073136215886]
  「Actor-Learner Distillation」は、大容量学習者モデルから小容量学習者モデルへ学習の進捗を移す。 Actor-Learner Distillation を用いて,トランスフォーマー学習モデルの明確なサンプル効率向上を再現する,いくつかの挑戦的なメモリ環境を実証する。
  論文  参考訳（メタデータ） (2021-04-04T17:56:34Z)
• Interaction-limited Inverse Reinforcement Learning [50.201765937436654]
  本稿では,教師の視点をカバーしたカリキュラム逆強化学習(CIRL)と,学習者の視点に着目した自己適用逆強化学習(SPIRL)の2つの訓練戦略を提案する。 シミュレーション実験と実ロボットを用いた実験により,CIRLの無作為教師やSPIRLのバッチ学習者よりも高速な学習が可能であることを示す。
  論文  参考訳（メタデータ） (2020-07-01T12:31:52Z)
• RL-CycleGAN: Reinforcement Learning Aware Simulation-To-Real [74.45688231140689]
  本稿では、画像翻訳におけるRL-scene整合性損失を導入し、画像に関連付けられたQ値に対して変換操作が不変であることを保証する。 RL-CycleGANは実世界のシミュレーションから実世界への変換による強化学習のための新しい手法である。
  論文  参考訳（メタデータ） (2020-06-16T08:58:07Z)
• Never Stop Learning: The Effectiveness of Fine-Tuning in Robotic Reinforcement Learning [109.77163932886413]
  本稿では,ロボットによるロボット操作ポリシーを,政治以外の強化学習を通じて微調整することで,新たなバリエーションに適応する方法を示す。 この適応は、タスクをゼロから学習するために必要なデータの0.2%未満を使用する。 事前訓練されたポリシーを適用するという私たちのアプローチは、微調整の過程で大きなパフォーマンス向上につながります。
  論文  参考訳（メタデータ） (2020-04-21T17:57:04Z)
• ACNMP: Skill Transfer and Task Extrapolation through Learning from Demonstration and Reinforcement Learning via Representation Sharing [5.06461227260756]
  ACNMPは、異なる形態を持つロボット間のスキル伝達を実装するために使用できる。 本稿では,実際のロボット実験を通して,ACNMPの現実的適合性を示す。
  論文  参考訳（メタデータ） (2020-03-25T11:28:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。