論文の概要: Foundational Policy Acquisition via Multitask Learning for Motor Skill Generation

• arxiv url: http://arxiv.org/abs/2308.16471v3
• Date: Thu, 2 May 2024 07:30:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-05-03 22:30:00.622841
• Title: Foundational Policy Acquisition via Multitask Learning for Motor Skill Generation
• Title（参考訳）: モータースキル生成のためのマルチタスク学習による基礎的政策獲得
• Authors: Satoshi Yamamori, Jun Morimoto,
• Abstract要約: 本稿では,新しい運動能力を生み出すための基本方針獲得のためのマルチタスク強化学習アルゴリズムを提案する。 人間の感覚運動適応機構に触発されて,新しい運動技術を学ぶのによく用いられるエンコーダ・デコーダネットワークを訓練することを目指す。
• 参考スコア（独自算出の注目度）: 0.9668407688201356
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this study, we propose a multitask reinforcement learning algorithm for foundational policy acquisition to generate novel motor skills. Inspired by human sensorimotor adaptation mechanisms, we aim to train encoder-decoder networks that can be commonly used to learn novel motor skills in a single movement category. To train the policy network, we develop the multitask reinforcement learning method, where the policy needs to cope with changes in goals or environments with different reward functions or physical parameters of the environment in dynamic movement generation tasks. Here, as a concrete task, we evaluated the proposed method with the ball heading task using a monopod robot model. The results showed that the proposed method could adapt to novel target positions or inexperienced ball restitution coefficients. Furthermore, we demonstrated that the acquired foundational policy network originally learned for heading motion, can be used to generate an entirely new overhead kicking skill.
• Abstract（参考訳）: 本研究では,新しい運動能力を生み出すための基本方針獲得のためのマルチタスク強化学習アルゴリズムを提案する。 ヒトの感覚運動適応機構に触発されて、単一運動カテゴリーで新しい運動能力を学ぶのによく用いられるエンコーダ・デコーダネットワークを訓練することを目指している。 政策ネットワークを訓練するために,動的運動生成タスクにおいて,異なる報酬関数を持つ目標や環境の変化に対処する必要があるマルチタスク強化学習法を開発した。 ここでは,具体的な課題として,単足ロボットモデルを用いてボール誘導タスクを用いて提案手法の評価を行った。 その結果, 提案手法は, 新規な目標位置や未経験球再生係数に適応できることがわかった。 さらに,この学習した基本方針ネットワークは,もともと方向運動で学んだもので,全く新しい頭上蹴りスキルを生み出すことができることを示した。

関連論文リスト

• Model Evolution Framework with Genetic Algorithm for Multi-Task Reinforcement Learning [85.91908329457081]
  マルチタスク強化学習は、様々なシナリオにまたがって一般化可能なエージェントを開発することを目的として、様々なタスクを完遂するために単一のポリシーを採用する。 既存のアプローチでは、ルーティングネットワークを使用して各タスクの特定のルートを生成し、モジュールのセットをさまざまなモデルに再構築し、複数のタスクを同時に完了させるのが一般的である。 本稿では,遺伝的アルゴリズム(MEGA)を用いたモデル進化フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-19T09:22:34Z)
• Vision-Based Generic Potential Function for Policy Alignment in Multi-Agent Reinforcement Learning [14.68673479535835]
  本稿では,人間共通の感覚に合わせた強化学習の方針を導出するための階層的視覚に基づく報酬形成手法を提案する。 ポリシーが不確実性と長期タスクの変化に適応するのを助けるため、トップレイヤは適応的なスキル選択モジュールを備えている。 提案手法は高い勝利率を達成し,その政策を人間の常識と効果的に整合させる。
  論文  参考訳（メタデータ） (2025-02-19T05:04:10Z)
• Distilling Reinforcement Learning Policies for Interpretable Robot Locomotion: Gradient Boosting Machines and Symbolic Regression [53.33734159983431]
  本稿では, ニューラルRLポリシをより解釈可能な形式に蒸留する新しい手法を提案する。 我々は、RLを用いて専門家のニューラルネットワークポリシーを訓練し、(i)GBM、(ii)EBM、(iii)シンボリックポリシーに蒸留する。
  論文  参考訳（メタデータ） (2024-03-21T11:54:45Z)
• A Central Motor System Inspired Pre-training Reinforcement Learning for Robotic Control [7.227887302864789]
  本稿では,CMS-PRLを提案する。 まず、基本的なモータ報酬と相互情報報酬を組み合わせた融合報酬機構を導入する。 第2に,基底神経節の運動プログラムにインスパイアされたスキルエンコーディング手法を設計し,リッチかつ継続的なスキル指導を提供する。 第3に,運動能力の制御のためのスキルアクティビティ機能を提案する。
  論文  参考訳（メタデータ） (2023-11-14T00:49:12Z)
• Robot Fine-Tuning Made Easy: Pre-Training Rewards and Policies for Autonomous Real-World Reinforcement Learning [58.3994826169858]
  ロボット強化学習のためのリセット不要な微調整システムであるRoboFuMEを紹介する。 我々の洞察は、オフラインの強化学習技術を利用して、事前訓練されたポリシーの効率的なオンライン微調整を確保することである。 提案手法では,既存のロボットデータセットからのデータを組み込んで,目標タスクを3時間以内の自律現実体験で改善することができる。
  論文  参考訳（メタデータ） (2023-10-23T17:50:08Z)
• Reparameterized Policy Learning for Multimodal Trajectory Optimization [61.13228961771765]
  本研究では,高次元連続行動空間における強化学習のためのパラメータ化政策の課題について検討する。 本稿では,連続RLポリシーを最適軌道の生成モデルとしてモデル化する原理的フレームワークを提案する。 本稿では,マルチモーダルポリシーパラメータ化と学習世界モデルを活用した実用的モデルベースRL手法を提案する。
  論文  参考訳（メタデータ） (2023-07-20T09:05:46Z)
• Latent-Conditioned Policy Gradient for Multi-Objective Deep Reinforcement Learning [2.1408617023874443]
  本稿では,政策勾配を用いて単一ニューラルネットワークを学習する多目的強化学習(MORL)アルゴリズムを提案する。 提案手法はポリシーネットワークの設計変更を伴わない連続的かつ離散的な行動空間で機能する。
  論文  参考訳（メタデータ） (2023-03-15T20:07:48Z)
• Learning Multi-Task Transferable Rewards via Variational Inverse Reinforcement Learning [10.782043595405831]
  我々は、生成的対向ネットワークの枠組みに基づく複数のタスクを伴う状況に対して、エンパワーメントに基づく正規化手法を拡張した。 未知のダイナミクスを持つマルチタスク環境下では、ラベルのない専門家の例から報酬とポリシーを学ぶことに集中する。 提案手法は, 状況的相互情報の変動的下限を導出し, 最適化する。
  論文  参考訳（メタデータ） (2022-06-19T22:32:41Z)
• Deep Reinforcement Learning with Adaptive Hierarchical Reward for MultiMulti-Phase Multi Multi-Objective Dexterous Manipulation [11.638614321552616]
  優先度の変動により、ロボットは深層強化学習(DRL)法で最適なポリシーをほとんど学ばず、あるいはうまくいかなかった。 我々は、DRLエージェントを誘導し、複数の優先順位付けされた目的を持つ操作タスクを学習するための、新しい適応階層リワード機構(AHRM)を開発した。 提案手法は,JACOロボットアームを用いた多目的操作タスクにおいて検証される。
  論文  参考訳（メタデータ） (2022-05-26T15:44:31Z)
• Planning to Practice: Efficient Online Fine-Tuning by Composing Goals in Latent Space [76.46113138484947]
  汎用ロボットは、現実世界の非構造環境において困難なタスクを完了するために、多様な行動レパートリーを必要とする。 この問題に対処するため、目標条件強化学習は、コマンド上の幅広いタスクの目標に到達可能なポリシーを取得することを目的としている。 本研究では,長期的課題に対する目標条件付き政策を実践的に訓練する手法であるPlanning to Practiceを提案する。
  論文  参考訳（メタデータ） (2022-05-17T06:58:17Z)
• Training and Evaluation of Deep Policies using Reinforcement Learning and Generative Models [67.78935378952146]
  GenRLはシーケンシャルな意思決定問題を解決するためのフレームワークである。 強化学習と潜在変数生成モデルの組み合わせを利用する。 最終方針訓練の性能に最も影響を与える生成モデルの特徴を実験的に決定する。
  論文  参考訳（メタデータ） (2022-04-18T22:02:32Z)
• Towards Exploiting Geometry and Time for FastOff-Distribution Adaptation in Multi-Task RobotLearning [17.903462188570067]
  トレーニング済みタスクのベースセットに対するポリシーをトレーニングし、次に、新しいオフディストリビューションタスクに適応する実験を行います。 低複雑さのターゲットポリシークラス、ブラックボックス前の基本ポリシー、および単純な最適化アルゴリズムを組み合わせることで、ベースタスクの配布外の新しいタスクを取得できることがわかりました。
  論文  参考訳（メタデータ） (2021-06-24T02:13:50Z)
• An Open-Source Multi-Goal Reinforcement Learning Environment for Robotic Manipulation with Pybullet [38.8947981067233]
  この作業は、商用のMujocoエンジンをベースとしたOpenAI Gymマルチゴールロボット操作環境を、オープンソースのPybulletエンジンに再実装する。 ユーザーは、ジョイントコントロールモード、画像観察、ゴールにカスタマイズ可能なカメラと内蔵のカメラでアクセスできる新しいAPIをユーザーに提供します。 また,多段階・多ゴール・長水平・スパース報酬のロボット操作タスクのセットを設計し,これらの課題に対する新たな目標条件強化学習アルゴリズムの創出を目指す。
  論文  参考訳（メタデータ） (2021-05-12T21:58:57Z)
• Bayesian Meta-Learning for Few-Shot Policy Adaptation Across Robotic Platforms [60.59764170868101]
  強化学習手法は、重要な性能を達成できるが、同じロボットプラットフォームで収集される大量のトレーニングデータを必要とする。 私たちはそれを、さまざまなロボットプラットフォームで共有される共通の構造を捉えるモデルを見つけることを目標とする、数ショットのメタラーニング問題として定式化します。 我々は,400個のロボットを用いて,実ロボットピッキング作業とシミュレーションリーチの枠組みを実験的に評価した。
  論文  参考訳（メタデータ） (2021-03-05T14:16:20Z)
• Towards Coordinated Robot Motions: End-to-End Learning of Motion Policies on Transform Trees [63.31965375413414]
  人間による実証から構造化政策を学習し、マルチタスクの課題解決を提案します。 我々の構造化ポリシーは、異なる空間におけるサブタスクポリシーを組み合わせるためのフレームワークであるRMPflowにインスパイアされている。 マルチタスク問題に適したエンドツーエンドの学習目標関数を導き出します。
  論文  参考訳（メタデータ） (2020-12-24T22:46:22Z)
• Neural Dynamic Policies for End-to-End Sensorimotor Learning [51.24542903398335]
  感覚運動制御における現在の主流パラダイムは、模倣であれ強化学習であれ、生の行動空間で政策を直接訓練することである。 軌道分布空間の予測を行うニューラル・ダイナミック・ポリシー(NDP)を提案する。 NDPは、いくつかのロボット制御タスクにおいて、効率と性能の両面で、これまでの最先端よりも優れている。
  論文  参考訳（メタデータ） (2020-12-04T18:59:32Z)
• Meta-Reinforcement Learning Robust to Distributional Shift via Model Identification and Experience Relabeling [126.69933134648541]
  本稿では,テスト時にアウト・オブ・ディストリビューション・タスクに直面した場合に,効率よく外挿できるメタ強化学習アルゴリズムを提案する。 我々の手法は単純な洞察に基づいており、動的モデルが非政治データに効率的かつ一貫して適応可能であることを認識している。
  論文  参考訳（メタデータ） (2020-06-12T13:34:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。