論文の概要: Monolithic vs. hybrid controller for multi-objective Sim-to-Real learning

• arxiv url: http://arxiv.org/abs/2108.07514v1
• Date: Tue, 17 Aug 2021 09:02:33 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-18 13:11:58.469562
• Title: Monolithic vs. hybrid controller for multi-objective Sim-to-Real learning
• Title（参考訳）: 多目的sim-to-real学習のためのモノリシック対ハイブリッドコントローラ
• Authors: Atakan Dag, Alexandre Angleraud, Wenyan Yang, Nataliya Strokina, Roel S. Pieters, Minna Lanz, Joni-Kristian Kamarainen
• Abstract要約: シミュレーション・トゥ・リアル(Sim-to-Real)はロボット作業のためのコントローラを構築するための魅力的なアプローチである。 本研究では,ロボットマニピュレータの多目的設定における2つのアプローチを比較し,障害物を避けながら目標に到達する方法を提案する。 この結果から,ハイブリッドコントローラのトレーニングが簡単で,モノリシックコントローラよりも優れた成功と失敗のトレードオフが得られることがわかった。
• 参考スコア（独自算出の注目度）: 58.32117053812925
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Simulation to real (Sim-to-Real) is an attractive approach to construct controllers for robotic tasks that are easier to simulate than to analytically solve. Working Sim-to-Real solutions have been demonstrated for tasks with a clear single objective such as "reach the target". Real world applications, however, often consist of multiple simultaneous objectives such as "reach the target" but "avoid obstacles". A straightforward solution in the context of reinforcement learning (RL) is to combine multiple objectives into a multi-term reward function and train a single monolithic controller. Recently, a hybrid solution based on pre-trained single objective controllers and a switching rule between them was proposed. In this work, we compare these two approaches in the multi-objective setting of a robot manipulator to reach a target while avoiding an obstacle. Our findings show that the training of a hybrid controller is easier and obtains a better success-failure trade-off than a monolithic controller. The controllers trained in simulator were verified by a real set-up.
• Abstract（参考訳）: シミュレーション・トゥ・リアル(Sim-to-Real)は、ロボットタスクのためのコントローラを構築するための魅力的なアプローチである。 Sim-to-Realソリューションの動作は、"ターゲットの取得"のような明確な単一目的のタスクに対して実証されている。 しかし、現実世界のアプリケーションはしばしば「目標に到達」するが「障害を回避」するような複数の同時目的で構成されている。 強化学習(rl)の文脈における直接的な解決策は、複数の目的を多項報酬関数に結合し、1つのモノリシックコントローラを訓練することである。 近年,事前学習した単目的コントローラと,それらの間の切り替えルールに基づくハイブリッドソリューションが提案されている。 本研究では,ロボットマニピュレータの多目的設定における2つのアプローチを比較し,障害物を避けながら目標に到達する。 以上の結果から,ハイブリッドコントローラのトレーニングは容易であり,モノリシックコントローラよりも成功・失敗のトレードオフが得られた。 シミュレーターで訓練されたコントローラは、実際のセットアップによって検証された。

関連論文リスト

• Autonomous Vehicle Controllers From End-to-End Differentiable Simulation [60.05963742334746]
  そこで我々は,AVコントローラのトレーニングにAPG(analytic Policy gradients)アプローチを適用可能なシミュレータを提案し,その設計を行う。 提案するフレームワークは, エージェントがより根底的なポリシーを学ぶのを助けるために, 環境力学の勾配を役立てる, エンド・ツー・エンドの訓練ループに, 微分可能シミュレータを組み込む。 ダイナミクスにおけるパフォーマンスとノイズに対する堅牢性の大幅な改善と、全体としてより直感的なヒューマンライクな処理が見られます。
  論文  参考訳（メタデータ） (2024-09-12T11:50:06Z)
• Learning to Fly in Seconds [7.259696592534715]
  カリキュラム学習と高度に最適化されたシミュレータが,サンプルの複雑さを増し,学習時間の短縮につながることを示す。 我々のフレームワークは、コンシューマ級ラップトップで18秒のトレーニングをした後、直接制御するためのSimulation-to-Real(Sim2Real)転送を可能にする。
  論文  参考訳（メタデータ） (2023-11-22T01:06:45Z)
• Nonprehensile Planar Manipulation through Reinforcement Learning with Multimodal Categorical Exploration [8.343657309038285]
  強化学習はそのようなロボットコントローラを開発するための強力なフレームワークである。 分類分布を用いたマルチモーダル探索手法を提案する。 学習したポリシは外部の障害や観測ノイズに対して堅牢であり、複数のプッシュ器でタスクにスケールできることが示される。
  論文  参考訳（メタデータ） (2023-08-04T16:55:00Z)
• Bi-Manual Block Assembly via Sim-to-Real Reinforcement Learning [24.223788665601678]
  2つのxArm6ロボットがU字型組立タスクを、シミュレーションで90%以上、実際のハードウェアで50%の確率で解決する。 以上の結果から,本システムは今後,深部RLおよびSim2Real転送バイマニュアルポリアの研究を刺激していきたいと願っている。
  論文  参考訳（メタデータ） (2023-03-27T01:25:24Z)
• Efficient Skill Acquisition for Complex Manipulation Tasks in Obstructed Environments [18.348489257164356]
  本稿では,オブジェクト指向生成モデル(OCGM)を多目的ゴール識別に活用する,効率的なスキル獲得システムを提案する。 OCGMは、新しいシーンでワンショットターゲットオブジェクトの識別と再識別を可能にし、MPは障害物を避けながらロボットを対象オブジェクトに誘導することができる。
  論文  参考訳（メタデータ） (2023-03-06T18:49:59Z)
• Leveraging Sequentiality in Reinforcement Learning from a Single Demonstration [68.94506047556412]
  本稿では,複雑なロボットタスクの制御ポリシーを1つの実演で学習するために,シーケンシャルなバイアスを活用することを提案する。 本研究は, ヒューマノイド移動やスタンドアップなど, 模擬課題のいくつかを, 前例のないサンプル効率で解くことができることを示す。
  論文  参考訳（メタデータ） (2022-11-09T10:28:40Z)
• Reactive Long Horizon Task Execution via Visual Skill and Precondition Models [59.76233967614774]
  シミュレーションで学習したモデルを用いて、単純なタスクプランナの構成要素をグラウンド化することで、見知らぬロボットタスクを達成できるシミュレート・トゥ・リアル・トレーニングのアプローチについて述べる。 シミュレーションでは91.6%から98%,実世界の成功率は10%から80%に増加した。
  論文  参考訳（メタデータ） (2020-11-17T15:24:01Z)
• ReLMoGen: Leveraging Motion Generation in Reinforcement Learning for Mobile Manipulation [99.2543521972137]
  ReLMoGenは、サブゴールを予測するための学習されたポリシーと、これらのサブゴールに到達するために必要な動作を計画し実行するためのモーションジェネレータを組み合わせたフレームワークである。 本手法は,フォトリアリスティック・シミュレーション環境における7つのロボットタスクの多種多様なセットをベンチマークする。 ReLMoGenは、テスト時に異なるモーションジェネレータ間で顕著な転送可能性を示し、実際のロボットに転送する大きな可能性を示している。
  論文  参考訳（メタデータ） (2020-08-18T08:05:15Z)
• Automatic Curriculum Learning through Value Disagreement [95.19299356298876]
  新しい未解決タスクを継続的に解決することが、多様な行動を学ぶための鍵です。 エージェントが複数の目標を達成する必要があるマルチタスク領域では、トレーニング目標の選択はサンプル効率に大きな影響を与える可能性がある。 そこで我々は,エージェントが解決すべき目標のための自動カリキュラムを作成することを提案する。 提案手法は,13のマルチゴールロボットタスクと5つのナビゲーションタスクにまたがって評価し,現在の最先端手法よりも高い性能を示す。
  論文  参考訳（メタデータ） (2020-06-17T03:58:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。