論文の概要: Benchmarking Deep Reinforcement Learning Algorithms for Vision-based Robotics

• arxiv url: http://arxiv.org/abs/2201.04224v1
• Date: Tue, 11 Jan 2022 22:45:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-13 22:06:30.949048
• Title: Benchmarking Deep Reinforcement Learning Algorithms for Vision-based Robotics
• Title（参考訳）: 視覚ロボットのための深層強化学習アルゴリズムのベンチマーク
• Authors: Swagat Kumar, Hayden Sampson, Ardhendu Behera
• Abstract要約: 本稿では,2つの視覚に基づくロボット工学問題の解法として,最先端の強化学習アルゴリズムのベンチマーク研究を行う。 これらのアルゴリズムの性能は、PyBulletの2つのシミュレーション環境であるKukaDiverseObjectEnvとRacecarZEDGymEnvと比較される。
• 参考スコア（独自算出の注目度）: 11.225021326001778
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper presents a benchmarking study of some of the state-of-the-art reinforcement learning algorithms used for solving two simulated vision-based robotics problems. The algorithms considered in this study include soft actor-critic (SAC), proximal policy optimization (PPO), interpolated policy gradients (IPG), and their variants with Hindsight Experience replay (HER). The performances of these algorithms are compared against PyBullet's two simulation environments known as KukaDiverseObjectEnv and RacecarZEDGymEnv respectively. The state observations in these environments are available in the form of RGB images and the action space is continuous, making them difficult to solve. A number of strategies are suggested to provide intermediate hindsight goals required for implementing HER algorithm on these problems which are essentially single-goal environments. In addition, a number of feature extraction architectures are proposed to incorporate spatial and temporal attention in the learning process. Through rigorous simulation experiments, the improvement achieved with these components are established. To the best of our knowledge, such a benchmarking study is not available for the above two vision-based robotics problems making it a novel contribution in the field.
• Abstract（参考訳）: 本稿では,2つの視覚に基づくロボット工学問題の解法として,最先端の強化学習アルゴリズムのベンチマーク研究を行う。 本研究で検討されているアルゴリズムは、ソフトアクター・クリティック(SAC)、近位ポリシー最適化(PPO)、補間ポリシー勾配(IPG)、およびHER(Hindsight Experience replay)を含む。 これらのアルゴリズムの性能は、PyBulletの2つのシミュレーション環境であるKukaDiverseObjectEnvとRacecarZEDGymEnvと比較される。 これらの環境における状態観察はRGB画像の形で利用可能であり、アクション空間は連続しており、解決が困難である。 基本的には単一ゴール環境であるこれらの問題に対してHERアルゴリズムを実装するのに必要な、いくつかの戦略が提案されている。 また,学習過程に空間的および時間的注意を組み込むために,いくつかの特徴抽出アーキテクチャが提案されている。 厳密なシミュレーション実験により、これらの成分による改善が確立される。 私たちの知る限りでは、上記の2つのビジョンベースのロボット工学の問題に対して、このようなベンチマーク研究は利用できない。

関連論文リスト

• Real Evaluations Tractability using Continuous Goal-Directed Actions in Smart City Applications [3.1158660854608824]
  継続的目標指向アクション(CGDA)は、環境から抽出できるあらゆる機能の変更としてアクションをエンコードする。 現在の戦略では、シミュレーションで評価を行い、最終的な関節軌道を実際のロボットに転送する。 EAを用いた評価を減らすための2つの異なるアプローチが提案され、比較された。
  論文  参考訳（メタデータ） (2024-02-01T15:38:21Z)
• Graphical Object-Centric Actor-Critic [55.2480439325792]
  本稿では,アクター批判とモデルに基づくアプローチを組み合わせたオブジェクト中心強化学習アルゴリズムを提案する。 変換器エンコーダを用いてオブジェクト表現とグラフニューラルネットワークを抽出し、環境のダイナミクスを近似する。 本アルゴリズムは,現状のモデルフリーアクター批判アルゴリズムよりも複雑な3次元ロボット環境と構成構造をもつ2次元環境において,より優れた性能を発揮する。
  論文  参考訳（メタデータ） (2023-10-26T06:05:12Z)
• Discovering General Reinforcement Learning Algorithms with Adversarial Environment Design [54.39859618450935]
  メタ学習型更新ルールは,広範囲のRLタスクで良好に機能するアルゴリズムの発見を期待して,実現可能であることを示す。 Learned Policy Gradient (LPG)のようなアルゴリズムによる印象的な初期結果にもかかわらず、これらのアルゴリズムが目に見えない環境に適用される場合、まだギャップが残っている。 本研究では,メタ教師付き学習分布の特性が,これらのアルゴリズムの性能に与える影響について検討する。
  論文  参考訳（メタデータ） (2023-10-04T12:52:56Z)
• Contribution \`a l'Optimisation d'un Comportement Collectif pour un Groupe de Robots Autonomes [0.0]
  この論文は集団ロボット工学の分野、特にマルチロボットシステムの最適化問題を研究している。 最初の貢献は、未知領域探索問題の解決にButterfly Algorithm Optimization (BOA) を用いることである。 第2の貢献は、ロボット工学における動的増分問題をベンチマークするための新しいシミュレーションフレームワークの開発である。
  論文  参考訳（メタデータ） (2023-06-10T21:49:08Z)
• A Survey on Deep Learning-Based Monocular Spacecraft Pose Estimation: Current State, Limitations and Prospects [7.08026800833095]
  非協力宇宙船の姿勢を推定することは、軌道上の視覚ベースのシステムを実現するための重要なコンピュータビジョン問題である。 コンピュータビジョンの一般的な傾向に続き、この問題を解決するためにディープラーニング(DL)手法を活用する研究がますます増えている。 有望な研究段階の結果にもかかわらず、実際のミッションでこのような方法が使われるのを防ぐ大きな課題が今も残っている。
  論文  参考訳（メタデータ） (2023-05-12T09:52:53Z)
• Benchmarking Actor-Critic Deep Reinforcement Learning Algorithms for Robotics Control with Action Constraints [9.293472255463454]
  本研究では,行動制約付き強化学習(RL)アルゴリズムの評価のためのベンチマークを提案する。 複数のロボット制御環境にまたがる既存のアルゴリズムとその新しい変種を評価する。
  論文  参考訳（メタデータ） (2023-04-18T05:45:09Z)
• Representation Learning with Multi-Step Inverse Kinematics: An Efficient and Optimal Approach to Rich-Observation RL [106.82295532402335]
  既存の強化学習アルゴリズムは、計算的難易度、強い統計的仮定、最適なサンプルの複雑さに悩まされている。 所望の精度レベルに対して、レート最適サンプル複雑性を実現するための、最初の計算効率の良いアルゴリズムを提供する。 我々のアルゴリズムMusIKは、多段階の逆運動学に基づく表現学習と体系的な探索を組み合わせる。
  論文  参考訳（メタデータ） (2023-04-12T14:51:47Z)
• Lexicographic Multi-Objective Reinforcement Learning [65.90380946224869]
  このような問題を解決するために,アクション値アルゴリズムとポリシー勾配アルゴリズムの両方のファミリを提案する。 エージェントの動作に安全制約を課すのに我々のアルゴリズムをどのように使用できるかを示し、この文脈でのそれらの性能を他の制約付き強化学習アルゴリズムと比較する。
  論文  参考訳（メタデータ） (2022-12-28T10:22:36Z)
• Solving the vehicle routing problem with deep reinforcement learning [0.0]
  本稿では,NP-Hard 問題のクラスに属する有名な問題である Vehicle Routing Problem (VRP) に対する RL の適用について述べる。 第2フェーズでは、アクターと批評家の背後にあるニューラルアーキテクチャが確立され、畳み込みニューラルネットワークに基づいたニューラルアーキテクチャを採用することが選択された。 広範囲なインスタンスで行った実験では、アルゴリズムが優れた一般化能力を持ち、短時間で良い解に達することが示されている。
  論文  参考訳（メタデータ） (2022-07-30T12:34:26Z)
• Composable Learning with Sparse Kernel Representations [110.19179439773578]
  再生カーネルヒルベルト空間におけるスパース非パラメトリック制御系を学習するための強化学習アルゴリズムを提案する。 正規化アドバンテージ関数を通じてステートアクション関数の構造を付与することにより、このアプローチのサンプル複雑さを改善します。 2次元環境下を走行しながらレーザースキャナーを搭載したロボットの複数シミュレーションにおける障害物回避政策の学習に関するアルゴリズムの性能を実証する。
  論文  参考訳（メタデータ） (2021-03-26T13:58:23Z)
• A User's Guide to Calibrating Robotics Simulators [54.85241102329546]
  本稿では,シミュレーションで学習したモデルやポリシーを現実世界に伝達することを目的とした,様々なアルゴリズムの研究のためのベンチマークとフレームワークを提案する。 我々は、様々なアルゴリズムの性能に関する洞察を特徴付け、提供するために、広く知られたシミュレーション環境の実験を行う。 我々の分析は、この分野の実践者にとって有用であり、sim-to-realアルゴリズムの動作と主特性について、より深い選択をすることができる。
  論文  参考訳（メタデータ） (2020-11-17T22:24:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。