論文の概要: Investigating the Impact of Choice on Deep Reinforcement Learning for Space Controls

• arxiv url: http://arxiv.org/abs/2405.12355v1
• Date: Mon, 20 May 2024 20:06:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-22 14:57:39.903599
• Title: Investigating the Impact of Choice on Deep Reinforcement Learning for Space Controls
• Title（参考訳）: 宇宙制御のための深層強化学習における選択の影響の検討
• Authors: Nathaniel Hamilton, Kyle Dunlap, Kerianne L. Hobbs,
• Abstract要約: 本稿では、エージェントが予め定義されたアクションリストから選択しなければならない個別のアクション空間を用いて分析する。 検査作業では、エージェントが物体を周航して表面上の点を検査し、ドッキングタスクでは、エージェントが別の宇宙船やドックの近くに移動しなければならない。 両方のタスクの共通の目的は、燃料の使用を最小化することであり、燃料を使用しないアクションを定期的に選択する動機となっている。
• 参考スコア（独自算出の注目度）: 0.3441021278275805
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: For many space applications, traditional control methods are often used during operation. However, as the number of space assets continues to grow, autonomous operation can enable rapid development of control methods for different space related tasks. One method of developing autonomous control is Reinforcement Learning (RL), which has become increasingly popular after demonstrating promising performance and success across many complex tasks. While it is common for RL agents to learn bounded continuous control values, this may not be realistic or practical for many space tasks that traditionally prefer an on/off approach for control. This paper analyzes using discrete action spaces, where the agent must choose from a predefined list of actions. The experiments explore how the number of choices provided to the agents affects their measured performance during and after training. This analysis is conducted for an inspection task, where the agent must circumnavigate an object to inspect points on its surface, and a docking task, where the agent must move into proximity of another spacecraft and "dock" with a low relative speed. A common objective of both tasks, and most space tasks in general, is to minimize fuel usage, which motivates the agent to regularly choose an action that uses no fuel. Our results show that a limited number of discrete choices leads to optimal performance for the inspection task, while continuous control leads to optimal performance for the docking task.
• Abstract（参考訳）: 多くの宇宙用途において、従来の制御法は操作中によく用いられる。 しかし、宇宙資産の数は増え続けているため、自律的な運用は異なる宇宙関連タスクに対する制御方法の迅速な開発を可能にする。 自律的な制御を開発する方法のひとつに強化学習(Reinforcement Learning, RL)がある。 RLエージェントが有界連続制御値を学ぶことは一般的であるが、伝統的に制御のオン/オフアプローチを好む多くの宇宙タスクにとって現実的あるいは実践的ではないかもしれない。 本稿では、エージェントが予め定義されたアクションリストから選択しなければならない個別のアクション空間を用いて分析する。 実験では、エージェントに提供された選択肢の数が、トレーニング中および後のパフォーマンスにどのように影響するかを調査した。 この分析は、エージェントが物体を周航してその表面上の点を検査しなければならない検査タスクと、エージェントが別の宇宙船と「ドック」に接近し、相対速度が低いドッキングを行うドッキングタスクに対して行われる。 両方のタスクの共通の目的は、燃料の使用を最小化することであり、燃料を使用しないアクションを定期的に選択する動機となっている。 本結果より, 個別選択が限定された場合, 検査作業の最適性能が得られ, 連続制御はドッキング作業の最適性能が導かれることがわかった。

関連論文リスト

• Growing Q-Networks: Solving Continuous Control Tasks with Adaptive Control Resolution [51.83951489847344]
  ロボット工学の応用において、スムーズな制御信号はシステム摩耗とエネルギー効率を減らすために一般的に好まれる。 本研究では,離散的な動作空間を粗い状態から細かい制御分解能まで拡大することにより,この性能ギャップを埋めることを目的とする。 我々の研究は、値分解とアダプティブ・コントロール・リゾリューションが組み合わさることで、単純な批判のみのアルゴリズムが得られ、連続制御タスクにおいて驚くほど高い性能が得られることを示唆している。
  論文  参考訳（メタデータ） (2024-04-05T17:58:37Z)
• Latent Exploration for Reinforcement Learning [87.42776741119653]
  強化学習では、エージェントは環境を探索し、相互作用することでポリシーを学ぶ。 LATent TIme-Correlated Exploration (Lattice)を提案する。
  論文  参考訳（メタデータ） (2023-05-31T17:40:43Z)
• CLAS: Coordinating Multi-Robot Manipulation with Central Latent Action Spaces [9.578169216444813]
  本稿では,異なるエージェント間で共有される学習された潜在行動空間を通じて,マルチロボット操作を協調する手法を提案する。 シミュレーションされたマルチロボット操作タスクにおいて本手法を検証し,サンプル効率と学習性能の観点から,従来のベースラインよりも改善したことを示す。
  論文  参考訳（メタデータ） (2022-11-28T23:20:47Z)
• Space Non-cooperative Object Active Tracking with Deep Reinforcement Learning [1.212848031108815]
  DRLAVTと命名されたDQNアルゴリズムに基づくエンドツーエンドのアクティブなトラッキング手法を提案する。 追尾宇宙船のアプローチを、色やRGBD画像にのみ依存した任意の空間の非協力目標に導くことができる。 位置ベースのビジュアルサーボベースラインアルゴリズムでは、最先端の2DモノクロトラッカーであるSiamRPNをはるかに上回っている。
  論文  参考訳（メタデータ） (2021-12-18T06:12:24Z)
• Is Bang-Bang Control All You Need? Solving Continuous Control with Bernoulli Policies [45.20170713261535]
  我々は、訓練されたエージェントが、その空間の境界におけるアクションをしばしば好む現象を調査する。 通常のガウス分布を、各作用次元に沿った極性のみを考えるベルヌーイ分布に置き換える。 驚くべきことに、これはいくつかの継続的制御ベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2021-11-03T22:45:55Z)
• ReLMoGen: Leveraging Motion Generation in Reinforcement Learning for Mobile Manipulation [99.2543521972137]
  ReLMoGenは、サブゴールを予測するための学習されたポリシーと、これらのサブゴールに到達するために必要な動作を計画し実行するためのモーションジェネレータを組み合わせたフレームワークである。 本手法は,フォトリアリスティック・シミュレーション環境における7つのロボットタスクの多種多様なセットをベンチマークする。 ReLMoGenは、テスト時に異なるモーションジェネレータ間で顕著な転送可能性を示し、実際のロボットに転送する大きな可能性を示している。
  論文  参考訳（メタデータ） (2020-08-18T08:05:15Z)
• Asynchronous Multi Agent Active Search [6.587280549237275]
  SPATS (Sparse Parallel Asynchronous Thompson Smpling) とLATSI (Laplace Thompson Smpling with Information gain) という2つの異なる能動探索アルゴリズムを提案する。 ターゲットは、圧縮的な検知仮定に従って、環境の周囲にわずかに配置されているとみなす。 提案アルゴリズムの有効性を実証するために,シミュレーション結果と理論的解析結果を提供する。
  論文  参考訳（メタデータ） (2020-06-25T22:17:20Z)
• Planning to Explore via Self-Supervised World Models [120.31359262226758]
  Plan2Exploreは自己監督型強化学習エージェントである。 我々は、自己監督型探索と、新しいタスクへの迅速な適応に対する新しいアプローチを提案する。 Plan2Exploreは、訓練の監督やタスク固有の相互作用がなければ、自己監督型の探査方法よりも優れている。
  論文  参考訳（メタデータ） (2020-05-12T17:59:45Z)
• Weakly-Supervised Reinforcement Learning for Controllable Behavior [126.04932929741538]
  強化学習(Reinforcement Learning、RL)は、タスクを解決するために行動を取るための学習のための強力なフレームワークである。 多くの設定において、エージェントは、現在解決するよう求められている単一のタスクに対して、不可能なほど大きなタスク空間を放棄しなければならない。 我々は,この意味論的意味のあるタスクのサブスペースを,非意味的な「チャフ」タスクの巨大な空間から自動的に切り離すために,弱い監督を利用するフレームワークを導入する。
  論文  参考訳（メタデータ） (2020-04-06T17:50:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。