論文の概要: Evaluating Robustness of Reinforcement Learning Algorithms for Autonomous Shipping

• arxiv url: http://arxiv.org/abs/2411.04915v1
• Date: Thu, 07 Nov 2024 17:55:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-08 19:39:44.531495
• Title: Evaluating Robustness of Reinforcement Learning Algorithms for Autonomous Shipping
• Title（参考訳）: 自律輸送のための強化学習アルゴリズムのロバスト性評価
• Authors: Bavo Lesy, Ali Anwar, Siegfried Mercelis,
• Abstract要約: 本稿では,自律型海運シミュレータにおける内陸水路輸送(IWT)のために実装されたベンチマークディープ強化学習(RL)アルゴリズムのロバスト性について検討する。 モデルのないアプローチはシミュレーターで適切なポリシーを達成でき、訓練中に遭遇したことのないポート環境をナビゲートすることに成功した。
• 参考スコア（独自算出の注目度）: 2.9109581496560044
• License:
• Abstract: Recently, there has been growing interest in autonomous shipping due to its potential to improve maritime efficiency and safety. The use of advanced technologies, such as artificial intelligence, can address the current navigational and operational challenges in autonomous shipping. In particular, inland waterway transport (IWT) presents a unique set of challenges, such as crowded waterways and variable environmental conditions. In such dynamic settings, the reliability and robustness of autonomous shipping solutions are critical factors for ensuring safe operations. This paper examines the robustness of benchmark deep reinforcement learning (RL) algorithms, implemented for IWT within an autonomous shipping simulator, and their ability to generate effective motion planning policies. We demonstrate that a model-free approach can achieve an adequate policy in the simulator, successfully navigating port environments never encountered during training. We focus particularly on Soft-Actor Critic (SAC), which we show to be inherently more robust to environmental disturbances compared to MuZero, a state-of-the-art model-based RL algorithm. In this paper, we take a significant step towards developing robust, applied RL frameworks that can be generalized to various vessel types and navigate complex port- and inland environments and scenarios.
• Abstract（参考訳）: 近年、海上効率と安全性を向上させる可能性から、自律輸送への関心が高まっている。 人工知能のような先進技術を使用することは、自律輸送における現在のナビゲーションおよび運用上の課題に対処することができる。 特に、内陸水路輸送(IWT)は、混み合った水路や様々な環境条件など、ユニークな課題の集合を呈している。 このようなダイナミックな環境では、自律的な輸送ソリューションの信頼性と堅牢性は、安全な運用を確保する上で重要な要素である。 本稿では,自律型船舶シミュレータ内でIWT用に実装されたベンチマークディープ強化学習(RL)アルゴリズムの頑健さと,効率的な動作計画法を生成する能力について検討する。 モデルのないアプローチはシミュレーターで適切なポリシーを達成でき、訓練中に遭遇したことのないポート環境をナビゲートすることに成功した。 我々は特にSoft-Actor Critic(SAC)に注目し、現状のモデルベースRLアルゴリズムであるMuZeroと比較して、本質的に環境障害に対して堅牢であることを示す。 本稿では,多種多様な容器タイプに一般化可能なロバストで応用されたRLフレームワークの開発に向けて重要な一歩を踏み出し,複雑な港湾・内陸環境・シナリオをナビゲートする。

関連論文リスト

• Vision-Based Deep Reinforcement Learning of UAV Autonomous Navigation Using Privileged Information [6.371251946803415]
  DPRLは、部分的に観測可能な環境下での高速無人無人飛行の課題に対処するために設計されたエンドツーエンドのポリシーである。 非対称なアクター・クライブアーキテクチャを利用して、トレーニング中にエージェントに特権情報を提供する。 我々は、DPRLアルゴリズムを最先端のナビゲーションアルゴリズムと比較し、様々なシナリオにまたがって広範なシミュレーションを行う。
  論文  参考訳（メタデータ） (2024-12-09T09:05:52Z)
• Aquatic Navigation: A Challenging Benchmark for Deep Reinforcement Learning [53.3760591018817]
  ゲームエンジンとDeep Reinforcement Learningの統合の最近の進歩を利用して,水上ナビゲーションのための新しいベンチマーク環境を提案する。 具体的には、最も広く受け入れられているアルゴリズムの一つであるPPOに着目し、先進的なトレーニング手法を提案する。 実験により,これらの成分をうまく組み合わせることで,有望な結果が得られることが示された。
  論文  参考訳（メタデータ） (2024-05-30T23:20:23Z)
• EnCoMP: Enhanced Covert Maneuver Planning with Adaptive Threat-Aware Visibility Estimation using Offline Reinforcement Learning [0.6597195879147555]
  本研究では,多様な屋外環境下でロボットが隠ぺいにナビゲートできるように改良されたナビゲーションフレームワークであるEnCoMPを提案する。 我々は、LiDAR点雲からカバーマップ、潜在的な脅威マップ、高さマップ、ゴールマップを含む高忠実度マルチマップ表現を生成する。 物理的ジャカルロボット上での手法の能力を実証し,多様な地形で実験を行った。
  論文  参考訳（メタデータ） (2024-03-29T07:03:10Z)
• Residual Physics Learning and System Identification for Sim-to-real Transfer of Policies on Buoyancy Assisted Legged Robots [14.760426243769308]
  本研究では,BALLUロボットのシステム識別による制御ポリシのロバストなシミュレートを実演する。 標準的な教師あり学習の定式化に頼るのではなく、深層強化学習を利用して外部力政策を訓練する。 シミュレーショントラジェクトリと実世界のトラジェクトリを比較することで,改良されたシミュレーション忠実度を解析する。
  論文  参考訳（メタデータ） (2023-03-16T18:49:05Z)
• Evaluating Model-free Reinforcement Learning toward Safety-critical Tasks [70.76757529955577]
  本稿では、国家安全RLの観点から、この領域における先行研究を再考する。 安全最適化と安全予測を組み合わせた共同手法であるUnrolling Safety Layer (USL)を提案する。 この領域のさらなる研究を容易にするため、我々は関連するアルゴリズムを統一パイプラインで再現し、SafeRL-Kitに組み込む。
  論文  参考訳（メタデータ） (2022-12-12T06:30:17Z)
• Benchmarking Safe Deep Reinforcement Learning in Aquatic Navigation [78.17108227614928]
  本研究では,水文ナビゲーションに着目した安全強化学習のためのベンチマーク環境を提案する。 価値に基づく政策段階の深層強化学習(DRL)について考察する。 また,学習したモデルの振る舞いを所望の特性の集合上で検証する検証戦略を提案する。
  論文  参考訳（メタデータ） (2021-12-16T16:53:56Z)
• STEP: Stochastic Traversability Evaluation and Planning for Safe Off-road Navigation [9.423950528323893]
  トラバーサビリティを評価し,安全かつ実現可能な高速軌道をリアルタイムに計画する手法を提案する。 1)迅速な不確実性認識マッピングとトラバーサビリティ評価,2)条件付きバリュー・アット・リスク(CVaR)を用いたテールリスクアセスメント,3)効率的なリスクと制約を考慮したキノダイナミックな動き計画。 本手法をシミュレーションで解析し,地下溶岩管を含む極端な地形を探索する車輪型および脚型ロボットプラットフォーム上での有効性を検証する。
  論文  参考訳（メタデータ） (2021-03-04T04:24:19Z)
• Cautious Adaptation For Reinforcement Learning in Safety-Critical Settings [129.80279257258098]
  都市運転のような現実の安全クリティカルな目標設定における強化学習(RL)は危険である。 非安全クリティカルな「ソース」環境でエージェントが最初に訓練する「安全クリティカル適応」タスクセットを提案する。 多様な環境における事前経験がリスクを見積もるためにエージェントに装備するという直感に基づくソリューションアプローチであるCARLを提案する。
  論文  参考訳（メタデータ） (2020-08-15T01:40:59Z)
• Robust Reinforcement Learning with Wasserstein Constraint [49.86490922809473]
  最適なロバストなポリシーの存在を示し、摂動に対する感度分析を行い、新しいロバストな学習アルゴリズムを設計する。 提案アルゴリズムの有効性はCart-Pole環境で検証する。
  論文  参考訳（メタデータ） (2020-06-01T13:48:59Z)
• Guided Constrained Policy Optimization for Dynamic Quadrupedal Robot Locomotion [78.46388769788405]
  我々は,制約付きポリシー最適化(CPPO)の実装に基づくRLフレームワークであるGCPOを紹介する。 誘導制約付きRLは所望の最適値に近い高速収束を実現し,正確な報酬関数チューニングを必要とせず,最適かつ物理的に実現可能なロボット制御動作を実現することを示す。
  論文  参考訳（メタデータ） (2020-02-22T10:15:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。