論文の概要: Continual Reinforcement Learning for Cyber-Physical Systems: Lessons Learned and Open Challenges

• arxiv url: http://arxiv.org/abs/2511.15652v1
• Date: Wed, 19 Nov 2025 17:40:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-20 15:51:28.925919
• Title: Continual Reinforcement Learning for Cyber-Physical Systems: Lessons Learned and Open Challenges
• Title（参考訳）: サイバー物理システムのための継続的強化学習:学習とオープンチャレンジ
• Authors: Kim N. Nolle, Ivana Dusparic, Rhodri Cusack, Vinny Cahill,
• Abstract要約: 継続的な学習(CL)は、エージェントが以前に学習した能力に適応し、一般化できるようにすることを目的としている。 これは特に自律運転のようなサイバー物理システムに関係している。 近年のCLの進歩にもかかわらず、強化学習(RL)にうまく適用することは依然として未解決の問題である。 本稿では,自律走行環境における実験に基づく連続RLのオープン課題について述べる。
• 参考スコア（独自算出の注目度）: 2.512906942492266
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continual learning (CL) is a branch of machine learning that aims to enable agents to adapt and generalise previously learned abilities so that these can be reapplied to new tasks or environments. This is particularly useful in multi-task settings or in non-stationary environments, where the dynamics can change over time. This is particularly relevant in cyber-physical systems such as autonomous driving. However, despite recent advances in CL, successfully applying it to reinforcement learning (RL) is still an open problem. This paper highlights open challenges in continual RL (CRL) based on experiments in an autonomous driving environment. In this environment, the agent must learn to successfully park in four different scenarios corresponding to parking spaces oriented at varying angles. The agent is successively trained in these four scenarios one after another, representing a CL environment, using Proximal Policy Optimisation (PPO). These experiments exposed a number of open challenges in CRL: finding suitable abstractions of the environment, oversensitivity to hyperparameters, catastrophic forgetting, and efficient use of neural network capacity. Based on these identified challenges, we present open research questions that are important to be addressed for creating robust CRL systems. In addition, the identified challenges call into question the suitability of neural networks for CL. We also identify the need for interdisciplinary research, in particular between computer science and neuroscience.
• Abstract（参考訳）: 継続的学習(Continuous Learning, CL)は、機械学習の分野のひとつで、エージェントが学習した能力を適応し、一般化し、これらを新しいタスクや環境に再適用できるようにすることを目的としている。 これは特にマルチタスク設定や時間とともに動的に変化する非定常環境において有用である。 これは特に自律運転のようなサイバー物理システムに関係している。 しかし、最近のCLの進歩にもかかわらず、強化学習(RL)にうまく適用することは未解決の問題である。 本稿では,自律走行環境における実験に基づくCRL(Continuous RL)のオープンな課題について述べる。 この環境では、エージェントは、異なる角度を向いた駐車スペースに対応する4つの異なるシナリオに、うまく駐車することを学ばなければならない。 エージェントは、PPO(Proximal Policy Optimisation)を使用して、CL環境を表す4つのシナリオで次々と訓練される。 これらの実験は、環境の適切な抽象化を見つけること、ハイパーパラメータに対する過敏性を見つけること、破滅的な忘れ物、ニューラルネットワークのキャパシティの効率的な利用など、CRLの多くのオープンな課題を明らかにした。 これらの課題に基づいて、我々は、堅牢なCRLシステムを構築する上で重要となるオープンな研究課題を提示する。 さらに、特定された課題は、CLに対するニューラルネットワークの適合性に疑問を投げかける。 また、特にコンピュータ科学と神経科学の学際的な研究の必要性を明らかにする。

関連論文リスト

• Aquatic Navigation: A Challenging Benchmark for Deep Reinforcement Learning [53.3760591018817]
  ゲームエンジンとDeep Reinforcement Learningの統合の最近の進歩を利用して,水上ナビゲーションのための新しいベンチマーク環境を提案する。 具体的には、最も広く受け入れられているアルゴリズムの一つであるPPOに着目し、先進的なトレーニング手法を提案する。 実験により,これらの成分をうまく組み合わせることで,有望な結果が得られることが示された。
  論文  参考訳（メタデータ） (2024-05-30T23:20:23Z)
• Staged Reinforcement Learning for Complex Tasks through Decomposed Environments [4.883558259729863]
  RL問題を実問題に近似する2つの方法について議論する。 交通ジャンクションシミュレーションの文脈において、複雑なタスクを複数のサブタスクに分解できれば、これらのタスクを最初に解くのが有利であることを示す。 多エージェントの観点から、我々は、CTDE(Centralized Training Decentralized Execution)と呼ばれる一般的なパラダイムの下で学んだ経験の活用を活用するトレーニング構造化機構を導入する。
  論文  参考訳（メタデータ） (2023-11-05T19:43:23Z)
• End-to-end Lidar-Driven Reinforcement Learning for Autonomous Racing [0.0]
  強化学習(Reinforcement Learning, RL)は、自動化とロボット工学の領域において、変革的なアプローチとして登場した。 本研究は、フィードフォワード生ライダーと速度データのみを用いて、レース環境をナビゲートするRLエージェントを開発し、訓練する。 エージェントのパフォーマンスは、実世界のレースシナリオで実験的に評価される。
  論文  参考訳（メタデータ） (2023-09-01T07:03:05Z)
• Automated Reinforcement Learning (AutoRL): A Survey and Open Problems [92.73407630874841]
  AutoRL(Automated Reinforcement Learning)には、AutoMLの標準的なアプリケーションだけでなく、RL特有の課題も含まれている。 我々は共通の分類法を提供し、各領域を詳細に議論し、今後の研究者にとって関心のあるオープンな問題を提起する。
  論文  参考訳（メタデータ） (2022-01-11T12:41:43Z)
• Autonomous Reinforcement Learning: Formalism and Benchmarking [106.25788536376007]
  人間や動物が行うような現実世界の具体的学習は、連続的で非エポゾディックな世界にある。 RLの一般的なベンチマークタスクはエピソジックであり、試行錯誤によってエージェントに複数の試行を行う環境がリセットされる。 この相違は、擬似環境向けに開発されたRLアルゴリズムを現実世界のプラットフォーム上で実行しようとする場合、大きな課題となる。
  論文  参考訳（メタデータ） (2021-12-17T16:28:06Z)
• Scenic4RL: Programmatic Modeling and Generation of Reinforcement Learning Environments [89.04823188871906]
  リアルタイム戦略(RTS)環境では,多様な現実シナリオの生成が難しい。 既存のシミュレータのほとんどは環境をランダムに生成することに頼っている。 我々は、研究者を支援するために、既存の形式シナリオ仕様言語であるSCENICを採用する利点を紹介する。
  論文  参考訳（メタデータ） (2021-06-18T21:49:46Z)
• Meta Automatic Curriculum Learning [35.13646854355393]
  メタACLの概念を導入し,それをブラックボックスRL学習者の文脈で形式化する。 本稿では,メタACLの初回インスタンス化であるAGAINについて述べる。
  論文  参考訳（メタデータ） (2020-11-16T14:56:42Z)
• Deep Surrogate Q-Learning for Autonomous Driving [17.30342128504405]
  本稿では,自律運転における車線変更行動学習のためのSurrogate Q-learningを提案する。 このアーキテクチャは、Scene-centric Experience Replayと呼ばれる新しいリプレイサンプリング技術に繋がることを示す。 また,本手法は実高Dデータセット上のポリシーを学習することで,実世界のRLシステムの適用性を向上させる。
  論文  参考訳（メタデータ） (2020-10-21T19:49:06Z)
• Curriculum Learning for Reinforcement Learning Domains: A Framework and Survey [53.73359052511171]
  強化学習(Reinforcement Learning, RL)は、エージェントが限られた環境フィードバックしか持たないシーケンシャルな意思決定タスクに対処するための一般的なパラダイムである。 本稿では、RLにおけるカリキュラム学習(CL)の枠組みを提案し、既存のCLメソッドを仮定、能力、目標の観点から調査・分類する。
  論文  参考訳（メタデータ） (2020-03-10T20:41:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。