論文の概要: Common Challenges of Deep Reinforcement Learning Applications
Development: An Empirical Study
- arxiv url: http://arxiv.org/abs/2310.09575v1
- Date: Sat, 14 Oct 2023 12:57:30 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-23 02:42:25.165983
- Title: Common Challenges of Deep Reinforcement Learning Applications
Development: An Empirical Study
- Title(参考訳): 深層強化学習アプリケーション開発における共通課題--実証的研究
- Authors: Mohammad Mehdi Morovati, Florian Tambon, Mina Taraghi, Amin Nikanjam,
Foutse Khomh
- Abstract要約: Deep Reinforcement Learning (DRL) は、インテリジェントエージェントを生成するために使用される機械学習(ML)のサブドメインである。
近年のDRL技術の発展にもかかわらず、開発者がDRLアプリケーション開発で直面する主な課題はまだ不明である。
- 参考スコア(独自算出の注目度): 11.485288964605665
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Machine Learning (ML) is increasingly being adopted in different industries.
Deep Reinforcement Learning (DRL) is a subdomain of ML used to produce
intelligent agents. Despite recent developments in DRL technology, the main
challenges that developers face in the development of DRL applications are
still unknown. To fill this gap, in this paper, we conduct a large-scale
empirical study of 927 DRL-related posts extracted from Stack Overflow, the
most popular Q&A platform in the software community. Through the process of
labeling and categorizing extracted posts, we created a taxonomy of common
challenges encountered in the development of DRL applications, along with their
corresponding popularity levels. This taxonomy has been validated through a
survey involving 59 DRL developers. Results show that at least 45% of
developers experienced 18 of the 21 challenges identified in the taxonomy. The
most frequent source of difficulty during the development of DRL applications
are Comprehension, API usage, and Design problems, while Parallel processing,
and DRL libraries/frameworks are classified as the most difficult challenges to
address, with respect to the time required to receive an accepted answer. We
hope that the research community will leverage this taxonomy to develop
efficient strategies to address the identified challenges and improve the
quality of DRL applications.
- Abstract(参考訳): 機械学習(ML)はさまざまな業界で採用されている。
深層強化学習(Deep Reinforcement Learning, DRL)は、インテリジェントエージェントを生成するためのMLのサブドメインである。
近年のDRL技術の発展にもかかわらず、開発者がDRLアプリケーション開発で直面する主な課題はまだ不明である。
このギャップを埋めるため,本稿では,ソフトウェアコミュニティで最もポピュラーなq&aプラットフォームであるstack overflowから抽出した927のdrl関連ポストに関する大規模実証研究を行う。
抽出されたポストのラベル付けと分類のプロセスを通じて、DRLアプリケーションの開発において直面する共通の課題の分類と、それに対応する人気レベルを作成しました。
この分類は59人のdrl開発者による調査によって検証されている。
その結果,少なくとも45%の開発者が,分類学で特定された21の課題のうち18を経験していることがわかった。
DRLアプリケーションの開発において最も困難な原因は、理解、API使用、設計の問題であるが、並列処理、DRLライブラリ/フレームワークは、受け入れられた回答を受け取るのに必要な時間に関して、最も難しい課題に分類されている。
我々は、この分類を利用して、特定された課題に対処し、DRLアプリケーションの品質を向上させる効率的な戦略を開発することを望んでいる。
関連論文リスト
- Deploying Deep Reinforcement Learning Systems: A Taxonomy of Challenges [13.39623605590729]
DRLシステムのデプロイにおいて,実践者が直面する課題を明らかにし,理解するために,開発者の最も人気のあるQ&AフォーラムであるStack Overflow(SO)に関する実証的研究を提案する。
フィルタと手動解析を行い,DRLの展開に関する357のSOポストを調査し,現状を調査し,DRLシステムの展開に関わる課題を特定した。
その結果、DRLの展開に対する一般的な関心が高まり、研究の妥当性と重要性が確認されている。
論文 参考訳(メタデータ) (2023-08-23T21:44:09Z) - Prevalence of Code Smells in Reinforcement Learning Projects [1.7218973692320518]
強化学習(Reinforcement Learning, RL)は、大規模および安全クリティカルシステムを含む多くの領域で、アプリケーションの振る舞いを学習し、適応するために、ますます使われている。
プラグインプレイRLライブラリの出現により、その適用性はさらに向上し、ユーザによるRLアルゴリズムの統合が可能になった。
しかしながら、これらのコードの大部分はRLエンジニアによって開発されていないため、結果として、バグ、準最適性能、保守性、RLベースのプロジェクトにおける進化問題をもたらすプログラム品質が低下する可能性があることに留意する。
論文 参考訳(メタデータ) (2023-03-17T20:25:13Z) - A Survey of Meta-Reinforcement Learning [83.95180398234238]
我々は,メタRLと呼ばれるプロセスにおいて,機械学習問題自体として,より優れたRLアルゴリズムを開発した。
本稿では,タスク分布の存在と各タスクに利用可能な学習予算に基づいて,高レベルでメタRL研究をクラスタ化する方法について議論する。
RL実践者のための標準ツールボックスにメタRLを組み込むことの道程について,オープンな問題を提示することによって,結論を下す。
論文 参考訳(メタデータ) (2023-01-19T12:01:41Z) - Automated Reinforcement Learning (AutoRL): A Survey and Open Problems [92.73407630874841]
AutoRL(Automated Reinforcement Learning)には、AutoMLの標準的なアプリケーションだけでなく、RL特有の課題も含まれている。
我々は共通の分類法を提供し、各領域を詳細に議論し、今後の研究者にとって関心のあるオープンな問題を提起する。
論文 参考訳(メタデータ) (2022-01-11T12:41:43Z) - RL-DARTS: Differentiable Architecture Search for Reinforcement Learning [62.95469460505922]
我々は、強化学習(RL)における微分可能なアーキテクチャ探索(DARTS)の最初の応用の1つであるRL-DARTSを紹介する。
画像エンコーダをDARTSスーパーネットに置き換えることにより、検索方法はサンプリング効率が高く、余分な計算資源が最小限必要であり、また、既存のコードに小さな変更を加える必要がなく、オフ・ポリティクスとオン・ポリティクスのRLアルゴリズムとも互換性がある。
スーパーネットはより優れたセルを徐々に学習し、手作業で設計したポリシーに対して高い競争力を持つ代替アーキテクチャへとつながり、RLポリシーの以前の設計選択も検証できることを示す。
論文 参考訳(メタデータ) (2021-06-04T03:08:43Z) - Towards Standardizing Reinforcement Learning Approaches for Stochastic
Production Scheduling [77.34726150561087]
強化学習はスケジューリングの問題を解決するのに使える。
既存の研究は、コードが利用できない複雑なシミュレーションに依存している。
から選ぶべきRLの設計の広大な配列があります。
モデル記述の標準化 - 生産セットアップとRL設計の両方 - と検証スキームは前提条件です。
論文 参考訳(メタデータ) (2021-04-16T16:07:10Z) - Faults in Deep Reinforcement Learning Programs: A Taxonomy and A
Detection Approach [13.57291726431012]
深層強化学習(Deep Reinforcement Learning, DRL)は、強化学習(RL)分野における深層学習の応用である。
本稿では,DRLプログラムで発生した障害を分類する最初の試みについて述べる。
DRLプログラムのメタモデルを定義し,モデルに基づく故障検出手法であるDRLinterを開発した。
論文 参考訳(メタデータ) (2021-01-01T01:49:03Z) - Deep Reinforcement Learning and Transportation Research: A Comprehensive
Review [0.0]
DRLの数学的背景、人気があり有望なDRLアルゴリズム、高効率なDRL拡張について概説する。
本稿では, DRL技術の適用性, 強度, 欠点, 一般, 応用に特有な課題について検討する。
論文 参考訳(メタデータ) (2020-10-13T05:23:11Z) - RL Unplugged: A Suite of Benchmarks for Offline Reinforcement Learning [108.9599280270704]
オフラインのRL手法を評価・比較するためのRL Unpluggedというベンチマークを提案する。
RL Unpluggedにはゲームやシミュレートされたモーター制御問題を含むさまざまな領域のデータが含まれている。
本論文で提示した全タスクのデータと,全アルゴリズムをオープンソースとして公開する。
論文 参考訳(メタデータ) (2020-06-24T17:14:51Z) - What Matters In On-Policy Reinforcement Learning? A Large-Scale
Empirical Study [50.79125250286453]
オンライン強化学習(RL)は、様々な連続制御タスクにうまく適用されている。
しかし、最先端の実装は、結果のエージェントのパフォーマンスに強く影響を与える、多数の低レベルかつ高レベルの設計決定を下します。
これらの選択は通常、文献で広く議論されることはなく、アルゴリズムの公開記述とそれらの実装の間に相違が生じている。
我々は,「50以上の選択肢」を統一型オンラインRLフレームワークに実装し,大規模な実証研究におけるその影響を調査する。
論文 参考訳(メタデータ) (2020-06-10T17:59:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。