論文の概要: Common Challenges of Deep Reinforcement Learning Applications
Development: An Empirical Study
- arxiv url: http://arxiv.org/abs/2310.09575v1
- Date: Sat, 14 Oct 2023 12:57:30 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-23 02:42:25.165983
- Title: Common Challenges of Deep Reinforcement Learning Applications
Development: An Empirical Study
- Title（参考訳）: 深層強化学習アプリケーション開発における共通課題--実証的研究
- Authors: Mohammad Mehdi Morovati, Florian Tambon, Mina Taraghi, Amin Nikanjam,
Foutse Khomh
- Abstract要約: Deep Reinforcement Learning (DRL) は、インテリジェントエージェントを生成するために使用される機械学習(ML)のサブドメインである。
近年のDRL技術の発展にもかかわらず、開発者がDRLアプリケーション開発で直面する主な課題はまだ不明である。
- 参考スコア（独自算出の注目度）: 11.485288964605665
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Machine Learning (ML) is increasingly being adopted in different industries.
Deep Reinforcement Learning (DRL) is a subdomain of ML used to produce
intelligent agents. Despite recent developments in DRL technology, the main
challenges that developers face in the development of DRL applications are
still unknown. To fill this gap, in this paper, we conduct a large-scale
empirical study of 927 DRL-related posts extracted from Stack Overflow, the
most popular Q&A platform in the software community. Through the process of
labeling and categorizing extracted posts, we created a taxonomy of common
challenges encountered in the development of DRL applications, along with their
corresponding popularity levels. This taxonomy has been validated through a
survey involving 59 DRL developers. Results show that at least 45% of
developers experienced 18 of the 21 challenges identified in the taxonomy. The
most frequent source of difficulty during the development of DRL applications
are Comprehension, API usage, and Design problems, while Parallel processing,
and DRL libraries/frameworks are classified as the most difficult challenges to
address, with respect to the time required to receive an accepted answer. We
hope that the research community will leverage this taxonomy to develop
efficient strategies to address the identified challenges and improve the
quality of DRL applications.
- Abstract（参考訳）: 機械学習(ML)はさまざまな業界で採用されている。
深層強化学習(Deep Reinforcement Learning, DRL)は、インテリジェントエージェントを生成するためのMLのサブドメインである。
近年のDRL技術の発展にもかかわらず、開発者がDRLアプリケーション開発で直面する主な課題はまだ不明である。
このギャップを埋めるため,本稿では,ソフトウェアコミュニティで最もポピュラーなq&aプラットフォームであるstack overflowから抽出した927のdrl関連ポストに関する大規模実証研究を行う。
抽出されたポストのラベル付けと分類のプロセスを通じて、DRLアプリケーションの開発において直面する共通の課題の分類と、それに対応する人気レベルを作成しました。
この分類は59人のdrl開発者による調査によって検証されている。
その結果,少なくとも45%の開発者が,分類学で特定された21の課題のうち18を経験していることがわかった。
DRLアプリケーションの開発において最も困難な原因は、理解、API使用、設計の問題であるが、並列処理、DRLライブラリ/フレームワークは、受け入れられた回答を受け取るのに必要な時間に関して、最も難しい課題に分類されている。
我々は、この分類を利用して、特定された課題に対処し、DRLアプリケーションの品質を向上させる効率的な戦略を開発することを望んでいる。
関連論文リスト
- Towards Sample-Efficiency and Generalization of Transfer and Inverse Reinforcement Learning: A Comprehensive Literature Review [50.67937325077047]
本稿では,転送および逆強化学習(T-IRL)によるRLアルゴリズムのサンプル効率と一般化を実現するための総合的なレビューを行う。
以上の結果から,最近の研究成果の大部分は,人間のループとシム・トゥ・リアル戦略を活用することで,上記の課題に対処していることが示唆された。
IRL構造の下では、経験の少ない移行と、そのようなフレームワークのマルチエージェントおよびマルチインテンション問題への拡張を必要とするトレーニングスキームが近年研究者の優先事項となっている。
論文 参考訳（メタデータ） (2024-11-15T15:18:57Z) - What's Wrong with Your Code Generated by Large Language Models? An Extensive Study [80.18342600996601]
大規模言語モデル(LLM)は、標準解に比べて短いがより複雑なコードを生成する。
3つのカテゴリと12のサブカテゴリを含む誤ったコードに対するバグの分類を開発し、一般的なバグタイプに対する根本原因を分析する。
そこで本研究では,LLMがバグタイプやコンパイラフィードバックに基づいて生成したコードを批判し,修正することのできる,自己批判を導入した新たな学習自由反復手法を提案する。
論文 参考訳（メタデータ） (2024-07-08T17:27:17Z) - Generative AI for Deep Reinforcement Learning: Framework, Analysis, and Use Cases [60.30995339585003]
深部強化学習(DRL)は様々な分野に広く適用されており、優れた成果を上げている。
DRLは、サンプル効率の低下や一般化の低さなど、いくつかの制限に直面している。
本稿では、これらの問題に対処し、DRLアルゴリズムの性能を向上させるために、生成AI(GAI)を活用する方法について述べる。
論文 参考訳（メタデータ） (2024-05-31T01:25:40Z) - Deploying Deep Reinforcement Learning Systems: A Taxonomy of Challenges [13.39623605590729]
DRLシステムのデプロイにおいて,実践者が直面する課題を明らかにし,理解するために,開発者の最も人気のあるQ&AフォーラムであるStack Overflow(SO)に関する実証的研究を提案する。
フィルタと手動解析を行い,DRLの展開に関する357のSOポストを調査し,現状を調査し,DRLシステムの展開に関わる課題を特定した。
その結果、DRLの展開に対する一般的な関心が高まり、研究の妥当性と重要性が確認されている。
論文 参考訳（メタデータ） (2023-08-23T21:44:09Z) - Prevalence of Code Smells in Reinforcement Learning Projects [1.7218973692320518]
強化学習(Reinforcement Learning, RL)は、大規模および安全クリティカルシステムを含む多くの領域で、アプリケーションの振る舞いを学習し、適応するために、ますます使われている。
プラグインプレイRLライブラリの出現により、その適用性はさらに向上し、ユーザによるRLアルゴリズムの統合が可能になった。
しかしながら、これらのコードの大部分はRLエンジニアによって開発されていないため、結果として、バグ、準最適性能、保守性、RLベースのプロジェクトにおける進化問題をもたらすプログラム品質が低下する可能性があることに留意する。
論文 参考訳（メタデータ） (2023-03-17T20:25:13Z) - A Survey of Meta-Reinforcement Learning [69.76165430793571]
我々は,メタRLと呼ばれるプロセスにおいて,機械学習問題自体として,より優れたRLアルゴリズムを開発した。
本稿では,タスク分布の存在と各タスクに利用可能な学習予算に基づいて,高レベルでメタRL研究をクラスタ化する方法について議論する。
RL実践者のための標準ツールボックスにメタRLを組み込むことの道程について,オープンな問題を提示することによって,結論を下す。
論文 参考訳（メタデータ） (2023-01-19T12:01:41Z) - Automated Reinforcement Learning (AutoRL): A Survey and Open Problems [92.73407630874841]
AutoRL(Automated Reinforcement Learning)には、AutoMLの標準的なアプリケーションだけでなく、RL特有の課題も含まれている。
我々は共通の分類法を提供し、各領域を詳細に議論し、今後の研究者にとって関心のあるオープンな問題を提起する。
論文 参考訳（メタデータ） (2022-01-11T12:41:43Z) - Faults in Deep Reinforcement Learning Programs: A Taxonomy and A
Detection Approach [13.57291726431012]
深層強化学習(Deep Reinforcement Learning, DRL)は、強化学習(RL)分野における深層学習の応用である。
本稿では,DRLプログラムで発生した障害を分類する最初の試みについて述べる。
DRLプログラムのメタモデルを定義し,モデルに基づく故障検出手法であるDRLinterを開発した。
論文 参考訳（メタデータ） (2021-01-01T01:49:03Z) - Deep Reinforcement Learning and Transportation Research: A Comprehensive
Review [0.0]
DRLの数学的背景、人気があり有望なDRLアルゴリズム、高効率なDRL拡張について概説する。
本稿では, DRL技術の適用性, 強度, 欠点, 一般, 応用に特有な課題について検討する。
論文 参考訳（メタデータ） (2020-10-13T05:23:11Z) - What Matters In On-Policy Reinforcement Learning? A Large-Scale
Empirical Study [50.79125250286453]
オンライン強化学習(RL)は、様々な連続制御タスクにうまく適用されている。
しかし、最先端の実装は、結果のエージェントのパフォーマンスに強く影響を与える、多数の低レベルかつ高レベルの設計決定を下します。
これらの選択は通常、文献で広く議論されることはなく、アルゴリズムの公開記述とそれらの実装の間に相違が生じている。
我々は,「50以上の選択肢」を統一型オンラインRLフレームワークに実装し,大規模な実証研究におけるその影響を調査する。
論文 参考訳（メタデータ） (2020-06-10T17:59:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。