Fugu-MT 論文翻訳(概要): Deploying Deep Reinforcement Learning Systems: A Taxonomy of Challenges

論文の概要: Deploying Deep Reinforcement Learning Systems: A Taxonomy of Challenges

arxiv url: http://arxiv.org/abs/2308.12438v1
Date: Wed, 23 Aug 2023 21:44:09 GMT
ステータス: 処理完了
システム内更新日: 2023-08-25 16:19:06.974547
Title: Deploying Deep Reinforcement Learning Systems: A Taxonomy of Challenges
Title（参考訳）: 深層強化学習システムの展開:課題の分類
Authors: Ahmed Haj Yahmed, Altaf Allah Abbassi, Amin Nikanjam, Heng Li, Foutse Khomh
Abstract要約: DRLシステムのデプロイにおいて,実践者が直面する課題を明らかにし,理解するために,開発者の最も人気のあるQ&AフォーラムであるStack Overflow(SO)に関する実証的研究を提案する。フィルタと手動解析を行い,DRLの展開に関する357のSOポストを調査し,現状を調査し,DRLシステムの展開に関わる課題を特定した。その結果、DRLの展開に対する一般的な関心が高まり、研究の妥当性と重要性が確認されている。
参考スコア（独自算出の注目度）: 13.39623605590729
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Deep reinforcement learning (DRL), leveraging Deep Learning (DL) in reinforcement learning, has shown significant potential in achieving human-level autonomy in a wide range of domains, including robotics, computer vision, and computer games. This potential justifies the enthusiasm and growing interest in DRL in both academia and industry. However, the community currently focuses mostly on the development phase of DRL systems, with little attention devoted to DRL deployment. In this paper, we propose an empirical study on Stack Overflow (SO), the most popular Q&A forum for developers, to uncover and understand the challenges practitioners faced when deploying DRL systems. Specifically, we categorized relevant SO posts by deployment platforms: server/cloud, mobile/embedded system, browser, and game engine. After filtering and manual analysis, we examined 357 SO posts about DRL deployment, investigated the current state, and identified the challenges related to deploying DRL systems. Then, we investigate the prevalence and difficulty of these challenges. Results show that the general interest in DRL deployment is growing, confirming the study's relevance and importance. Results also show that DRL deployment is more difficult than other DRL issues. Additionally, we built a taxonomy of 31 unique challenges in deploying DRL to different platforms. On all platforms, RL environment-related challenges are the most popular, and communication-related challenges are the most difficult among practitioners. We hope our study inspires future research and helps the community overcome the most common and difficult challenges practitioners face when deploying DRL systems.
Abstract（参考訳）: 深層強化学習(DRL)は、強化学習において深層学習(DL)を活用するもので、ロボット工学、コンピュータビジョン、コンピュータゲームなど、幅広い分野において、人間レベルの自律性を達成する大きな可能性を示している。このポテンシャルは、学術と産業の両方におけるDRLへの熱意と関心の高まりを正当化する。しかし、現在コミュニティはDRLシステムの開発フェーズに重点を置いており、DRLのデプロイメントにはほとんど関心を示さない。本稿では,開発者にとって最も人気のあるQ&AフォーラムであるStack Overflow(SO)について,DRLシステムのデプロイにおいて実践者が直面した課題を明らかにし,理解するための実証的研究を提案する。具体的には,サーバ/クラウド,モバイル/組込みシステム,ブラウザ,ゲームエンジンなど,関連するsoポストを配置プラットフォーム別に分類した。フィルタと手動解析を行い,DRLの展開に関する357のSOポストを調査し,現状を調査し,DRLシステムの展開に関わる課題を特定した。次に,これらの課題の有病率と難易度について検討する。結果から,drlの展開に対する一般的な関心が高まり,研究の関連性と重要性が確認できた。結果は、DRLのデプロイメントは他のDRLの問題よりも難しいことも示している。さらに、さまざまなプラットフォームにDRLをデプロイする上で、31のユニークな課題を分類しました。すべてのプラットフォームにおいて、RL環境に関する課題が最も人気であり、コミュニケーションに関する課題は実践者の間で最も難しい。我々は,我々の研究が今後の研究を刺激し,DRLシステムの展開において実践者が直面する最も一般的で困難な課題をコミュニティが克服するのに役立つことを願っている。

関連論文リスト

Common Challenges of Deep Reinforcement Learning Applications Development: An Empirical Study [10.705440907493452]
Deep Reinforcement Learning (DRL) は、インテリジェントエージェントを生成するために使用される機械学習(ML)のサブドメインである。近年のDRL技術の発展にもかかわらず、開発者がDRLアプリケーション開発で直面する主な課題はまだ不明である。
論文参考訳（メタデータ） (2023-10-14T12:57:30Z)
SRL: Scaling Distributed Reinforcement Learning to Over Ten Thousand Cores [13.948640763797776]
本稿では,RLトレーニングアプリケーションを汎用フレームワークに統合する,RLトレーニングのデータフローに関する新しい抽象化を提案する。スケーラブルで効率的で分散的なRLシステムであるReaLly scalableRLを開発した。 SRLは15k以上のCPUコアでRL実験を大規模に実施した初めての学術コミュニティである。
論文参考訳（メタデータ） (2023-06-29T05:16:25Z)
A Survey of Meta-Reinforcement Learning [69.76165430793571]
我々は,メタRLと呼ばれるプロセスにおいて,機械学習問題自体として,より優れたRLアルゴリズムを開発した。本稿では,タスク分布の存在と各タスクに利用可能な学習予算に基づいて,高レベルでメタRL研究をクラスタ化する方法について議論する。 RL実践者のための標準ツールボックスにメタRLを組み込むことの道程について,オープンな問題を提示することによって,結論を下す。
論文参考訳（メタデータ） (2023-01-19T12:01:41Z)
Towards Deployable RL -- What's Broken with RL Research and a Potential Fix [82.34145109359442]
コミュニティの方向性に精通していると感じている現在の研究の難しさを指摘する。我々にとって、現在の方向は「展開可能な」RLに繋がる可能性は低い。
論文参考訳（メタデータ） (2023-01-03T19:21:10Z)
Automated Reinforcement Learning (AutoRL): A Survey and Open Problems [92.73407630874841]
AutoRL(Automated Reinforcement Learning)には、AutoMLの標準的なアプリケーションだけでなく、RL特有の課題も含まれている。我々は共通の分類法を提供し、各領域を詳細に議論し、今後の研究者にとって関心のあるオープンな問題を提起する。
論文参考訳（メタデータ） (2022-01-11T12:41:43Z)
How to Train Your Robot with Deep Reinforcement Learning; Lessons We've Learned [111.06812202454364]
本稿では,ロボット深部RLのケーススタディをいくつか紹介する。深部RLにおける一般的な課題と,それらの課題について論じる。また、他の卓越した課題についても概説し、その多くが現実世界のロボティクスの設定に特有のものである。
論文参考訳（メタデータ） (2021-02-04T22:09:28Z)
A Survey on Deep Reinforcement Learning for Audio-Based Applications [15.075252303440081]
深層強化学習(DRL)は人工知能(AI)の分野に革命をもたらす DLにより、DRLは様々な分野の難解な問題を効果的に解決することができる。 DRLアルゴリズムは音声信号処理にも使用され、音声、音楽、その他の音信号から直接学習しています。
論文参考訳（メタデータ） (2021-01-01T14:15:20Z)
Deep Reinforcement Learning and Transportation Research: A Comprehensive Review [0.0]
DRLの数学的背景、人気があり有望なDRLアルゴリズム、高効率なDRL拡張について概説する。本稿では, DRL技術の適用性, 強度, 欠点, 一般, 応用に特有な課題について検討する。
論文参考訳（メタデータ） (2020-10-13T05:23:11Z)
RL Unplugged: A Suite of Benchmarks for Offline Reinforcement Learning [108.9599280270704]
オフラインのRL手法を評価・比較するためのRL Unpluggedというベンチマークを提案する。 RL Unpluggedにはゲームやシミュレートされたモーター制御問題を含むさまざまな領域のデータが含まれている。本論文で提示した全タスクのデータと,全アルゴリズムをオープンソースとして公開する。
論文参考訳（メタデータ） (2020-06-24T17:14:51Z)
The NetHack Learning Environment [79.06395964379107]
本稿では、強化学習研究のための手続き的に生成されたローグのような環境であるNetHack Learning Environment(NLE)を紹介する。我々は,NetHackが,探索,計画,技術習得,言語条件付きRLといった問題に対する長期的な研究を促進するのに十分複雑であると主張している。我々は,分散されたDeep RLベースラインとランダムネットワーク蒸留探索を用いて,ゲームの初期段階における実験的な成功を示す。
論文参考訳（メタデータ） (2020-06-24T14:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。