Fugu-MT 論文翻訳(概要): Integrating Distributed Architectures in Highly Modular RL Libraries

論文の概要: Integrating Distributed Architectures in Highly Modular RL Libraries

arxiv url: http://arxiv.org/abs/2007.02622v3
Date: Mon, 12 Jun 2023 08:40:02 GMT
ステータス: 処理完了
システム内更新日: 2023-06-14 03:37:19.093919
Title: Integrating Distributed Architectures in Highly Modular RL Libraries
Title（参考訳）: 高モジュール化されたrlライブラリにおける分散アーキテクチャの統合
Authors: Albert Bou, Sebastian Dittert and Gianni De Fabritiis
Abstract要約: ほとんどの人気のある強化学習ライブラリは、高度にモジュール化されたエージェントの構成性を主張している。本稿では、RLエージェントを独立した再利用可能なコンポーネントによって異なるスケールで定義できる汎用的アプローチを提案する。
参考スコア（独自算出の注目度）: 4.297070083645049
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Advancing reinforcement learning (RL) requires tools that are flexible enough to easily prototype new methods while avoiding impractically slow experimental turnaround times. To match the first requirement, the most popular RL libraries advocate for highly modular agent composability, which facilitates experimentation and development. To solve challenging environments within reasonable time frames, scaling RL to large sampling and computing resources has proved a successful strategy. However, this capability has been so far difficult to combine with modularity. In this work, we explore design choices to allow agent composability both at a local and distributed level of execution. We propose a versatile approach that allows the definition of RL agents at different scales through independent reusable components. We demonstrate experimentally that our design choices allow us to reproduce classical benchmarks, explore multiple distributed architectures, and solve novel and complex environments while giving full control to the user in the agent definition and training scheme definition. We believe this work can provide useful insights to the next generation of RL libraries.
Abstract（参考訳）: 強化学習(RL)の推進には、急激な実験的なターンアラウンド時間を避けながら、新しい手法を簡単にプロトタイプできる柔軟性のあるツールが必要である。最初の要件を満たすため、最も人気のあるRLライブラリは、実験と開発を容易にする高度にモジュール化されたエージェント構成性を主張している。適切な時間枠内での困難な環境を解決するため、大規模なサンプリングと計算資源へのRLのスケーリングが成功した。しかし、この機能とモジュラリティを組み合わせるのは、これまでは困難でした。本研究では,ローカルおよび分散実行レベルでエージェントのコンポーザビリティを実現するための設計選択について検討する。本稿では、RLエージェントを独立した再利用可能なコンポーネントによって異なるスケールで定義できる汎用的アプローチを提案する。我々は,従来のベンチマークを再現し,複数の分散アーキテクチャを探索し,新規で複雑な環境を解決し,エージェント定義とトレーニングスキーム定義においてユーザをフルコントロールできることを実験的に実証した。この研究は、次世代のRLライブラリに有用な洞察を与えることができると考えています。

関連論文リスト

Multi-Agent Environments for Vehicle Routing Problems [1.0179489519625304]
本稿では,従来の車両ルーティング問題をシミュレートするマルチエージェント環境からなるライブラリを提案する。 PyTorch上に構築されたこのライブラリは、新しいルーティング問題のカスタマイズと導入を容易にする、柔軟なモジュラーアーキテクチャ設計を提供する。
論文参考訳（メタデータ） (2024-11-21T18:46:23Z)
EasyRL4Rec: An Easy-to-use Library for Reinforcement Learning Based Recommender Systems [18.22130279210423]
我々は、RLベースのRS用に特別に設計された、使いやすいコードライブラリであるEasyRL4Recを紹介する。このライブラリは5つのパブリックデータセットに基づいた軽量で多様なRL環境を提供する。 EasyRL4Recは、RLベースのRSのドメインにおけるモデル開発と実験プロセスの促進を目指している。
論文参考訳（メタデータ） (2024-02-23T07:54:26Z)
OpenRL: A Unified Reinforcement Learning Framework [19.12129820612253]
先進的な強化学習(RL)フレームワークであるOpenRLを紹介する。シングルエージェントの課題から複雑なマルチエージェントシステムまで、さまざまなタスクに対応するように設計されている。自然言語処理(NLP)とRLを統合することで、研究者はRLトレーニングと言語中心のタスクを効果的に組み合わせることができる。
論文参考訳（メタデータ） (2023-12-20T12:04:06Z)
LExCI: A Framework for Reinforcement Learning with Embedded Systems [1.8218298349840023]
本稿では,RLライブラリと組込みシステムとのギャップを埋める LExCI というフレームワークを提案する。オープンソースライブラリのRLlibを使用して,組み込みシステム上でエージェントをトレーニングするための,無償かつオープンソースツールを提供する。操作性は、最先端の2つのRL-algorithmと、迅速な制御プロトタイピングシステムで実証されている。
論文参考訳（メタデータ） (2023-12-05T13:06:25Z)
Maximize to Explore: One Objective Function Fusing Estimation, Planning, and Exploration [87.53543137162488]
我々はtextttMEX というオンライン強化学習(オンラインRL)フレームワークを提案する。 textttMEXは、自動的に探索エクスプロイトのバランスをとりながら、見積もりと計画コンポーネントを統合する。様々な MuJoCo 環境では,ベースラインを安定的なマージンで上回り,十分な報酬を得られる。
論文参考訳（メタデータ） (2023-05-29T17:25:26Z)
CoRL: Environment Creation and Management Focused on System Integration [0.0]
コア強化学習ライブラリ(Core Reinforcement Learning Library, CoRL)は、モジュール式で構成可能で、設定可能な環境作成ツールである。簡単に読み取れる構成ファイル、ピダンティックバリデータ、およびファクタデザインパターンを使用することで、エージェントの観察、報酬、完了条件の微調整を可能にする。
論文参考訳（メタデータ） (2023-03-03T19:01:53Z)
Multi-Agent Reinforcement Learning for Microprocessor Design Space Exploration [71.95914457415624]
マイクロプロセッサアーキテクトは、高性能でエネルギー効率の追求において、ドメイン固有のカスタマイズにますます頼っている。この問題に対処するために,Multi-Agent RL (MARL) を利用した別の定式化を提案する。評価の結果,MARLの定式化は単エージェントRLのベースラインよりも一貫して優れていた。
論文参考訳（メタデータ） (2022-11-29T17:10:24Z)
Mastering the Unsupervised Reinforcement Learning Benchmark from Pixels [112.63440666617494]
強化学習アルゴリズムは成功するが、エージェントと環境の間の大量の相互作用を必要とする。本稿では,教師なしモデルベースRLを用いてエージェントを事前学習する手法を提案する。我々はReal-Word RLベンチマークにおいて、適応中の環境摂動に対する抵抗性を示唆し、堅牢な性能を示す。
論文参考訳（メタデータ） (2022-09-24T14:22:29Z)
Multitask Adaptation by Retrospective Exploration with Learned World Models [77.34726150561087]
本稿では,タスク非依存ストレージから取得したMBRLエージェントのトレーニングサンプルを提供するRAMaというメタ学習型アドレッシングモデルを提案する。このモデルは、期待されるエージェントのパフォーマンスを最大化するために、ストレージから事前のタスクを解く有望な軌道を選択することで訓練される。
論文参考訳（メタデータ） (2021-10-25T20:02:57Z)
Scenic4RL: Programmatic Modeling and Generation of Reinforcement Learning Environments [89.04823188871906]
リアルタイム戦略(RTS)環境では,多様な現実シナリオの生成が難しい。既存のシミュレータのほとんどは環境をランダムに生成することに頼っている。我々は、研究者を支援するために、既存の形式シナリオ仕様言語であるSCENICを採用する利点を紹介する。
論文参考訳（メタデータ） (2021-06-18T21:49:46Z)
MushroomRL: Simplifying Reinforcement Learning Research [60.70556446270147]
MushroomRLはオープンソースのPythonライブラリで、強化学習(RL)実験の実装と実行を簡単にするために開発された。他の利用可能なライブラリと比較して、MushroomRLは、新しいRL方法論の実装とテストの労力を最小限に抑えるために、包括的で柔軟なフレームワークを提供することを目的として作られた。
論文参考訳（メタデータ） (2020-01-04T17:23:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。