論文の概要: Influence-Augmented Local Simulators: A Scalable Solution for Fast Deep RL in Large Networked Systems

• arxiv url: http://arxiv.org/abs/2202.01534v1
• Date: Thu, 3 Feb 2022 11:33:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-04 20:58:24.595746
• Title: Influence-Augmented Local Simulators: A Scalable Solution for Fast Deep RL in Large Networked Systems
• Title（参考訳）: 影響強化ローカルシミュレータ:大規模ネットワークシステムにおける高速深部RLのためのスケーラブルソリューション
• Authors: Miguel Suau, Jinke He, Matthijs T. J. Spaan, Frans A. Oliehoek
• Abstract要約: 本稿では,深部RLで十分に高速に動作可能な複雑なシステムの軽量シミュレータを構築する方法について検討する。 我々は,グローバルなダイナミクスの影響を受けながら,エージェントがより大きな環境の一部と相互作用する領域に焦点を当てる。 本手法は,グローバルシステムの影響を模倣した学習モデルとローカルシミュレータの利用を併用する。
• 参考スコア（独自算出の注目度）: 18.281902746944525
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning effective policies for real-world problems is still an open challenge for the field of reinforcement learning (RL). The main limitation being the amount of data needed and the pace at which that data can be obtained. In this paper, we study how to build lightweight simulators of complicated systems that can run sufficiently fast for deep RL to be applicable. We focus on domains where agents interact with a reduced portion of a larger environment while still being affected by the global dynamics. Our method combines the use of local simulators with learned models that mimic the influence of the global system. The experiments reveal that incorporating this idea into the deep RL workflow can considerably accelerate the training process and presents several opportunities for the future.
• Abstract（参考訳）: 実世界の問題に対する効果的な政策の学習は、強化学習(RL)分野におけるオープンな課題である。 主な制限は、必要なデータ量と、そのデータが得られるペースである。 本稿では,深部RLが適用できるほど高速に動作可能な複雑なシステムの軽量シミュレータを構築する方法について検討する。 我々は,グローバルなダイナミクスの影響を受けながら,エージェントがより大きな環境の一部と相互作用する領域に焦点を当てる。 本手法は,グローバルシステムの影響を模倣した学習モデルとローカルシミュレータの利用を併用する。 実験の結果、このアイデアを深層RLワークフローに組み込むことで、トレーニングプロセスが大幅に加速し、将来いくつかの機会が得られます。

関連論文リスト

• Aquatic Navigation: A Challenging Benchmark for Deep Reinforcement Learning [53.3760591018817]
  ゲームエンジンとDeep Reinforcement Learningの統合の最近の進歩を利用して,水上ナビゲーションのための新しいベンチマーク環境を提案する。 具体的には、最も広く受け入れられているアルゴリズムの一つであるPPOに着目し、先進的なトレーニング手法を提案する。 実験により,これらの成分をうまく組み合わせることで,有望な結果が得られることが示された。
  論文  参考訳（メタデータ） (2024-05-30T23:20:23Z)
• Real-World Fluid Directed Rigid Body Control via Deep Reinforcement Learning [7.714620721734689]
  ボックス・オ・フロー(Box o Flows)は、動的実世界のシナリオにおいてRLアルゴリズムを体系的に評価する実験的な制御システムである。 モデルフリーなRLアルゴリズムは, 単純な報酬仕様を用いて, 様々な複雑な振る舞いを合成できることを示す。 この予備的な研究から得られた洞察とBox o Flowsのようなシステムの可用性は、体系的なRLアルゴリズムの開発を支援するものだと考えています。
  論文  参考訳（メタデータ） (2024-02-08T23:35:03Z)
• Learning fast changing slow in spiking neural networks [3.069335774032178]
  強化学習(Reinforcement Learning, RL)は、実生活問題に適用する際の課題である。 生涯学習機械は可塑性安定パラドックスを解決しなければならない。 新たな知識の獲得と安定性の維持のバランスを取ることは、人工エージェントにとって不可欠である。
  論文  参考訳（メタデータ） (2024-01-25T12:03:10Z)
• REBOOT: Reuse Data for Bootstrapping Efficient Real-World Dexterous Manipulation [61.7171775202833]
  本稿では,強化学習による巧妙な操作スキルの学習を効率化するシステムを提案する。 我々のアプローチの主な考え方は、サンプル効率のRLとリプレイバッファブートストラップの最近の進歩の統合である。 本システムでは,実世界の学習サイクルを,模倣に基づくピックアップポリシを通じて学習されたリセットを組み込むことで完遂する。
  論文  参考訳（メタデータ） (2023-09-06T19:05:31Z)
• Actively Learning Costly Reward Functions for Reinforcement Learning [56.34005280792013]
  複雑な実世界の環境でエージェントを訓練することは、桁違いに高速であることを示す。 強化学習の手法を新しい領域に適用することにより、興味深く非自明な解を見つけることができることを示す。
  論文  参考訳（メタデータ） (2022-11-23T19:17:20Z)
• When to Trust Your Simulator: Dynamics-Aware Hybrid Offline-and-Online Reinforcement Learning [7.786094194874359]
  本稿では,この問題に対する肯定的な回答を提供するために,Dynamics-Aware Hybrid Offline-and-Online Reinforcement Learning (H2O)フレームワークを提案する。 H2Oは動的に認識されたポリシー評価スキームを導入し、大きなダイナミックスギャップを持つシミュレーション状態-作用対上でQ関数学習を適応的にペナルティ化する。 我々は、他のドメイン間のオンラインおよびオフラインRLアルゴリズムに対してH2Oの優れた性能を示す。
  論文  参考訳（メタデータ） (2022-06-27T17:18:11Z)
• Deep Reinforcement Learning for Computational Fluid Dynamics on HPC Systems [17.10464381844892]
  強化学習(Reinforcement Learning, RL)は、動的システムの文脈における制御戦略の考案に非常に適している。 近年の研究では、RL強化計算流体力学(CFD)の解法が最先端技術を超えることが示唆されている。 我々は、機械学習とHPCシステム上の最新のCFDソルバ間のギャップを埋めるスケーラブルなRLフレームワークとしてRelexiを提示する。
  論文  参考訳（メタデータ） (2022-05-13T08:21:18Z)
• Accelerated Policy Learning with Parallel Differentiable Simulation [59.665651562534755]
  微分可能シミュレータと新しいポリシー学習アルゴリズム(SHAC)を提案する。 本アルゴリズムは,スムーズな批判機能により局所最小化の問題を軽減する。 現状のRLと微分可能なシミュレーションベースアルゴリズムと比較して,サンプル効率と壁面時間を大幅に改善した。
  論文  参考訳（メタデータ） (2022-04-14T17:46:26Z)
• Cloud-Edge Training Architecture for Sim-to-Real Deep Reinforcement Learning [0.8399688944263843]
  深層強化学習(DRL)は、環境との相互作用を通じてポリシーを学習することで複雑な制御課題を解決するための有望な手法である。 Sim-to-realアプローチはシミュレーションを利用してDRLポリシーを事前訓練し、現実世界にデプロイする。 本研究では,リアルタイムにDRLエージェントをトレーニングするための分散クラウドエッジアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-03-04T10:27:01Z)
• AWAC: Accelerating Online Reinforcement Learning with Offline Datasets [84.94748183816547]
  提案手法は,従来の実演データとオンライン体験を組み合わせることで,スキルの素早い学習を可能にする。 以上の結果から,事前データを組み込むことで,ロボット工学を実践的な時間スケールまで学習するのに要する時間を短縮できることが示唆された。
  論文  参考訳（メタデータ） (2020-06-16T17:54:41Z)
• Meta-Reinforcement Learning for Robotic Industrial Insertion Tasks [70.56451186797436]
  本研究では,メタ強化学習を用いてシミュレーションの課題の大部分を解決する方法について検討する。 エージェントを訓練して現実の挿入タスクを成功させる手法を実証する。
  論文  参考訳（メタデータ） (2020-04-29T18:00:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。