論文の概要: Real-World Fluid Directed Rigid Body Control via Deep Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2402.06102v1
• Date: Thu, 8 Feb 2024 23:35:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-12 18:31:42.329067
• Title: Real-World Fluid Directed Rigid Body Control via Deep Reinforcement Learning
• Title（参考訳）: 深層強化学習による実世界の流体方向剛体制御
• Authors: Mohak Bhardwaj, Thomas Lampe, Michael Neunert, Francesco Romano, Abbas Abdolmaleki, Arunkumar Byravan, Markus Wulfmeier, Martin Riedmiller, Jonas Buchli
• Abstract要約: ボックス・オ・フロー(Box o Flows)は、動的実世界のシナリオにおいてRLアルゴリズムを体系的に評価する実験的な制御システムである。 モデルフリーなRLアルゴリズムは, 単純な報酬仕様を用いて, 様々な複雑な振る舞いを合成できることを示す。 この予備的な研究から得られた洞察とBox o Flowsのようなシステムの可用性は、体系的なRLアルゴリズムの開発を支援するものだと考えています。
• 参考スコア（独自算出の注目度）: 7.714620721734689
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in real-world applications of reinforcement learning (RL) have relied on the ability to accurately simulate systems at scale. However, domains such as fluid dynamical systems exhibit complex dynamic phenomena that are hard to simulate at high integration rates, limiting the direct application of modern deep RL algorithms to often expensive or safety critical hardware. In this work, we introduce "Box o Flows", a novel benchtop experimental control system for systematically evaluating RL algorithms in dynamic real-world scenarios. We describe the key components of the Box o Flows, and through a series of experiments demonstrate how state-of-the-art model-free RL algorithms can synthesize a variety of complex behaviors via simple reward specifications. Furthermore, we explore the role of offline RL in data-efficient hypothesis testing by reusing past experiences. We believe that the insights gained from this preliminary study and the availability of systems like the Box o Flows support the way forward for developing systematic RL algorithms that can be generally applied to complex, dynamical systems. Supplementary material and videos of experiments are available at https://sites.google.com/view/box-o-flows/home.
• Abstract（参考訳）: 強化学習(RL)の現実的応用の最近の進歩は、大規模システムにおいて正確にシミュレートする能力に依存している。 しかし、流体力学系のような領域は、高積分率でシミュレートし難い複雑な動的現象を示し、現代の深いRLアルゴリズムの直接適用を、しばしば高価または安全クリティカルなハードウェアに制限する。 本研究では,動的実世界シナリオにおけるrlアルゴリズムを体系的に評価するためのベンチトップ実験制御システムであるbox o flowを紹介する。 ここでは,Box o Flowsの重要なコンポーネントについて述べるとともに,最先端のモデルフリーなRLアルゴリズムが,単純な報酬仕様を通じて,様々な複雑な振る舞いを合成できることを示す。 さらに,過去の経験を再利用したデータ効率仮説テストにおけるオフラインRLの役割について検討する。 この予備研究から得られた知見とBox o Flowsのようなシステムの可用性は、複雑な動的システムに一般的に適用可能な、体系的なRLアルゴリズムの開発を支援するものだと考えています。 実験の補足資料とビデオはhttps://sites.google.com/view/box-o-flows/home.comで入手できる。

関連論文リスト

• Controlling dynamical systems to complex target states using machine learning: next-generation vs. classical reservoir computing [68.8204255655161]
  機械学習を用いた非線形力学系の制御は、システムを周期性のような単純な振る舞いに駆動するだけでなく、より複雑な任意の力学を駆動する。 まず, 従来の貯水池計算が優れていることを示す。 次のステップでは、これらの結果を異なるトレーニングデータに基づいて比較し、代わりに次世代貯水池コンピューティングを使用する別のセットアップと比較する。 その結果、通常のトレーニングデータに対して同等のパフォーマンスを提供する一方で、次世代RCは、非常に限られたデータしか利用できない状況において、著しくパフォーマンスが向上していることがわかった。
  論文  参考訳（メタデータ） (2023-07-14T07:05:17Z)
• Efficient Reinforcement Learning Through Trajectory Generation [5.766441610380447]
  実世界のアプリケーションで強化学習を使用する上で重要な障壁は、優れた制御ポリシーを学ぶために多数のシステムインタラクションが必要であることである。 歴史的データから制御ポリシを学習することにより,物理環境との相互作用を減らすために,オフ・ポリティクスとオフラインRL法が提案されている。 本稿では,新たなトラジェクトリを適応的に生成するトラジェクトリ生成アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-11-30T18:49:43Z)
• Deep Reinforcement Learning for Computational Fluid Dynamics on HPC Systems [17.10464381844892]
  強化学習(Reinforcement Learning, RL)は、動的システムの文脈における制御戦略の考案に非常に適している。 近年の研究では、RL強化計算流体力学(CFD)の解法が最先端技術を超えることが示唆されている。 我々は、機械学習とHPCシステム上の最新のCFDソルバ間のギャップを埋めるスケーラブルなRLフレームワークとしてRelexiを提示する。
  論文  参考訳（メタデータ） (2022-05-13T08:21:18Z)
• Accelerated Policy Learning with Parallel Differentiable Simulation [59.665651562534755]
  微分可能シミュレータと新しいポリシー学習アルゴリズム(SHAC)を提案する。 本アルゴリズムは,スムーズな批判機能により局所最小化の問題を軽減する。 現状のRLと微分可能なシミュレーションベースアルゴリズムと比較して,サンプル効率と壁面時間を大幅に改善した。
  論文  参考訳（メタデータ） (2022-04-14T17:46:26Z)
• Jump-Start Reinforcement Learning [68.82380421479675]
  本稿では、オフラインデータやデモ、あるいは既存のポリシーを使ってRLポリシーを初期化するメタアルゴリズムを提案する。 特に,タスク解決に2つのポリシーを利用するアルゴリズムであるJump-Start Reinforcement Learning (JSRL)を提案する。 実験により、JSRLは既存の模倣と強化学習アルゴリズムを大幅に上回っていることを示す。
  論文  参考訳（メタデータ） (2022-04-05T17:25:22Z)
• Influence-Augmented Local Simulators: A Scalable Solution for Fast Deep RL in Large Networked Systems [18.281902746944525]
  本稿では,深部RLで十分に高速に動作可能な複雑なシステムの軽量シミュレータを構築する方法について検討する。 我々は,グローバルなダイナミクスの影響を受けながら,エージェントがより大きな環境の一部と相互作用する領域に焦点を当てる。 本手法は,グローバルシステムの影響を模倣した学習モデルとローカルシミュレータの利用を併用する。
  論文  参考訳（メタデータ） (2022-02-03T11:33:58Z)
• Learning on Abstract Domains: A New Approach for Verifiable Guarantee in Reinforcement Learning [9.428825075908131]
  有限抽象領域上でDRLシステムを学習するための抽象的アプローチを提案する。 入力状態が有限なニューラルネットワークを生成し、ホスティングDRLシステムが直接検証可能である。
  論文  参考訳（メタデータ） (2021-06-13T06:28:40Z)
• Controlling nonlinear dynamical systems into arbitrary states using machine learning [77.34726150561087]
  機械学習(ML)を活用した,新しい完全データ駆動制御方式を提案する。 最近開発されたMLに基づく複雑なシステムの予測機能により、非線形系は任意の初期状態から来る任意の動的対象状態に留まることが証明された。 必要なデータ量が少なく,柔軟性の高いコントロールスキームを備えることで,工学から医学まで幅広い応用の可能性について簡単に議論する。
  論文  参考訳（メタデータ） (2021-02-23T16:58:26Z)
• Learning Dexterous Manipulation from Suboptimal Experts [69.8017067648129]
  相対エントロピーQラーニング(Relative Entropy Q-Learning、REQ)は、オフラインおよび従来のRLアルゴリズムのアイデアを組み合わせた単純なポリシーアルゴリズムである。 本稿では、REQが、デモから一般の政治外RL、オフラインRL、およびRLにどのように有効であるかを示す。
  論文  参考訳（メタデータ） (2020-10-16T18:48:49Z)
• Information Theoretic Model Predictive Q-Learning [64.74041985237105]
  本稿では,情報理論的MPCとエントロピー正規化RLとの新たな理論的関連性を示す。 バイアスモデルを利用したQ-ラーニングアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2019-12-31T00:29:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。