論文の概要: Multi-fidelity Reinforcement Learning Control for Complex Dynamical Systems

• arxiv url: http://arxiv.org/abs/2504.05588v1
• Date: Tue, 08 Apr 2025 00:50:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-09 13:31:06.229550
• Title: Multi-fidelity Reinforcement Learning Control for Complex Dynamical Systems
• Title（参考訳）: 複雑力学系に対する多要素強化学習制御
• Authors: Luning Sun, Xin-Yang Liu, Siyan Zhao, Aditya Grover, Jian-Xun Wang, Jayaraman J. Thiagarajan,
• Abstract要約: 複雑なシステムの不安定性を制御するための多要素強化学習フレームワークを提案する。 提案手法が物理学における2つの複雑な力学に与える影響を実証する。
• 参考スコア（独自算出の注目度）: 42.2790464348673
• License:
• Abstract: Controlling instabilities in complex dynamical systems is challenging in scientific and engineering applications. Deep reinforcement learning (DRL) has seen promising results for applications in different scientific applications. The many-query nature of control tasks requires multiple interactions with real environments of the underlying physics. However, it is usually sparse to collect from the experiments or expensive to simulate for complex dynamics. Alternatively, controlling surrogate modeling could mitigate the computational cost issue. However, a fast and accurate learning-based model by offline training makes it very hard to get accurate pointwise dynamics when the dynamics are chaotic. To bridge this gap, the current work proposes a multi-fidelity reinforcement learning (MFRL) framework that leverages differentiable hybrid models for control tasks, where a physics-based hybrid model is corrected by limited high-fidelity data. We also proposed a spectrum-based reward function for RL learning. The effect of the proposed framework is demonstrated on two complex dynamics in physics. The statistics of the MFRL control result match that computed from many-query evaluations of the high-fidelity environments and outperform other SOTA baselines.
• Abstract（参考訳）: 複雑な力学系における不安定性の制御は、科学や工学の応用において困難である。 深部強化学習(DRL)は、様々な科学的応用に有望な結果をもたらした。 制御タスクの多値な性質は、基礎となる物理学の実際の環境と複数の相互作用を必要とする。 しかし、通常、実験から収集するのは難しいか、複雑な力学をシミュレートする費用がかかる。 あるいは、代理モデルを制御することで、計算コストの問題を軽減できるかもしれない。 しかし、オフライントレーニングによる高速で正確な学習ベースモデルでは、ダイナミックスがカオスである場合に正確なポイントワイズを得るのが非常に困難である。 このギャップを埋めるため、本研究では、物理に基づくハイブリッドモデルを限られた高忠実度データによって補正する、微分可能なハイブリッドモデルを制御タスクに活用するMFRL(Multi-fidelity reinforcement learning)フレームワークを提案する。 また,RL学習のためのスペクトルベース報酬関数も提案した。 提案手法が物理学における2つの複雑な力学に与える影響を実証する。 MFRL制御結果の統計は、高忠実度環境の多数クエリ評価から算出した結果と一致し、他のSOTAベースラインを上回った。

関連論文リスト

• Stabilizing Reinforcement Learning in Differentiable Multiphysics Simulation [11.360832156847103]
  本稿では,剛体や変形物を含むタスクにおけるRLのスケーリングを実現するための,新しいRLアルゴリズムとシミュレーションプラットフォームを提案する。 我々は,最大エントロピー1次モデルに基づくRLアルゴリズムであるSoft Analytic Policy (SAPO)を導入する。 また,剛体以外の様々な材料を模擬する並列微分可能多物理シミュレーションプラットフォームであるRewarpedを開発した。
  論文  参考訳（メタデータ） (2024-12-16T18:56:24Z)
• SINDy-RL: Interpretable and Efficient Model-Based Reinforcement Learning [5.59265003686955]
  SINDy-RLは,SINDyと深層強化学習を組み合わせたフレームワークである。 SINDy-RLは最先端のDRLアルゴリズムに匹敵する性能を達成する。 我々は,ベンチマーク制御環境と流体問題に対するアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2024-03-14T05:17:39Z)
• A Multi-Grained Symmetric Differential Equation Model for Learning Protein-Ligand Binding Dynamics [73.35846234413611]
  薬物発見において、分子動力学(MD)シミュレーションは、結合親和性を予測し、輸送特性を推定し、ポケットサイトを探索する強力なツールを提供する。 我々は,数値MDを容易にし,タンパク質-リガンド結合ダイナミクスの正確なシミュレーションを提供する,最初の機械学習サロゲートであるNeuralMDを提案する。 従来の数値MDシミュレーションと比較して1K$times$ Speedupを実現することにより,NeuralMDの有効性と有効性を示す。
  論文  参考訳（メタデータ） (2024-01-26T09:35:17Z)
• Learning a model is paramount for sample efficiency in reinforcement learning control of PDEs [5.488334211013093]
  RLエージェントの訓練と並行して動作モデルを学ぶことで,実システムからサンプリングしたデータ量を大幅に削減できることを示す。 また、RLトレーニングのバイアスを避けるために、モデルを反復的に更新することが重要であることも示している。
  論文  参考訳（メタデータ） (2023-02-14T16:14:39Z)
• Physics-Inspired Temporal Learning of Quadrotor Dynamics for Accurate Model Predictive Trajectory Tracking [76.27433308688592]
  クオーロタのシステムダイナミクスを正確にモデル化することは、アジャイル、安全、安定したナビゲーションを保証する上で非常に重要です。 本稿では,ロボットの経験から,四重項系の力学を純粋に学習するための新しい物理インスパイアされた時間畳み込みネットワーク(PI-TCN)を提案する。 提案手法は,スパース時間的畳み込みと高密度フィードフォワード接続の表現力を組み合わせて,正確なシステム予測を行う。
  論文  参考訳（メタデータ） (2022-06-07T13:51:35Z)
• Deep Reinforcement Learning for Computational Fluid Dynamics on HPC Systems [17.10464381844892]
  強化学習(Reinforcement Learning, RL)は、動的システムの文脈における制御戦略の考案に非常に適している。 近年の研究では、RL強化計算流体力学(CFD)の解法が最先端技術を超えることが示唆されている。 我々は、機械学習とHPCシステム上の最新のCFDソルバ間のギャップを埋めるスケーラブルなRLフレームワークとしてRelexiを提示する。
  論文  参考訳（メタデータ） (2022-05-13T08:21:18Z)
• Learning physics-informed simulation models for soft robotic manipulation: A case study with dielectric elastomer actuators [21.349079159359746]
  柔らかいアクチュエータは、緩やかな握りや器用な動きといったロボット作業に対して安全かつ適応的なアプローチを提供する。 このようなシステムを制御するための正確なモデルを作成することは、変形可能な物質の複雑な物理のために困難である。 本稿では,微分可能シミュレータと有限要素法の利点を組み合わせたフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-02-25T21:15:05Z)
• PlasticineLab: A Soft-Body Manipulation Benchmark with Differentiable Physics [89.81550748680245]
  PasticineLabと呼ばれる新しい微分可能な物理ベンチマークを導入する。 各タスクにおいて、エージェントはマニピュレータを使用して、プラスチックを所望の構成に変形させる。 本稿では,既存の強化学習(RL)手法と勾配に基づく手法について評価する。
  論文  参考訳（メタデータ） (2021-04-07T17:59:23Z)
• Data-Efficient Learning for Complex and Real-Time Physical Problem Solving using Augmented Simulation [49.631034790080406]
  本稿では,大理石を円形迷路の中心まで航行する作業について述べる。 実システムと対話する数分以内に,複雑な環境で大理石を動かすことを学習するモデルを提案する。
  論文  参考訳（メタデータ） (2020-11-14T02:03:08Z)
• Information Theoretic Model Predictive Q-Learning [64.74041985237105]
  本稿では,情報理論的MPCとエントロピー正規化RLとの新たな理論的関連性を示す。 バイアスモデルを利用したQ-ラーニングアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2019-12-31T00:29:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。