論文の概要: Dyna-Style Reinforcement Learning Modeling and Control of Non-linear Dynamics

• arxiv url: http://arxiv.org/abs/2512.21081v1
• Date: Wed, 24 Dec 2025 09:56:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-25 19:43:21.753833
• Title: Dyna-Style Reinforcement Learning Modeling and Control of Non-linear Dynamics
• Title（参考訳）: 非線型力学のDyna-Style強化学習モデルと制御
• Authors: Karim Abdelsalam, Zeyad Gamal, Ayman El-Badawy,
• Abstract要約: SINDy(Sparse Identification of Dynamics)とTD3(Twin Delayed Deep Deterministic Policy Gradient)を統合したDyna-Style Reinforcement Learning Controlフレームワークを提案する。 SINDyはシステムのデータ駆動モデルを特定し、明示的な物理モデルを必要とせずにキーダイナミクスをキャプチャする。 本フレームワークの有効性を実証するため,両回転子システムに適用し,安定化と軌道追尾性能の評価を行った。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Controlling systems with complex, nonlinear dynamics poses a significant challenge, particularly in achieving efficient and robust control. In this paper, we propose a Dyna-Style Reinforcement Learning control framework that integrates Sparse Identification of Nonlinear Dynamics (SINDy) with Twin Delayed Deep Deterministic Policy Gradient (TD3) reinforcement learning. SINDy is used to identify a data-driven model of the system, capturing its key dynamics without requiring an explicit physical model. This identified model is used to generate synthetic rollouts that are periodically injected into the reinforcement learning replay buffer during training on the real environment, enabling efficient policy learning with limited data available. By leveraging this hybrid approach, we mitigate the sample inefficiency of traditional model-free reinforcement learning methods while ensuring accurate control of nonlinear systems. To demonstrate the effectiveness of this framework, we apply it to a bi-rotor system as a case study, evaluating its performance in stabilization and trajectory tracking. The results show that our SINDy-TD3 approach achieves superior accuracy and robustness compared to direct reinforcement learning techniques, highlighting the potential of combining data-driven modeling with reinforcement learning for complex dynamical systems.
• Abstract（参考訳）: 複雑な非線形力学を持つシステムの制御は、特に効率的で堅牢な制御を実現する上で大きな課題となる。 本稿では,非線形ダイナミクスのスパース同定(SINDy)とTD3強化学習を併用したDyna-Style強化学習フレームワークを提案する。 SINDyはシステムのデータ駆動モデルを特定し、明示的な物理的モデルを必要とせずにキーダイナミクスをキャプチャする。 この特定されたモデルは、実環境におけるトレーニング中に定期的に強化学習再生バッファに注入される合成ロールアウトを生成するために使用され、限られたデータで効率的なポリシー学習を可能にする。 このハイブリッドアプローチを利用することで、非線形システムの正確な制御を確保しつつ、従来のモデルレス強化学習手法のサンプル非効率性を緩和する。 本フレームワークの有効性を実証するため,両回転子システムに適用し,安定化と軌道追尾性能の評価を行った。 その結果, SINDy-TD3アプローチは, 直接強化学習法と比較して精度と頑健性に優れており, 複雑な力学系に対するデータ駆動モデリングと強化学習の併用の可能性を強調した。

関連論文リスト

• Model-Based Diffusion Sampling for Predictive Control in Offline Decision Making [48.998030470623384]
  オフラインの意思決定は、さらなるインタラクションを伴わずに、固定データセットからの信頼性の高い振る舞いを必要とする。 i)タスク整列軌道を多様に生成するプランナー,(ii)システム力学との整合性を強制するダイナミクスモデル,(iii)タスク目標に整合した動作を選択するランサーモジュールからなる構成モデルに基づく拡散フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-12-09T06:26:02Z)
• Dynamic Manipulation of Deformable Objects in 3D: Simulation, Benchmark and Learning Strategy [88.8665000676562]
  従来の手法は、しばしば問題を低速または2D設定に単純化し、現実の3Dタスクに適用性を制限する。 データ不足を軽減するため、新しいシミュレーションフレームワークと、低次ダイナミクスに基づくベンチマークを導入する。 本研究では,シミュレーション前トレーニングと物理インフォームドテスト時間適応を統合するフレームワークであるDynamics Informed Diffusion Policy (DIDP)を提案する。
  論文  参考訳（メタデータ） (2025-05-23T03:28:25Z)
• LeARN: Learnable and Adaptive Representations for Nonlinear Dynamics in System Identification [0.0]
  非線形システム識別フレームワークLeARNを導入する。 基礎関数のライブラリをデータから直接学習することで、事前のドメイン知識の必要性を超越します。 我々はNeural Flyデータセットのフレームワークを検証し、その堅牢な適応と能力を示す。
  論文  参考訳（メタデータ） (2024-12-16T18:03:23Z)
• Data-Driven Control with Inherent Lyapunov Stability [3.695480271934742]
  本研究では,非線形力学モデルと安定化制御器のパラメトリック表現をデータから共同学習する手法として,インヒーレント・リャプノフ安定度制御(CoILS)を提案する。 新たな構成によって保証される学習力学の安定化性に加えて、学習した制御器は学習力学の忠実性に関する特定の仮定の下で真の力学を安定化することを示す。
  論文  参考訳（メタデータ） (2023-03-06T14:21:42Z)
• Active Learning of Discrete-Time Dynamics for Uncertainty-Aware Model Predictive Control [46.81433026280051]
  本稿では,非線形ロボットシステムの力学を積極的にモデル化する自己教師型学習手法を提案する。 我々のアプローチは、目に見えない飛行条件に一貫して適応することで、高いレジリエンスと一般化能力を示す。
  論文  参考訳（メタデータ） (2022-10-23T00:45:05Z)
• Physics-Inspired Temporal Learning of Quadrotor Dynamics for Accurate Model Predictive Trajectory Tracking [76.27433308688592]
  クオーロタのシステムダイナミクスを正確にモデル化することは、アジャイル、安全、安定したナビゲーションを保証する上で非常に重要です。 本稿では,ロボットの経験から,四重項系の力学を純粋に学習するための新しい物理インスパイアされた時間畳み込みネットワーク(PI-TCN)を提案する。 提案手法は,スパース時間的畳み込みと高密度フィードフォワード接続の表現力を組み合わせて,正確なシステム予測を行う。
  論文  参考訳（メタデータ） (2022-06-07T13:51:35Z)
• Hierarchical Decomposition of Nonlinear Dynamics and Control for System Identification and Policy Distillation [39.83837705993256]
  強化学習(RL)の最近のトレンドは、力学と政策の複雑な表現に焦点を当てている。 制御コミュニティからインスピレーションを得て、複雑なダイナミクスをより単純なコンポーネントに分解するために、ハイブリッドスイッチングシステムの原則を適用します。
  論文  参考訳（メタデータ） (2020-05-04T12:40:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。