論文の概要: Transfer Learning for a Class of Cascade Dynamical Systems

• arxiv url: http://arxiv.org/abs/2410.06828v1
• Date: Wed, 9 Oct 2024 12:40:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-01 03:21:00.752206
• Title: Transfer Learning for a Class of Cascade Dynamical Systems
• Title（参考訳）: カスケード力学系のクラスにおける伝達学習
• Authors: Shima Rabiei, Sandipan Mishra, Santiago Paternain,
• Abstract要約: 我々は、強化学習の文脈でトランスファーラーニングの問題を考察する。 整列システムにおけるポリシのトレーニングと,それをフルステートシステムにデプロイすることを検討する。 このトレーニング戦略の動機は、力学が複雑であれば、フルステートシステムでシミュレーションを実行するのに過剰な時間を要する可能性があることである。
• 参考スコア（独自算出の注目度）: 2.3674123304219816
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This work considers the problem of transfer learning in the context of reinforcement learning. Specifically, we consider training a policy in a reduced order system and deploying it in the full state system. The motivation for this training strategy is that running simulations in the full-state system may take excessive time if the dynamics are complex. While transfer learning alleviates the computational issue, the transfer guarantees depend on the discrepancy between the two systems. In this work, we consider a class of cascade dynamical systems, where the dynamics of a subset of the state-space influence the rest of the states but not vice-versa. The reinforcement learning policy learns in a model that ignores the dynamics of these states and treats them as commanded inputs. In the full-state system, these dynamics are handled using a classic controller (e.g., a PID). These systems have vast applications in the control literature and their structure allows us to provide transfer guarantees that depend on the stability of the inner loop controller. Numerical experiments on a quadrotor support the theoretical findings.
• Abstract（参考訳）: 本研究は、強化学習の文脈における伝達学習の問題について考察する。 具体的には、リダクションシステムでポリシーをトレーニングし、フルステートシステムにデプロイすることを検討する。 このトレーニング戦略の動機は、力学が複雑であれば、フルステートシステムでシミュレーションを実行するのに過剰な時間を要する可能性があることである。 転送学習は計算問題を緩和するが、転送保証は2つのシステム間の相違に依存する。 本研究では、状態空間の部分集合の力学が他の状態に影響を与えるが、逆ではないカスケード力学系のクラスを考える。 強化学習ポリシーは、これらの状態のダイナミクスを無視して、命令入力として扱うモデルで学習する。 フルステートシステムでは、これらのダイナミクスは古典的なコントローラ(例えばPID)を使って処理される。 これらのシステムは制御文献に多大な応用があり、その構造は内部ループコントローラの安定性に依存する転送保証を提供することができる。 立方体に関する数値実験は理論的な結果を支持する。

関連論文リスト

• Learning System Dynamics without Forgetting [60.08612207170659]
  未知の力学を持つ系の軌道予測は、物理学や生物学を含む様々な研究分野において重要である。 本稿では,モードスイッチンググラフODE (MS-GODE) の新たなフレームワークを提案する。 生体力学の異なる多様な系を特徴とする生体力学システムの新しいベンチマークを構築した。
  論文  参考訳（メタデータ） (2024-06-30T14:55:18Z)
• Learning the Topology and Behavior of Discrete Dynamical Systems [30.424671907681688]
  ブラックボックスシステムの振る舞いと基盤となるトポロジを学習する問題に焦点をあてる。 一般に、この学習問題は計算的に難解であることが示される。 この結果は、離散力学系の挙動とトポロジーの両方を学ぶための理論的基盤を提供する。
  論文  参考訳（メタデータ） (2024-02-18T19:31:26Z)
• Controlling dynamical systems to complex target states using machine learning: next-generation vs. classical reservoir computing [68.8204255655161]
  機械学習を用いた非線形力学系の制御は、システムを周期性のような単純な振る舞いに駆動するだけでなく、より複雑な任意の力学を駆動する。 まず, 従来の貯水池計算が優れていることを示す。 次のステップでは、これらの結果を異なるトレーニングデータに基づいて比較し、代わりに次世代貯水池コンピューティングを使用する別のセットアップと比較する。 その結果、通常のトレーニングデータに対して同等のパフォーマンスを提供する一方で、次世代RCは、非常に限られたデータしか利用できない状況において、著しくパフォーマンスが向上していることがわかった。
  論文  参考訳（メタデータ） (2023-07-14T07:05:17Z)
• Model-Based Reinforcement Learning with Isolated Imaginations [61.67183143982074]
  モデルに基づく強化学習手法であるIso-Dream++を提案する。 我々は、切り離された潜在的想像力に基づいて政策最適化を行う。 これにより、野生の混合力学源を孤立させることで、長い水平振動子制御タスクの恩恵を受けることができる。
  論文  参考訳（メタデータ） (2023-03-27T02:55:56Z)
• Learning Control-Oriented Dynamical Structure from Data [25.316358215670274]
  一般非線形制御アフィン系に対する状態依存非線形トラッキングコントローラの定式化について論じる。 安定軌跡追跡における学習版の有効性を実証的に実証した。
  論文  参考訳（メタデータ） (2023-02-06T02:01:38Z)
• GEM: Group Enhanced Model for Learning Dynamical Control Systems [78.56159072162103]
  サンプルベースの学習が可能な効果的なダイナミクスモデルを構築します。 リー代数ベクトル空間上のダイナミクスの学習は、直接状態遷移モデルを学ぶよりも効果的であることを示す。 この研究は、ダイナミクスの学習とリー群の性質の関連性を明らかにし、新たな研究の方向への扉を開く。
  論文  参考訳（メタデータ） (2021-04-07T01:08:18Z)
• Neural Dynamic Policies for End-to-End Sensorimotor Learning [51.24542903398335]
  感覚運動制御における現在の主流パラダイムは、模倣であれ強化学習であれ、生の行動空間で政策を直接訓練することである。 軌道分布空間の予測を行うニューラル・ダイナミック・ポリシー(NDP)を提案する。 NDPは、いくつかのロボット制御タスクにおいて、効率と性能の両面で、これまでの最先端よりも優れている。
  論文  参考訳（メタデータ） (2020-12-04T18:59:32Z)
• Learning Stable Deep Dynamics Models [91.90131512825504]
  状態空間全体にわたって安定することが保証される力学系を学習するためのアプローチを提案する。 このような学習システムは、単純な力学系をモデル化することができ、複雑な力学を学習するために追加の深層生成モデルと組み合わせることができることを示す。
  論文  参考訳（メタデータ） (2020-01-17T00:04:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。