論文の概要: Critic as Lyapunov function (CALF): a model-free, stability-ensuring agent
- arxiv url: http://arxiv.org/abs/2409.09869v1
- Date: Sun, 15 Sep 2024 21:27:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-17 17:10:28.386769
- Title: Critic as Lyapunov function (CALF): a model-free, stability-ensuring agent
- Title（参考訳）: リアプノフ関数(CALF)の批判 : モデルフリーで安定性を保った薬剤
- Authors: Pavel Osinenko, Grigory Yaremenko, Roman Zashchitin, Anton Bolychev, Sinan Ibrahim, Dmitrii Dobriborsci,
- Abstract要約: この研究は、Crytic As Lyapunov Function(CALF)と呼ばれる新しい強化学習エージェントを提示し、展示する。
CALFはモデルフリーであり、オンライン環境、言い換えれば動的システムの安定化を保証する。
その並行的なアプローチは、主にオフラインまたはモデルベース、例えば、モデル予測制御をエージェントに融合させるもののいずれかである。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This work presents and showcases a novel reinforcement learning agent called Critic As Lyapunov Function (CALF) which is model-free and ensures online environment, in other words, dynamical system stabilization. Online means that in each learning episode, the said environment is stabilized. This, as demonstrated in a case study with a mobile robot simulator, greatly improves the overall learning performance. The base actor-critic scheme of CALF is analogous to SARSA. The latter did not show any success in reaching the target in our studies. However, a modified version thereof, called SARSA-m here, did succeed in some learning scenarios. Still, CALF greatly outperformed the said approach. CALF was also demonstrated to improve a nominal stabilizer provided to it. In summary, the presented agent may be considered a viable approach to fusing classical control with reinforcement learning. Its concurrent approaches are mostly either offline or model-based, like, for instance, those that fuse model-predictive control into the agent.
- Abstract（参考訳）: この研究は、モデルフリーで、オンライン環境、つまり動的システムの安定化を保証する新しい強化学習エージェントであるCrytic As Lyapunov Function(CALF)を提示し、展示する。
オンラインとは、各学習エピソードにおいて、その環境が安定していることを意味する。
これは、モバイルロボットシミュレータを用いたケーススタディで示されたように、全体的な学習性能を大幅に向上させる。
CALFの基本的なアクター批判スキームは、SARSAと類似している。
後者は我々の研究で目標に達することには成功しなかった。
しかし、SARSA-mと呼ばれる修正版がいくつかの学習シナリオで成功した。
それでもCALFは、そのアプローチを大きく上回った。
CALFはまた、それが提供する名目安定剤を改善するためにも実証された。
要約すると, 提案エージェントは, 古典的制御と強化学習を融合させるための有効なアプローチであると考えられる。
その並行的なアプローチは、主にオフラインまたはモデルベース、例えば、モデル予測制御をエージェントに融合させるもののいずれかである。
関連論文リスト
- A novel agent with formal goal-reaching guarantees: an experimental study with a mobile robot [0.0]
強化学習 (Reinforcement Learning, RL) は, ロボット工学における多くの課題に対して有効かつ便利であることが示されている。
この研究は、Crytic As Lyapunov Function(CALF)と呼ばれる新しい安全なモデルフリーRLエージェントを提示する。
論文 参考訳（メタデータ） (2024-09-23T10:04:28Z) - Safe Deep Model-Based Reinforcement Learning with Lyapunov Functions [2.50194939587674]
本稿では,未知のダイナミクスを用いた効率的なポリシー学習を実現するためのモデルベースRLフレームワークを提案する。
本稿では,モデルベースRLのトレーニングおよび政策学習における安全性制約を付加する新しい手法を紹介し,検討する。
論文 参考訳（メタデータ） (2024-05-25T11:21:12Z) - Deep autoregressive density nets vs neural ensembles for model-based
offline reinforcement learning [2.9158689853305693]
本稿では、利用可能なデータからシステムダイナミクスを推定し、仮想モデルロールアウトにおけるポリシー最適化を行うモデルベース強化学習アルゴリズムについて考察する。
このアプローチは、実際のシステムで破滅的な失敗を引き起こす可能性のあるモデルエラーを悪用することに対して脆弱である。
D4RLベンチマークの1つのよく校正された自己回帰モデルにより、より良い性能が得られることを示す。
論文 参考訳（メタデータ） (2024-02-05T10:18:15Z) - Learn from the Past: A Proxy Guided Adversarial Defense Framework with
Self Distillation Regularization [53.04697800214848]
敵対的訓練(AT)は、ディープラーニングモデルの堅牢性を固める上で重要な要素である。
AT方式は、目標モデルの防御のために直接反復的な更新を頼りにしており、不安定な訓練や破滅的なオーバーフィッティングといった障害に頻繁に遭遇する。
汎用プロキシガイド型防衛フレームワークLAST(bf Pbf astから学ぶ)を提案する。
論文 参考訳（メタデータ） (2023-10-19T13:13:41Z) - Learning Stability Attention in Vision-based End-to-end Driving Policies [100.57791628642624]
本稿では, 制御型リアプノフ関数(CLF)を利用して, エンドツーエンドのビジョンベースのポリシに安定性を付与する手法を提案する。
本稿では,att-CLFに密に統合された不確実性伝播手法を提案する。
論文 参考訳（メタデータ） (2023-04-05T20:31:10Z) - On the Stability-Plasticity Dilemma of Class-Incremental Learning [50.863180812727244]
クラス増分学習の第一の目的は、安定性と可塑性のバランスをとることである。
本稿では,近年のクラス増分学習アルゴリズムが,安定性と塑性のトレードオフにいかに効果的かを明らかにすることを目的とする。
論文 参考訳（メタデータ） (2023-04-04T09:34:14Z) - Efficient Model-based Multi-agent Reinforcement Learning via Optimistic
Equilibrium Computation [93.52573037053449]
H-MARL (Hallucinated Multi-Agent Reinforcement Learning) は,環境と数回交流した後の平衡政策を学習する。
自律運転シミュレーションベンチマークにおいて,本手法を実験的に実証した。
論文 参考訳（メタデータ） (2022-03-14T17:24:03Z) - Uncertainty-Aware Model-Based Reinforcement Learning with Application to
Autonomous Driving [2.3303341607459687]
本稿では,新しい不確実性を考慮したモデルに基づく強化学習フレームワークを提案する。
このフレームワークは適応的トランケーションアプローチに基づいて開発され、エージェントと環境モデルの間の仮想相互作用を提供する。
開発したアルゴリズムは、エンド・ツー・エンドの自動運転車制御タスクで実装され、様々な運転シナリオにおける最先端の手法と比較される。
論文 参考訳（メタデータ） (2021-06-23T06:55:14Z) - Training Generative Adversarial Networks by Solving Ordinary
Differential Equations [54.23691425062034]
GANトレーニングによって引き起こされる連続時間ダイナミクスについて検討する。
この観点から、GANのトレーニングにおける不安定性は積分誤差から生じると仮定する。
本研究では,有名なODEソルバ(Runge-Kutta など)がトレーニングを安定化できるかどうかを実験的に検証する。
論文 参考訳（メタデータ） (2020-10-28T15:23:49Z) - Efficient Empowerment Estimation for Unsupervised Stabilization [75.32013242448151]
エンパワーメント原理は 直立位置での 力学系の教師なし安定化を可能にする
本稿では,ガウスチャネルとして動的システムのトレーニング可能な表現に基づく代替解を提案する。
提案手法は, サンプルの複雑さが低く, 訓練時より安定であり, エンパワーメント機能の本質的特性を有し, 画像からエンパワーメントを推定できることを示す。
論文 参考訳（メタデータ） (2020-07-14T21:10:16Z) - Actor-Critic Reinforcement Learning for Control with Stability Guarantee [9.400585561458712]
強化学習(RL)と深層学習の統合は、様々なロボット制御タスクにおいて印象的なパフォーマンスを達成した。
しかし、データのみを用いることで、モデルフリーなRLでは安定性は保証されない。
本稿では,古典的なリアプノフ法を制御理論に適用することにより,閉ループ安定性を保証できるアクタクリティカルな制御用RLフレームワークを提案する。
論文 参考訳（メタデータ） (2020-04-29T16:14:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。