論文の概要: FLEX: an Adaptive Exploration Algorithm for Nonlinear Systems

• arxiv url: http://arxiv.org/abs/2304.13426v1
• Date: Wed, 26 Apr 2023 10:20:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-27 14:39:28.873999
• Title: FLEX: an Adaptive Exploration Algorithm for Nonlinear Systems
• Title（参考訳）: flex: 非線形システムに対する適応探索アルゴリズム
• Authors: Matthieu Blanke and Marc Lelarge
• Abstract要約: 本稿では,最適設計に基づく非線形力学探索アルゴリズムFLEXを紹介する。 本ポリシーは,次のステップに関する情報を最大化し,適応探索アルゴリズムを実現する。 FLEXによる性能は競争力があり、計算コストも低い。
• 参考スコア（独自算出の注目度）: 6.612035830987298
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Model-based reinforcement learning is a powerful tool, but collecting data to fit an accurate model of the system can be costly. Exploring an unknown environment in a sample-efficient manner is hence of great importance. However, the complexity of dynamics and the computational limitations of real systems make this task challenging. In this work, we introduce FLEX, an exploration algorithm for nonlinear dynamics based on optimal experimental design. Our policy maximizes the information of the next step and results in an adaptive exploration algorithm, compatible with generic parametric learning models and requiring minimal resources. We test our method on a number of nonlinear environments covering different settings, including time-varying dynamics. Keeping in mind that exploration is intended to serve an exploitation objective, we also test our algorithm on downstream model-based classical control tasks and compare it to other state-of-the-art model-based and model-free approaches. The performance achieved by FLEX is competitive and its computational cost is low.
• Abstract（参考訳）: モデルベースの強化学習は強力なツールですが、システムの正確なモデルに適合するデータ収集にはコストがかかります。 未知の環境をサンプル効率良く探索することは非常に重要である。 しかし、力学の複雑さと実システムの計算限界は、この課題を難しくしている。 本研究では,最適実験設計に基づく非線形力学探索アルゴリズムFLEXを紹介する。 当社のポリシーは,次のステップに関する情報を最大化し,適応的探索アルゴリズムとして汎用的パラメトリック学習モデルに適合し,最小のリソースを必要とする。 我々は,時間変動ダイナミクスを含む様々な設定の非線形環境において,この手法をテストした。 探索が搾取の目的を果たすことを念頭に置いて、下流モデルベースの古典的制御タスクでアルゴリズムをテストし、他の最先端モデルベースおよびモデルフリーアプローチと比較する。 FLEXによる性能は競争力があり、計算コストも低い。

関連論文リスト

• Active Learning for Control-Oriented Identification of Nonlinear Systems [26.231260751633307]
  本稿では,非線形力学の一般クラスに適した能動学習アルゴリズムの最初の有限サンプル解析について述べる。 ある設定では、アルゴリズムの過剰な制御コストは、対数係数まで、最適な速度を達成する。 我々は,非線形システムの制御におけるアクティブな制御指向探索の利点を示すとともに,シミュレーションにおける我々のアプローチを検証する。
  論文  参考訳（メタデータ） (2024-04-13T15:40:39Z)
• Optimistic Active Exploration of Dynamical Systems [52.91573056896633]
  我々はOPAXと呼ばれる活発な探索のためのアルゴリズムを開発した。 我々は,OPAXを各エピソードで解決可能な最適制御問題に還元する方法を示す。 実験の結果,OPAXは理論的に健全であるだけでなく,新規な下流タスクのゼロショット計画にも有効であることがわかった。
  論文  参考訳（メタデータ） (2023-06-21T16:26:59Z)
• Model-Based Reinforcement Learning with SINDy [0.0]
  強化学習(RL)における物理系の非線形力学を規定する新しい手法を提案する。 本手法は,技術モデル学習アルゴリズムの状態よりもはるかに少ないトラジェクトリを用いて,基礎となるダイナミクスを発見することができることを確認した。
  論文  参考訳（メタデータ） (2022-08-30T19:03:48Z)
• Gradient-Based Trajectory Optimization With Learned Dynamics [80.41791191022139]
  データからシステムの微分可能なダイナミクスモデルを学習するために、機械学習技術を使用します。 ニューラルネットワークは、大規模な時間的地平線に対して、非常に非線形な振る舞いを正確にモデル化できることが示される。 ハードウェア実験において、学習したモデルがSpotとRadio- controlled (RC)の両方の複雑な力学を表現できることを実証した。
  論文  参考訳（メタデータ） (2022-04-09T22:07:34Z)
• Dream to Explore: Adaptive Simulations for Autonomous Systems [3.0664963196464448]
  ベイズ的非パラメトリック法を適用し,力学系制御の学習に挑戦する。 ガウス過程を用いて潜在世界力学を探索することにより、強化学習で観測される一般的なデータ効率の問題を緩和する。 本アルゴリズムは,ログの変動的下界を最適化することにより,世界モデルと政策を共同で学習する。
  論文  参考訳（メタデータ） (2021-10-27T04:27:28Z)
• PC-MLP: Model-based Reinforcement Learning with Policy Cover Guided Exploration [15.173628100049129]
  本研究では,カーネル化レギュレータ(KNR)と線形マルコフ決定過程(MDP)のモデルベースアルゴリズムについて検討する。 両方のモデルに対して、我々のアルゴリズムはサンプルの複雑さを保証し、プランニングオラクルへのアクセスのみを使用する。 また,提案手法は報酬のない探索を効率的に行うことができる。
  論文  参考訳（メタデータ） (2021-07-15T15:49:30Z)
• Learning to Continuously Optimize Wireless Resource in a Dynamic Environment: A Bilevel Optimization Perspective [52.497514255040514]
  この研究は、データ駆動メソッドが動的環境でリソース割り当て戦略を継続的に学び、最適化することを可能にする新しいアプローチを開発しています。 学習モデルが新たなエピソードに段階的に適応できるように、連続学習の概念を無線システム設計に組み込むことを提案する。 我々の設計は、異なるデータサンプルにまたがる公平性を保証する、新しい二段階最適化定式化に基づいている。
  論文  参考訳（メタデータ） (2021-05-03T07:23:39Z)
• Neural-iLQR: A Learning-Aided Shooting Method for Trajectory Optimization [17.25824905485415]
  制約のない制御空間上の学習支援シューティング手法であるNeural-iLQRを提案する。 システムモデルにおける不正確さの存在下で、従来のiLQRよりも著しく優れていることが示されている。
  論文  参考訳（メタデータ） (2020-11-21T07:17:28Z)
• Reinforcement Learning with Fast Stabilization in Linear Dynamical Systems [91.43582419264763]
  未知の安定化線形力学系におけるモデルベース強化学習(RL)について検討する。 本研究では,環境を効果的に探索することで,基盤システムの高速安定化を証明できるアルゴリズムを提案する。 提案アルゴリズムはエージェント環境相互作用の時間ステップで$tildemathcalO(sqrtT)$ regretを達成した。
  論文  参考訳（メタデータ） (2020-07-23T23:06:40Z)
• Localized active learning of Gaussian process state space models [63.97366815968177]
  多くの共通制御アプリケーションにおいて、優れた性能を達成するためには、グローバルに正確なモデルを必要としない。 本稿では,状態-作用空間の有界部分集合上の正確なモデルを得ることを目的としたガウス過程状態空間モデルに対する能動的学習戦略を提案する。 モデル予測制御を用いることで、探索中に収集した情報を統合し、探索戦略を適応的に改善する。
  論文  参考訳（メタデータ） (2020-05-04T05:35:02Z)
• Information Theoretic Model Predictive Q-Learning [64.74041985237105]
  本稿では,情報理論的MPCとエントロピー正規化RLとの新たな理論的関連性を示す。 バイアスモデルを利用したQ-ラーニングアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2019-12-31T00:29:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。