論文の概要: Kullback-Leibler control for discrete-time nonlinear systems on continuous spaces

• arxiv url: http://arxiv.org/abs/2203.12864v1
• Date: Thu, 24 Mar 2022 06:03:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-25 15:25:51.825964
• Title: Kullback-Leibler control for discrete-time nonlinear systems on continuous spaces
• Title（参考訳）: 連続空間上の離散時間非線形系のkullback-leibler制御
• Authors: Kaito Ito, Kenji Kashima
• Abstract要約: Kullback-Leibler (KL) 制御は非線形最適制御問題の効率的な数値解法を可能にする。 再構成されたKL制御は、不合理な仮定を伴わずに、元のKL制御のような効率的な数値アルゴリズムを許容することを示す。
• 参考スコア（独自算出の注目度）: 0.24366811507669117
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Kullback-Leibler (KL) control enables efficient numerical methods for nonlinear optimal control problems. The crucial assumption of KL control is the full controllability of the transition distribution. However, this assumption is often violated when the dynamics evolves in a continuous space. Consequently, applying KL control to problems with continuous spaces requires some approximation, which leads to the lost of the optimality. To avoid such approximation, in this paper, we reformulate the KL control problem for continuous spaces so that it does not require unrealistic assumptions. The key difference between the original and reformulated KL control is that the former measures the control effort by KL divergence between controlled and uncontrolled transition distributions while the latter replaces the uncontrolled transition by a noise-driven transition. We show that the reformulated KL control admits efficient numerical algorithms like the original one without unreasonable assumptions. Specifically, the associated value function can be computed by using a Monte Carlo method based on its path integral representation.
• Abstract（参考訳）: Kullback-Leibler (KL) 制御は非線形最適制御問題の効率的な数値解法を可能にする。 kl制御の重要な仮定は、遷移分布の完全な制御性である。 しかし、この仮定は、ダイナミクスが連続空間で進化するときにしばしば破られる。 したがって、連続空間を持つ問題にkl制御を適用するにはいくつかの近似が必要となり、最適性を失うことになる。 このような近似を避けるために,本論文では,連続空間に対するkl制御問題を,非現実的仮定を必要としないように再構成する。 元のKL制御と改革されたKL制御の主な違いは、前者は制御された遷移分布と制御されていない遷移分布の間のKL分散による制御努力を測り、後者は制御されていない遷移をノイズ駆動的な遷移で置き換えることである。 再構成kl制御は, 元のアルゴリズムのように, 合理的な仮定を伴わずに効率的な数値計算が可能となることを示す。 具体的には、その経路積分表現に基づくモンテカルロ法を用いて、関連する値関数を計算できる。

関連論文リスト

• Neural Port-Hamiltonian Models for Nonlinear Distributed Control: An Unconstrained Parametrization Approach [0.0]
  ニューラルネットワーク(NN)は、優れたパフォーマンスをもたらす制御ポリシのパラメータ化に利用することができる。 NNの小さな入力変更に対する感度は、クローズドループシステムの不安定化のリスクを引き起こす。 これらの問題に対処するために、ポート・ハミルトンシステムのフレームワークを活用して、連続時間分散制御ポリシーを設計する。 提案する分散コントローラの有効性は,非ホロノミック移動ロボットのコンセンサス制御によって実証される。
  論文  参考訳（メタデータ） (2024-11-15T10:44:29Z)
• Thompson Sampling Achieves $\tilde O(\sqrt{T})$ Regret in Linear Quadratic Control [85.22735611954694]
  我々はトンプソンサンプリング(TS)を用いた安定化可能な線形四元系レギュレータ(LQR)の適応制御問題について検討する。 我々は,LQRの適応制御のための効率的なTSアルゴリズムTSACを提案し,多次元システムであっても,$tilde O(sqrtT)$ regretを実現する。
  論文  参考訳（メタデータ） (2022-06-17T02:47:53Z)
• On optimization of coherent and incoherent controls for two-level quantum systems [77.34726150561087]
  本稿では、閉かつオープンな2レベル量子系の制御問題について考察する。 閉系の力学は、コヒーレント制御を持つシュリンガー方程式によって支配される。 開系の力学はゴリーニ=コサコフスキー=スダルシャン=リンドブラッドのマスター方程式によって支配される。
  論文  参考訳（メタデータ） (2022-05-05T09:08:03Z)
• Correct-by-construction reach-avoid control of partially observable linear stochastic systems [7.912008109232803]
  離散時間線形時間不変系のリーチエイド制御のための頑健なフィードバックコントローラを定式化する。 問題は、必要となる証明状態の抽象化問題を満たすコントローラを計算することである。
  論文  参考訳（メタデータ） (2021-03-03T13:46:52Z)
• Improper Learning with Gradient-based Policy Optimization [62.50997487685586]
  未知のマルコフ決定過程に対して学習者がmベースコントローラを与えられる不適切な強化学習設定を考える。 制御器の不適切な混合のクラス上で動作する勾配に基づくアプローチを提案する。
  論文  参考訳（メタデータ） (2021-02-16T14:53:55Z)
• Policy Analysis using Synthetic Controls in Continuous-Time [101.35070661471124]
  因果推論における手法開発において, 合成制御を用いた因果推定は最も成功した手法の1つである。 本稿では,制御された微分方程式の定式化を明示的に用い,潜在反事実経路をモデル化する連続時間代替法を提案する。
  論文  参考訳（メタデータ） (2021-02-02T16:07:39Z)
• Gaussian Process-based Min-norm Stabilizing Controller for Control-Affine Systems with Uncertain Input Effects and Dynamics [90.81186513537777]
  本稿では,この問題の制御・アフィン特性を捉えた新しい化合物カーネルを提案する。 この結果の最適化問題は凸であることを示し、ガウス過程に基づく制御リャプノフ関数第二次コーンプログラム(GP-CLF-SOCP)と呼ぶ。
  論文  参考訳（メタデータ） (2020-11-14T01:27:32Z)
• Gradient Flows for Regularized Stochastic Control Problems [7.801972633035922]
  本研究では,相対エントロピーによって罰せられる目的を持つ確率測度となる行動空間の制御問題について検討する。 測定値制御プロセスのための勾配流を構築するための適切な距離空間を同定する。
  論文  参考訳（メタデータ） (2020-06-10T17:07:36Z)
• Adaptive Control and Regret Minimization in Linear Quadratic Gaussian (LQG) Setting [91.43582419264763]
  我々は不確実性に直面した楽観主義の原理に基づく新しい強化学習アルゴリズムLqgOptを提案する。 LqgOptはシステムのダイナミクスを効率的に探索し、モデルのパラメータを信頼区間まで推定し、最も楽観的なモデルのコントローラをデプロイする。
  論文  参考訳（メタデータ） (2020-03-12T19:56:38Z)
• A homotopy approach to coherent quantum LQG control synthesis using discounted performance criteria [2.0508733018954843]
  本稿では,プラントとコヒーレント(測定不要)制御器のフィールド経由フィードバック接続に対する線形四重項ガウス制御について述べる。 制御の目的は、クローズドループシステムを内部的に安定させ、植物変数を含む無限水平コストを最小化することである。
  論文  参考訳（メタデータ） (2020-02-06T18:52:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。