論文の概要: Model-Free $\mu$-Synthesis: A Nonsmooth Optimization Perspective

• arxiv url: http://arxiv.org/abs/2402.11654v1
• Date: Sun, 18 Feb 2024 17:17:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-20 19:42:06.780651
• Title: Model-Free $\mu$-Synthesis: A Nonsmooth Optimization Perspective
• Title（参考訳）: モデルフリーな$\mu$- synthesis:非滑らかな最適化の観点から
• Authors: Darioush Keivan, Xingang Guo, Peter Seiler, Geir Dullerud, Bin Hu
• Abstract要約: 本稿では,重要なポリシー検索ベンチマーク,すなわち$mu$- synthesisを再考する。 本研究では, 段階的な探索手法が, 実際に顕著な数値的な結果をもたらしていることを示す。
• 参考スコア（独自算出の注目度）: 4.477225073240389
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we revisit model-free policy search on an important robust control benchmark, namely $\mu$-synthesis. In the general output-feedback setting, there do not exist convex formulations for this problem, and hence global optimality guarantees are not expected. Apkarian (2011) presented a nonconvex nonsmooth policy optimization approach for this problem, and achieved state-of-the-art design results via using subgradient-based policy search algorithms which generate update directions in a model-based manner. Despite the lack of convexity and global optimality guarantees, these subgradient-based policy search methods have led to impressive numerical results in practice. Built upon such a policy optimization persepctive, our paper extends these subgradient-based search methods to a model-free setting. Specifically, we examine the effectiveness of two model-free policy optimization strategies: the model-free non-derivative sampling method and the zeroth-order policy search with uniform smoothing. We performed an extensive numerical study to demonstrate that both methods consistently replicate the design outcomes achieved by their model-based counterparts. Additionally, we provide some theoretical justifications showing that convergence guarantees to stationary points can be established for our model-free $\mu$-synthesis under some assumptions related to the coerciveness of the cost function. Overall, our results demonstrate that derivative-free policy optimization offers a competitive and viable approach for solving general output-feedback $\mu$-synthesis problems in the model-free setting.
• Abstract（参考訳）: 本稿では,モデルフリーポリシーサーチを重要なロバスト制御ベンチマーク,すなわち$\mu$- synthesisで再検討する。 一般的な出力フィードバック設定では、この問題に対する凸定式化は存在しないため、大域的最適性保証は期待できない。 Apkarian (2011) は、この問題に対して非凸な非滑らかなポリシー最適化手法を提案し、モデルベースの方法で更新方向を生成する下位のポリシー探索アルゴリズムを用いて最先端の設計結果を達成した。 凸性や大域的最適性保証の欠如にもかかわらず、これらの段階的なポリシー探索手法は、実際は驚くべき数値的な結果をもたらしている。 このような政策最適化を主眼として,これらの段階的な探索手法をモデルフリーな設定に拡張する。 具体的には,モデルフリーの非導出的サンプリング法と一様平滑化を伴うゼロ次ポリシー探索法という2つのモデルフリーポリシー最適化手法の有効性について検討する。 両手法がモデルベースで達成した設計成果を一貫して再現することを示すため,広範な数値実験を行った。 さらに, 定常点への収束保証が, コスト関数の強制性に関連するいくつかの仮定の下で, モデルフリーな$\mu$- synthesis に対して確立されることを示す理論的正当性を示す。 総じて,デリバティブフリー政策最適化は,モデルフリー設定における一般出力フィードバック$\mu$合成問題を解くための競争的かつ実行可能なアプローチであることを示す。

関連論文リスト

• Generalization Bounds of Surrogate Policies for Combinatorial Optimization Problems [61.580419063416734]
  最近の構造化学習手法のストリームは、様々な最適化問題に対する技術の実践的状態を改善している。 鍵となる考え方は、インスタンスを別々に扱うのではなく、インスタンス上の統計分布を利用することだ。 本稿では,最適化を容易にし,一般化誤差を改善するポリシを摂動することでリスクを円滑にする手法について検討する。
  論文  参考訳（メタデータ） (2024-07-24T12:00:30Z)
• Model-Free Active Exploration in Reinforcement Learning [53.786439742572995]
  強化学習における探索問題について検討し,新しいモデルフリーソリューションを提案する。 我々の戦略は、最先端の探査アプローチよりも高速に効率的な政策を特定できる。
  論文  参考訳（メタデータ） (2024-06-30T19:00:49Z)
• Provably Mitigating Overoptimization in RLHF: Your SFT Loss is Implicitly an Adversarial Regularizer [52.09480867526656]
  人間の嗜好を学習する際の分布変化と不確実性の一形態として,不一致の原因を同定する。 過度な最適化を緩和するために、まず、逆選択された報酬モデルに最適なポリシーを選択する理論アルゴリズムを提案する。 報奨モデルとそれに対応する最適ポリシーの等価性を用いて、優先最適化損失と教師付き学習損失を組み合わせた単純な目的を特徴とする。
  論文  参考訳（メタデータ） (2024-05-26T05:38:50Z)
• Low-Switching Policy Gradient with Exploration via Online Sensitivity Sampling [23.989009116398208]
  一般非線形関数近似を用いた低スイッチングサンプリング効率ポリシ最適化アルゴリズム LPO を設計する。 提案アルゴリズムは,$widetildeO(fractextpoly(d)varepsilon3)$サンプルのみを用いて,$varepsilon$-optimal Policyを得る。
  論文  参考訳（メタデータ） (2023-06-15T23:51:46Z)
• When Demonstrations Meet Generative World Models: A Maximum Likelihood Framework for Offline Inverse Reinforcement Learning [62.00672284480755]
  本稿では, 専門家エージェントから, 一定の有限個の実演において観測された動作を過小評価する報酬と環境力学の構造を復元することを目的とする。 タスクを実行するための正確な専門知識モデルは、臨床的意思決定や自律運転のような安全に敏感な応用に応用できる。
  論文  参考訳（メタデータ） (2023-02-15T04:14:20Z)
• Policy Gradient Method For Robust Reinforcement Learning [23.62008807533706]
  本稿では,モデルミスマッチ下での頑健な強化学習のための大域的最適性保証と複雑性解析を用いた最初のポリシー勾配法を開発した。 提案手法は, 直接的政策パラメータ化の下で, 大域的最適勾配に収束することを示す。 次に、我々の方法論を一般のモデルフリー設定に拡張し、ロバストなパラメトリックポリシークラスと値関数を設計する。
  論文  参考訳（メタデータ） (2022-05-15T17:35:17Z)
• Understanding the Effect of Stochasticity in Policy Optimization [86.7574122154668]
  最適化手法の優位性は、正確な勾配が用いられるかどうかに大きく依存することを示す。 次に,政策最適化におけるコミット率の概念を紹介する。 第三に、外部のオラクル情報がない場合には、収束を加速するために幾何を利用することと、最適性をほぼ確実に達成することとの間に本質的にトレードオフがあることが示される。
  論文  参考訳（メタデータ） (2021-10-29T06:35:44Z)
• On the Convergence and Sample Efficiency of Variance-Reduced Policy Gradient Method [38.34416337932712]
  政策は、例えばREINFORCEのようなリッチな強化学習(RL)手法を生み出します。 しかし、そのようなメソッドが$epsilon$-optimal Policyを見つけるための最もよく知られたサンプルの複雑さは$mathcalO(epsilon-3)$である。 第一次政策最適化法の基本収束特性とサンプル効率について検討する。
  論文  参考訳（メタデータ） (2021-02-17T07:06:19Z)
• COMBO: Conservative Offline Model-Based Policy Optimization [120.55713363569845]
  ディープニューラルネットワークのような複雑なモデルによる不確実性推定は困難であり、信頼性が低い。 我々は,サポート外状態動作の値関数を正規化するモデルベースオフラインRLアルゴリズムCOMBOを開発した。 従来のオフラインモデルフリーメソッドやモデルベースメソッドと比べて、comboは一貫してパフォーマンスが良いことが分かりました。
  論文  参考訳（メタデータ） (2021-02-16T18:50:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。