Fugu-MT 論文翻訳(概要): Algorithmic Optimality Guarantees for Nonsmooth $H

論文の概要: Algorithmic Optimality Guarantees for Nonsmooth $H_\infty$ Output-Feedback Policy Search

arxiv url: http://arxiv.org/abs/2609.06197v1
Date: Sat, 05 Sep 2026 17:36:26 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-10 19:44:08.219007
Title: Algorithmic Optimality Guarantees for Nonsmooth $H_\infty$ Output-Feedback Policy Search
Title（参考訳）: 非平滑な$H_\infty$output-Feedback Policy Searchのためのアルゴリズム最適保証
Abstract要約: 非平滑な$H_infty$ポリシーサーチのためのロバストな$varepsilon$-stationarityベンチマークを開発する。拡張凸リフトの正確なIDスライスについて、コンパクトな完全スライスに対する$O(varepsilon)$-suboptimalityは、非滑らかなポリシー探索法に対する収束率保証をもたらすことを証明した。
参考スコア（独自算出の注目度）: 24.350063807321945
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We study continuous-time full-order dynamic output-feedback $H_\infty$ policy search, a nonconvex and nonsmooth problem. Direct policy search is a central paradigm in reinforcement learning and continuous control, but rigorous guarantees remain scarce in robust output-feedback settings. The $H_\infty$ problem is a canonical benchmark because it captures disturbance attenuation and robustness while exposing the hard nonsmooth geometry of policy-space optimization. We prove that on the exact identity-gauge slice of the extended convex lift, $\varepsilon$-stationarity yields $O(\varepsilon)$-suboptimality on compact exact slices, which in turn yields convergence-rate guarantees for nonsmooth policy-search methods. This result addresses the finite-time optimality-gap question raised by Guo and Hu [2022] in the more general dynamic output-feedback $H_\infty$ policy-search setting. We further use the established value equivalence supplied by extended convex lifting to formulate a nonstrict-feasibility bisection method with one final strict-feasibility recovery step, yielding an explicit $\varepsilon$-optimal stabilizing controller. These results provide a quantitative and algorithmic strengthening of prior qualitative optimality theory for nonsmooth $H_\infty$ policy search.
Abstract（参考訳）: 連続時間フルオーダー出力フィードバック$H_\infty$ポリシー探索、非凸かつ非滑らかな問題について検討する。直接政策探索は強化学習と継続的制御において中心的なパラダイムであるが、堅牢な出力フィードバック設定では厳密な保証は乏しい。 H_\infty$問題は、ポリシー空間最適化の厳密な非滑らかな幾何を露呈しながら、外乱減衰とロバスト性を捉えるため、標準ベンチマークである。拡張凸リフトの正確な単位ゲージスライスに対して、$\varepsilon$-stationarity はコンパクトな完全スライスに対して$O(\varepsilon)$-suboptimality をもたらすことを証明し、非滑らかなポリシー探索法に対する収束率保証を与える。この結果は、Guo と Hu [2022] によって提起された有限時間最適性-ギャップ問題に、より一般的な動的出力フィードバック $H_\infty$ Policy-search 設定で対処する。さらに、拡張凸リフトにより供給される確立された値等価性を利用して、1つの最終的な厳密性回復ステップで非制限性二分法を定式化し、明示的な$\varepsilon$-Optimal安定化コントローラを得る。これらの結果は、非滑らかな$H_\infty$ポリシー探索に対する事前定性的最適性理論の定量的かつアルゴリズム的な強化を与える。

関連論文リスト

Provably Efficient Algorithms for S- and Non-Rectangular Robust MDPs with General Parameterization [85.91302339486673]
我々は、s-正方形および非正方形不確実性集合の下で、一般的な政策パラメータ化を伴うロバストマルコフ決定過程(RMDP)について検討する。無限状態空間に拡張する一般政策パラメタライゼーションに対する新しいリプシッツ・リプシッツ・スムースネス特性を証明した。本研究では,S-正方形不確かさに対する勾配降下アルゴリズムと非正方形不確かさに対するFrank-Wolfeアルゴリズムを設計する。
論文参考訳（メタデータ） (2026-02-11T21:44:20Z)
Analysis of Schedule-Free Nonconvex Optimization [0.0]
大規模学習アルゴリズムの根底にある一階法であるが、その収束性は慎重にスケジュールされたステップのヒンジを保証し、前例のないスケジュール自由地平線に依存する。我々の$Oレートが$O(log T)$に束縛されていることを示す。我々の研究はSFの地平線を拡張し、最適な非滑らかな速度で将来の方向をグラフ化する。
論文参考訳（メタデータ） (2025-08-08T22:54:35Z)
Convergence and Sample Complexity of First-Order Methods for Agnostic Reinforcement Learning [66.4260157478436]
政策学習における強化学習について検討する。目的は、特定の種類の利害関係において最高の政策と競争力のある政策を見つけることである。
論文参考訳（メタデータ） (2025-07-06T14:40:05Z)
Stochastic Momentum Methods for Non-smooth Non-Convex Finite-Sum Coupled Compositional Optimization [68.22688819802622]
我々は、(ほぼ)$レベルのKKTソリューションを見つけるために、$O(/epsilon)$の最先端の複雑さを新たに提案する。 O(/epsilon)$ の(ほぼ) $ レベルの KKT ソリューションを見つけるための技術的複雑さを適用することで、(ほぼ) $ レベルの KKT ソリューションを見つけるための $O(/epsilon)$ の最先端の複雑さを新たに達成する。
論文参考訳（メタデータ） (2025-06-03T06:31:59Z)
Rethinking the Global Convergence of Softmax Policy Gradient with Linear Function Approximation [52.772454746132276]
問題依存量のモデル化における近似誤差は,アルゴリズムのグローバル収束とは無関係であることを示す。我々は,任意の定値学習率を持つ$textttLin-SPG$が,最適ポリシーへのグローバル収束を保証することを証明した。
論文参考訳（メタデータ） (2025-05-06T04:03:06Z)
Low-Switching Policy Gradient with Exploration via Online Sensitivity Sampling [23.989009116398208]
一般非線形関数近似を用いた低スイッチングサンプリング効率ポリシ最適化アルゴリズム LPO を設計する。提案アルゴリズムは,$widetildeO(fractextpoly(d)varepsilon3)$サンプルのみを用いて,$varepsilon$-optimal Policyを得る。
論文参考訳（メタデータ） (2023-06-15T23:51:46Z)
Global Convergence of Direct Policy Search for State-Feedback $\mathcal{H}_\infty$ Robust Control: A Revisit of Nonsmooth Synthesis with Goldstein Subdifferential [3.9391112596932243]
直接ポリシー探索は、グローバルなロバストな$mathcal_infty$状態探索問題を見つけることが保証されていることを示す。定常点は、この非滑らかな最適化問題に対する最小の設計解である。これらの性質に基づき、ゴールドスタインの劣次法とその実装可能な不変量は、実現不可能な集合に留まることを保証できることを示す。
論文参考訳（メタデータ） (2022-10-20T20:33:20Z)
Globally Convergent Policy Search over Dynamic Filters for Output Estimation [64.90951294952094]
我々は,大域的に最適な$textitdynamic$ filterに収束する最初の直接ポリシー探索アルゴリズム凸を導入する。我々は、情報化が前述の優越性を克服していることを示す。
論文参考訳（メタデータ） (2022-02-23T18:06:20Z)
A general sample complexity analysis of vanilla policy gradient [101.16957584135767]
政策勾配(PG)は、最も一般的な強化学習(RL)問題の1つである。 PG軌道の「バニラ」理論的理解は、RL問題を解く最も一般的な方法の1つである。
論文参考訳（メタデータ） (2021-07-23T19:38:17Z)
On the Convergence and Sample Efficiency of Variance-Reduced Policy Gradient Method [38.34416337932712]
政策は、例えばREINFORCEのようなリッチな強化学習(RL)手法を生み出します。しかし、そのようなメソッドが$epsilon$-optimal Policyを見つけるための最もよく知られたサンプルの複雑さは$mathcalO(epsilon-3)$である。第一次政策最適化法の基本収束特性とサンプル効率について検討する。
論文参考訳（メタデータ） (2021-02-17T07:06:19Z)
Provably Efficient Safe Exploration via Primal-Dual Policy Optimization [105.7510838453122]
制約付きマルコフ決定過程(CMDP)を用いた安全強化学習(SRL)問題について検討する。本稿では,関数近似設定において,安全な探索を行うCMDPの効率の良いオンラインポリシー最適化アルゴリズムを提案する。
論文参考訳（メタデータ） (2020-03-01T17:47:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。