Fugu-MT 論文翻訳(概要): Sample Complexity of the Linear Quadratic Regulator: A Reinforcement Learning Lens

論文の概要: Sample Complexity of the Linear Quadratic Regulator: A Reinforcement Learning Lens

arxiv url: http://arxiv.org/abs/2404.10851v2
Date: Thu, 18 Apr 2024 23:38:49 GMT
ステータス: 翻訳完了
システム内更新日: 2024-04-22 12:21:28.296244
Title: Sample Complexity of the Linear Quadratic Regulator: A Reinforcement Learning Lens
Title（参考訳）: 線形二次レギュレータのサンプル複雑さ:強化学習レンズ
Authors: Amirreza Neshaei Moghaddam, Alex Olshevsky, Bahman Gharesifard,
Abstract要約: 我々は,$widetildemathcalO (1/varepsilon)$関数評価において,$varepsilon$-optimalityを達成する最初のアルゴリズムを提供する。この結果は,2点勾配推定の領域外において,既存の文献を著しく改善する。
参考スコア（独自算出の注目度）: 11.98212766542468
License: http://creativecommons.org/publicdomain/zero/1.0/
Abstract: We provide the first known algorithm that provably achieves $\varepsilon$-optimality within $\widetilde{\mathcal{O}}(1/\varepsilon)$ function evaluations for the discounted discrete-time LQR problem with unknown parameters, without relying on two-point gradient estimates. These estimates are known to be unrealistic in many settings, as they depend on using the exact same initialization, which is to be selected randomly, for two different policies. Our results substantially improve upon the existing literature outside the realm of two-point gradient estimates, which either leads to $\widetilde{\mathcal{O}}(1/\varepsilon^2)$ rates or heavily relies on stability assumptions.
Abstract（参考訳）: 未知パラメータを持つ離散時間LQR問題の関数評価を2点勾配推定に頼らずに,$\widetilde{\mathcal{O}}(1/\varepsilon)$$$\varepsilon$-optimalityを実現した最初のアルゴリズムを提供する。これらの推定は多くの設定において非現実的であることが知られており、それらは2つの異なるポリシーに対してランダムに選択される全く同じ初期化を使用することに依存している。我々の結果は、2点勾配推定の領域外にある既存の文献を著しく改善し、$\widetilde{\mathcal{O}}(1/\varepsilon^2)$レートに導かれるか、安定性の仮定に強く依存する。

関連論文リスト

Provably Efficient Algorithms for S- and Non-Rectangular Robust MDPs with General Parameterization [85.91302339486673]
我々は、s-正方形および非正方形不確実性集合の下で、一般的な政策パラメータ化を伴うロバストマルコフ決定過程(RMDP)について検討する。無限状態空間に拡張する一般政策パラメタライゼーションに対する新しいリプシッツ・リプシッツ・スムースネス特性を証明した。本研究では,S-正方形不確かさに対する勾配降下アルゴリズムと非正方形不確かさに対するFrank-Wolfeアルゴリズムを設計する。
論文参考訳（メタデータ） (2026-02-11T21:44:20Z)
Improving Online-to-Nonconvex Conversion for Smooth Optimization via Double Optimism [25.642618010943824]
本稿では,2倍の楽観的ヒント関数に基づくオンラインの楽観的勾配法を提案する。我々は1.75 + sigma2 varepsilon-3.5)$で統一されたアルゴリズムを得る。
論文参考訳（メタデータ） (2025-10-03T16:41:24Z)
Finite Sample Analysis of Linear Temporal Difference Learning with Arbitrary Features [33.19711311247482]
本稿では、任意の機能の下で線形TD($lambda$)演算に対する最初の$L2$収束率を確立する。任意の特徴から生じる解の潜在的非特異性に対処するために、単一点ではなく解集合への収束率を特徴とする新しい近似結果を開発する。
論文参考訳（メタデータ） (2025-05-27T16:17:49Z)
Methods for Convex $(L_0,L_1)$-Smooth Optimization: Clipping, Acceleration, and Adaptivity [50.25258834153574]
我々は、(強に)凸 $(L0)$-smooth 関数のクラスに焦点を当て、いくつかの既存のメソッドに対する新しい収束保証を導出する。特に,スムーズなグラディエント・クリッピングを有するグラディエント・ディフレッシュと,ポリアク・ステップサイズを有するグラディエント・ディフレッシュのコンバージェンス・レートの改善を導出した。
論文参考訳（メタデータ） (2024-09-23T13:11:37Z)
Oracle Complexity Reduction for Model-free LQR: A Stochastic Variance-Reduced Policy Gradient Approach [4.422315636150272]
離散時間線形擬似レギュレータ(LQR)問題に対する$epsilon$-approximateソリューションの学習問題について検討する。本手法は,二ループ分散推定アルゴリズムにおいて,一点推定と二点推定を併用する。
論文参考訳（メタデータ） (2023-09-19T15:03:18Z)
A Fully First-Order Method for Stochastic Bilevel Optimization [8.663726907303303]
一階勾配オラクルのみが利用できる場合、制約のない二段階最適化問題を考える。完全一階近似法(F2SA)を提案し,その非漸近収束特性について検討する。 MNISTデータハイパクリーニング実験において,既存の2次手法よりも提案手法の実用性能が優れていることを示す。
論文参考訳（メタデータ） (2023-01-26T05:34:21Z)
Optimal Extragradient-Based Bilinearly-Coupled Saddle-Point Optimization [116.89941263390769]
滑らかな凸凹凸結合型サドル点問題, $min_mathbfxmax_mathbfyF(mathbfx) + H(mathbfx,mathbfy)$ を考える。漸進的勾配指数(AG-EG)降下指数アルゴリズムについて述べる。
論文参考訳（メタデータ） (2022-06-17T06:10:20Z)
A gradient estimator via L1-randomization for online zero-order optimization with two point feedback [93.57603470949266]
2つの関数評価とランダム化に基づく新しい勾配推定器を提案する。ゼロ次オラクルの雑音に対する仮定は,ノイズのキャンセルと逆方向雑音の2種類について考察する。我々は、問題の全てのパラメータに適応する、いつでも完全にデータ駆動のアルゴリズムを提供する。
論文参考訳（メタデータ） (2022-05-27T11:23:57Z)
A Projection-free Algorithm for Constrained Stochastic Multi-level Composition Optimization [12.096252285460814]
合成最適化のためのプロジェクションフリー条件付き勾配型アルゴリズムを提案する。提案アルゴリズムで要求されるオラクルの数と線形最小化オラクルは,それぞれ$mathcalO_T(epsilon-2)$と$mathcalO_T(epsilon-3)$である。
論文参考訳（メタデータ） (2022-02-09T06:05:38Z)
High-probability Bounds for Non-Convex Stochastic Optimization with Heavy Tails [55.561406656549686]
我々は、勾配推定が末尾を持つ可能性のある一階アルゴリズムを用いたヒルベルト非最適化を考える。本研究では, 勾配, 運動量, 正規化勾配勾配の収束を高確率臨界点に収束させることと, 円滑な損失に対する最もよく知られた繰り返しを示す。
論文参考訳（メタデータ） (2021-06-28T00:17:01Z)
Randomized Exploration for Reinforcement Learning with General Value Function Approximation [122.70803181751135]
本稿では,ランダム化最小二乗値反復(RLSVI)アルゴリズムに着想を得たモデルレス強化学習アルゴリズムを提案する。提案アルゴリズムは,スカラーノイズを用いたトレーニングデータを簡易に摂動させることにより,探索を促進する。我々はこの理論を、既知の困難な探査課題にまたがる実証的な評価で補完する。
論文参考訳（メタデータ） (2021-06-15T02:23:07Z)
Joint Optimization of Multi-Objective Reinforcement Learning with Policy Gradient Based Algorithm [50.50545326342971]
複数の長期目標の非線形凹関数を最大化する問題を定式化する。この問題に対してポリシー段階に基づくモデルフリーアルゴリズムを提案する。提案アルゴリズムは,グローバルオプティマの$epsilon$以内に収束することが示されている。
論文参考訳（メタデータ） (2021-05-28T22:20:54Z)
Optimal Robust Linear Regression in Nearly Linear Time [97.11565882347772]
学習者が生成モデル$Y = langle X,w* rangle + epsilon$から$n$のサンプルにアクセスできるような高次元頑健な線形回帰問題について検討する。 i) $X$ is L4-L2 hypercontractive, $mathbbE [XXtop]$ has bounded condition number and $epsilon$ has bounded variance, (ii) $X$ is sub-Gaussian with identity second moment and $epsilon$ is
論文参考訳（メタデータ） (2020-07-16T06:44:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。