論文の概要: Stochastic Online Optimization using Kalman Recursion
- arxiv url: http://arxiv.org/abs/2002.03636v2
- Date: Fri, 26 Jun 2020 08:15:29 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-02 08:49:27.420682
- Title: Stochastic Online Optimization using Kalman Recursion
- Title(参考訳): Kalman Recursion を用いた確率的オンライン最適化
- Authors: Joseph de Vilmarest (LPSM (UMR\_8001)), Olivier Wintenberger (LPSM
(UMR\_8001))
- Abstract要約: 定数力学における拡張カルマンフィルタについて検討し、ベイズ的最適化の視点を提供する。
制約のない環境で累積余剰リスクの確率境界を求める。
EKFはパラメータフリーなオンラインアルゴリズムとして出現し、1イテレーションあたりのO(d2)コストは制約のない最適化問題を最適に解決する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study the Extended Kalman Filter in constant dynamics, offering a bayesian
perspective of stochastic optimization. We obtain high probability bounds on
the cumulative excess risk in an unconstrained setting. In order to avoid any
projection step we propose a two-phase analysis. First, for linear and logistic
regressions, we prove that the algorithm enters a local phase where the
estimate stays in a small region around the optimum. We provide explicit bounds
with high probability on this convergence time. Second, for generalized linear
regressions, we provide a martingale analysis of the excess risk in the local
phase, improving existing ones in bounded stochastic optimization. The EKF
appears as a parameter-free online algorithm with O(d^2) cost per iteration
that optimally solves some unconstrained optimization problems.
- Abstract(参考訳): 定数力学における拡張カルマンフィルタの研究を行い、確率最適化のベイズ的視点を提供する。
非拘束状態での累積過剰リスクに対する高い確率境界を求める。
投影ステップを回避するために,二相解析を提案する。
まず, 線形回帰とロジスティック回帰に対して, 推定値が最適付近の小さな領域に留まる局所的な位相にアルゴリズムが入ることを証明した。
この収束時間に高い確率で明示的な境界を与える。
第二に, 一般化線形回帰に対して, 局所相における過剰リスクのマルティンゲール解析を行い, 有界確率最適化における既存リスクを改善した。
EKFはパラメータフリーなオンラインアルゴリズムとして出現し、1イテレーションあたりのO(d^2)コストは制約のない最適化問題を最適に解決する。
関連論文リスト
- Information-Theoretic Trust Regions for Stochastic Gradient-Based
Optimization [17.79206971486723]
arTuROは適応モーメントベース最適化の高速収束とSGDの機能を組み合わせたものであることを示す。
我々は、勾配からヘッセンの対角要素を近似し、1次情報のみを用いて予測されたヘッセンのモデルを構築する。
arTuROは適応モーメントベース最適化の高速収束とSGDの機能を組み合わせたものであることを示す。
論文 参考訳(メタデータ) (2023-10-31T16:08:38Z) - Fully Stochastic Trust-Region Sequential Quadratic Programming for
Equality-Constrained Optimization Problems [62.83783246648714]
目的と決定論的等式制約による非線形最適化問題を解くために,逐次2次プログラミングアルゴリズム(TR-StoSQP)を提案する。
アルゴリズムは信頼領域半径を適応的に選択し、既存の直線探索StoSQP方式と比較して不確定なヘッセン行列を利用することができる。
論文 参考訳(メタデータ) (2022-11-29T05:52:17Z) - Stochastic Mirror Descent for Large-Scale Sparse Recovery [13.500750042707407]
本稿では,2次近似の高次元スパースパラメータの統計的推定への応用について論じる。
提案アルゴリズムは, 回帰器分布の弱い仮定の下で, 推定誤差の最適収束を実現する。
論文 参考訳(メタデータ) (2022-10-23T23:23:23Z) - Formal guarantees for heuristic optimization algorithms used in machine
learning [6.978625807687497]
グラディエント・Descent(SGD)とその変種は、大規模最適化機械学習(ML)問題において支配的な手法となっている。
本稿では,いくつかの凸最適化手法の形式的保証と改良アルゴリズムの提案を行う。
論文 参考訳(メタデータ) (2022-07-31T19:41:22Z) - Optimal Rates for Random Order Online Optimization [60.011653053877126]
敵が損失関数を選択できるカテットガルバー2020onlineについて検討するが、一様にランダムな順序で提示される。
2020onlineアルゴリズムが最適境界を達成し,安定性を著しく向上することを示す。
論文 参考訳(メタデータ) (2021-06-29T09:48:46Z) - Near-Optimal High Probability Complexity Bounds for Non-Smooth
Stochastic Optimization with Heavy-Tailed Noise [63.304196997102494]
アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。
既存の非滑らか凸最適化法は、負のパワーまたは対数的な信頼度に依存する境界の複雑さを持つ。
クリッピングを用いた2つの勾配法に対して, 新たなステップサイズルールを提案する。
論文 参考訳(メタデータ) (2021-06-10T17:54:21Z) - On Stochastic Moving-Average Estimators for Non-Convex Optimization [105.22760323075008]
本稿では,移動平均(SEMA)問題に基づく広く利用されている推定器のパワーを実証する。
これらすべてのアートな結果に対して、これらのアートな問題に対する結果も提示します。
論文 参考訳(メタデータ) (2021-04-30T08:50:24Z) - ROOT-SGD: Sharp Nonasymptotics and Asymptotic Efficiency in a Single
Algorithm [77.71051081132912]
第一次アルゴリズムを用いて,厳密な凸と滑らかな非制約最適化問題の解法について検討する。
emphRecursive One-Over-T Root (ROOTSGD) と呼ばれる小説を考案する。
有限サンプル勾配, 漸近感覚, 感覚を同時に達成することを証明する。
論文 参考訳(メタデータ) (2020-08-28T14:46:56Z) - Convergence of adaptive algorithms for weakly convex constrained
optimization [59.36386973876765]
モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。
我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
論文 参考訳(メタデータ) (2020-06-11T17:43:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。