論文の概要: A Unified Analysis Method for Online Optimization in Normed Vector Space

• arxiv url: http://arxiv.org/abs/2112.12134v1
• Date: Wed, 22 Dec 2021 18:48:19 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-23 16:27:28.650855
• Title: A Unified Analysis Method for Online Optimization in Normed Vector Space
• Title（参考訳）: 正規ベクトル空間におけるオンライン最適化のための統一解析法
• Authors: Qingxin Meng, Jianwei Liu
• Abstract要約: 正規化されたベクトル空間におけるオンライン最適化のための一般化されたコサイン則に依存する統一解析法を提案する。 オンラインゲームにおける損失をモノトーン演算子に置き換えることで,オンラインコンベックスをオンラインモノトーン最適化に拡張する。
• 参考スコア（独自算出の注目度）: 3.615256443481602
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a unified analysis method that relies on the generalized cosine rule and $\phi$-convex for online optimization in normed vector space using dynamic regret as the performance metric. In combing the update rules, we start with strategy $S$ (a two-parameter variant strategy covering Optimistic-FTRL with surrogate linearized losses), and obtain $S$-I (type-I relaxation variant form of $S$) and $S$-II (type-II relaxation variant form of $S$, which is Optimistic-MD) by relaxation. Regret bounds for $S$-I and $S$-II are the tightest possible. As instantiations, regret bounds of normalized exponentiated subgradient and greedy/lazy projection are better than the currently known optimal results. We extend online convex optimization to online monotone optimization, by replacing losses of online game with monotone operators and extending the definition of regret, namely regret$^n$, and expand the application scope of $S$-I and $S$-II.
• Abstract（参考訳）: 本稿では,一般コサイン法と$\phi$-convexを基本ベクトル空間のオンライン最適化に用い,動的後悔を性能指標とする統一解析手法を提案する。 更新ルールを組み込む際、まず戦略$S$(Optimistic-FTRLに線形化損失を代理する2パラメータの戦略)から始め、緩和により$S$-I(type-I relaxation variant form of $S$)と$S$-II(type-II relaxation variant form of $S$, is Optimistic-MD)を得る。 s$-i と $s$-ii に対する後悔は可能な限り厳密である。 インスタンス化として、正規化指数化部分次数とグリーディ/ラザイ射影の後悔境界は、現在知られている最適結果よりも優れている。 オンラインゲームの損失をモノトーン演算子に置き換え,後悔の定義を延長することにより,オンライン凸最適化をオンラインモノトーン最適化に拡張し,アプリケーションの範囲を$S$-Iと$S$-IIに拡大する。

関連論文リスト

• Iterative Reweighted Least Squares Networks With Convergence Guarantees for Solving Inverse Imaging Problems [12.487990897680422]
  解析に基づく画像正規化における画像再構成タスクの新しい最適化手法を提案する。 そのような正規化子は $ell_pp$-vector および $mathcalS_pp$ Schatten-matrix 準ノルムの重み付き拡張に対応するポテンシャル関数を用いてパラメータ化する。 提案する最小化戦略の収束保証により,メモリ効率の高い暗黙バックプロパゲーション方式により,そのような最適化を成功させることができることを示す。
  論文  参考訳（メタデータ） (2023-08-10T17:59:46Z)
• Universal Online Learning with Gradient Variations: A Multi-layer Online Ensemble Approach [57.92727189589498]
  本稿では,2段階の適応性を持つオンライン凸最適化手法を提案する。 我々は$mathcalO(log V_T)$, $mathcalO(d log V_T)$, $hatmathcalO(sqrtV_T)$ regret bounds for strong convex, exp-concave and convex loss function。
  論文  参考訳（メタデータ） (2023-07-17T09:55:35Z)
• Improved Dynamic Regret for Online Frank-Wolfe [54.690867216880356]
  オンライン凸最適化のための効率的なプロジェクションフリーアルゴリズムであるFrank-Wolfe (OFW) の動的後悔について検討する。 本稿では,FWの高速収束率をオフライン最適化からオンライン最適化に拡張することにより,OFWの動的後悔境界の改善を導出する。
  論文  参考訳（メタデータ） (2023-02-11T07:19:51Z)
• Optimal Stochastic Non-smooth Non-convex Optimization through Online-to-Non-convex Conversion [56.92236659731376]
  本稿では,新しい解析手法を用いて,未知の非平滑な目的を最適化するアルゴリズムを提案する。 決定論的二階スムーズな目的のために、先進的な楽観的なオンライン学習技術を適用することで、新しい$O(delta0.5)All$が最適または最もよく知られた結果の回復を可能にする。
  論文  参考訳（メタデータ） (2023-02-07T22:09:20Z)
• Differentially Private Online-to-Batch for Smooth Losses [38.23708749658059]
  我々は,オンライン凸最適化アルゴリズムが$O(sqrtT)$ regretを,最適収束率$tilde O(sqrtT + sqrtd/epsilon T)$で$epsilon$-differentially private convexアルゴリズムに変換することで,線形時間におけるスムーズな損失を解消する手法を開発した。
  論文  参考訳（メタデータ） (2022-10-12T21:13:31Z)
• Optimistic Online Convex Optimization in Dynamic Environments [3.2721751217329977]
  我々は,Ader の Greedy Projection (GP) と normalized Exponentated Subgradient (NES) を Optimistic-GP と Optimistic-NES に置き換え,対応するアルゴリズム ONES-OGP を命名する。 M_T$, $widetildeM_T$, $V_T+1_L2rholeft(rho+2 P_Tright)leqslantvarrho2 V_TD という3つの特徴項を導入する。
  論文  参考訳（メタデータ） (2022-03-28T06:22:05Z)
• Private Stochastic Convex Optimization: Optimal Rates in $\ell_1$ Geometry [69.24618367447101]
  対数要因まで $(varepsilon,delta)$-differently private の最適過剰人口損失は $sqrtlog(d)/n + sqrtd/varepsilon n.$ です。 損失関数がさらなる滑らかさの仮定を満たすとき、余剰損失は$sqrtlog(d)/n + (log(d)/varepsilon n)2/3で上界(対数因子まで)であることが示される。
  論文  参考訳（メタデータ） (2021-03-02T06:53:44Z)
• Revisiting Smoothed Online Learning [70.09792747315323]
  オンライン学習者がヒットコストとスイッチングコストの両方に苦しむスムーズなオンライン学習の問題を調査します。 競争比を縛るために、各ラウンドで打つコストが学習者に知られていると仮定し、打つコストと切り換えコストの重み付け合計を単純に最小化する勾配アルゴリズムを調査します。
  論文  参考訳（メタデータ） (2021-02-13T14:15:55Z)
• Dynamic Regret of Convex and Smooth Functions [93.71361250701075]
  非定常環境におけるオンライン凸最適化について検討する。 パフォーマンス指標として動的後悔を選択します。 本研究では, 滑らかさを活かして, 動的後悔をさらに高めることが可能であることを示す。
  論文  参考訳（メタデータ） (2020-07-07T14:10:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。