論文の概要: Online mirror descent and dual averaging: keeping pace in the dynamic case

• arxiv url: http://arxiv.org/abs/2006.02585v3
• Date: Fri, 3 Sep 2021 23:23:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-25 17:55:08.323452
• Title: Online mirror descent and dual averaging: keeping pace in the dynamic case
• Title（参考訳）: オンラインミラー降下とdual averaging: ダイナミックケースにおけるペース維持
• Authors: Huang Fang, Nicholas J. A. Harvey, Victor S. Portella, Michael P. Friedlander
• Abstract要約: オンラインミラー降下(OMD)と二重平均化(DA)は、オンライン凸最適化の基本的なアルゴリズムである。 我々はOMDアルゴリズムを安定化と呼ぶ単純な手法で修正する。 安定化とDAを持つOMDが、動的学習率の下でも、多くのアプリケーションで同じパフォーマンス保証を享受していることを示します。
• 参考スコア（独自算出の注目度）: 11.572321455920164
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Online mirror descent (OMD) and dual averaging (DA) -- two fundamental algorithms for online convex optimization -- are known to have very similar (and sometimes identical) performance guarantees when used with a fixed learning rate. Under dynamic learning rates, however, OMD is provably inferior to DA and suffers a linear regret, even in common settings such as prediction with expert advice. We modify the OMD algorithm through a simple technique that we call stabilization. We give essentially the same abstract regret bound for OMD with stabilization and for DA by modifying the classical OMD convergence analysis in a careful and modular way that allows for straightforward and flexible proofs. Simple corollaries of these bounds show that OMD with stabilization and DA enjoy the same performance guarantees in many applications -- even under dynamic learning rates. We also shed light on the similarities between OMD and DA and show simple conditions under which stabilized-OMD and DA generate the same iterates.
• Abstract（参考訳）: オンラインミラー降下(OMD)と2重平均化(DA) – オンライン凸最適化の基本的なアルゴリズム – は、固定学習率で使用する場合、非常によく似た(時として同じ)パフォーマンス保証を持つことが知られている。 しかし、動的学習率では、OMDはDAよりも明らかに劣り、専門家のアドバイスによる予測のような一般的な設定であっても線形後悔を被る。 我々はOMDアルゴリズムを安定化と呼ぶ単純な手法で修正する。 我々は,従来の OMD 収束解析を,単純かつ柔軟な証明が可能な注意深いモジュラーな方法で修正することで,安定化を伴う OMD と DA に対して,基本的に同じ抽象的後悔を与える。 これらのバウンダリの簡単なまとめは、OMDの安定化とDAは、動的学習率の下でも、多くのアプリケーションで同じパフォーマンス保証を享受していることを示している。 また,OMDとDAの類似点に光を当て,OMDとDAが同一の繰り返しを生成する単純な条件を示す。

関連論文リスト

• Recursive Learning of Asymptotic Variational Objectives [49.69399307452126]
  一般状態空間モデル(英: General State-space Model, SSM)は、統計機械学習において広く用いられ、時系列データに対して最も古典的な生成モデルの一つである。 オンラインシーケンシャルIWAE(OSIWAE)は、潜在状態の推測のためのモデルパラメータとマルコフ認識モデルの両方のオンライン学習を可能にする。 このアプローチは、最近提案されたオンライン変分SMC法よりも理論的によく確立されている。
  論文  参考訳（メタデータ） (2024-11-04T16:12:37Z)
• A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
  我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。 これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。 我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
  論文  参考訳（メタデータ） (2024-10-14T12:10:06Z)
• Meta-Learning Adversarial Bandit Algorithms [55.72892209124227]
  我々は,バンディットフィードバックを用いたオンラインメタラーニングについて研究する。 我々は自己協和障壁正規化器を用いてオンラインミラー降下一般化(OMD)をチューニングすることを学ぶ。
  論文  参考訳（メタデータ） (2023-07-05T13:52:10Z)
• The Generalization Error of Stochastic Mirror Descent on Over-Parametrized Linear Models [37.6314945221565]
  ディープネットワークは、目に見えないデータにうまく一般化することが知られている。 正規化特性は「良い」性質を持つ補間解が見つかることを保証している。 理論を検証し、2つのデータモデルを導入するシミュレーション結果を提案する。
  論文  参考訳（メタデータ） (2023-02-18T22:23:42Z)
• Implicit Regularization Properties of Variance Reduced Stochastic Mirror Descent [7.00422423634143]
  離散VRSMD推定器列は線形回帰において最小ミラー補間子に収束することを示す。 我々は、真のモデルがスパースである場合に設定したモデル推定精度を導出する。
  論文  参考訳（メタデータ） (2022-04-29T19:37:24Z)
• Second-Order Mirror Descent: Convergence in Games Beyond Averaging and Discounting [1.2183405753834562]
  MD2は, 若干の修正を加えて, 強いVSSへの収束率を指数的に向上させるとともに, 自由度を保っていることを示す。 MD2は、多くの新しい連続時間原始空間力学を導出するためにも用いられる。
  論文  参考訳（メタデータ） (2021-11-18T23:51:38Z)
• Nesterov Accelerated ADMM for Fast Diffeomorphic Image Registration [63.15453821022452]
  ディープラーニングに基づくアプローチの最近の発展は、DiffIRのサブ秒間実行を実現している。 本稿では,中間定常速度場を機能的に構成する簡易な反復スキームを提案する。 次に、任意の順序の正規化項を用いて、これらの速度場に滑らかさを課す凸最適化モデルを提案する。
  論文  参考訳（メタデータ） (2021-09-26T19:56:45Z)
• Bagging, optimized dynamic mode decomposition (BOP-DMD) for robust, stable forecasting with spatial and temporal uncertainty-quantification [2.741266294612776]
  動的モード分解(DMD)は、時間的または時間的データのスナップショット上で、最適な線形力学モデルを学習するためのフレームワークを提供する。 DMDアルゴリズムの大多数は、力学のノイズ測定によるバイアスエラーを起こしやすいため、モデル適合性の低下と不安定な予測能力に繋がる。 最適化されたMDDアルゴリズムは、変数予測最適化によりモデルバイアスを最小限に抑え、安定化された予測能力をもたらす。
  論文  参考訳（メタデータ） (2021-07-22T18:14:20Z)
• On Centralized and Distributed Mirror Descent: Exponential Convergence Analysis Using Quadratic Constraints [8.336315962271396]
  ミラー降下(MD)は、勾配降下(GD)を含むいくつかのアルゴリズムを仮定する強力な一階最適化手法である。 本研究では,強い凸と滑らかな問題に対して,集中型および分散型のMDの正確な収束率について検討した。
  論文  参考訳（メタデータ） (2021-05-29T23:05:56Z)
• Dynamic Mode Decomposition in Adaptive Mesh Refinement and Coarsening Simulations [58.720142291102135]
  動的モード分解(DMD)はコヒーレントなスキームを抽出する強力なデータ駆動方式である。 本稿では,異なるメッシュトポロジと次元の観測からDMDを抽出する戦略を提案する。
  論文  参考訳（メタデータ） (2021-04-28T22:14:25Z)
• Simple and Effective Prevention of Mode Collapse in Deep One-Class Classification [93.2334223970488]
  深部SVDDにおける超球崩壊を防止するための2つの正則化器を提案する。 第1の正則化器は、標準のクロスエントロピー損失によるランダムノイズの注入に基づいている。 第2の正規化器は、小さすぎるとミニバッチ分散をペナライズする。
  論文  参考訳（メタデータ） (2020-01-24T03:44:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。