Fugu-MT 論文翻訳(概要): Backward error analysis and the qualitative behaviour of stochastic optimization algorithms: Application to stochastic coordinate descent

論文の概要: Backward error analysis and the qualitative behaviour of stochastic optimization algorithms: Application to stochastic coordinate descent

arxiv url: http://arxiv.org/abs/2309.02082v1
Date: Tue, 5 Sep 2023 09:39:56 GMT
ステータス: 処理完了
システム内更新日: 2023-09-06 15:33:36.791039
Title: Backward error analysis and the qualitative behaviour of stochastic optimization algorithms: Application to stochastic coordinate descent
Title（参考訳）: 確率的最適化アルゴリズムの後方誤差解析と質的挙動:確率的座標降下への応用
Authors: Stefano Di Giovacchino, Desmond J. Higham, Konstantinos Zygalakis
Abstract要約: 一般最適化法の力学を近似した微分方程式のクラスを提案する。座標降下の場合の修正方程式の安定性について検討する。
参考スコア（独自算出の注目度）: 1.534667887016089
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Stochastic optimization methods have been hugely successful in making large-scale optimization problems feasible when computing the full gradient is computationally prohibitive. Using the theory of modified equations for numerical integrators, we propose a class of stochastic differential equations that approximate the dynamics of general stochastic optimization methods more closely than the original gradient flow. Analyzing a modified stochastic differential equation can reveal qualitative insights about the associated optimization method. Here, we study mean-square stability of the modified equation in the case of stochastic coordinate descent.
Abstract（参考訳）: 確率的最適化法は、完全な勾配の計算が計算的に禁じられているときに、大規模な最適化問題の実現に成功している。数値積分器に対する修正方程式の理論を用いて、従来の勾配流よりも近い一般確率最適化法の力学を近似する確率微分方程式のクラスを提案する。修正確率微分方程式の解析は、関連する最適化法に関する質的な洞察を明らかにすることができる。本稿では,確率座標降下の場合の修正方程式の平均二乗安定性について検討する。

関連論文リスト

On the Stochastic (Variance-Reduced) Proximal Gradient Method for Regularized Expected Reward Optimization [12.244251361123396]
我々は、強化学習(RL)における既存の問題の多くを網羅する非文献設定における正規化期待報酬最適化問題を考える。特に、標準条件下では、$O(epsilon-4)$サンプルを$epsilon-stationaryポイントに含めることが示されている。追加条件下では,サンプルの複雑さが$epsilon-4)$から$O(epsilon-3)$に改善できることが示されている。
論文参考訳（メタデータ） (2024-01-23T06:01:29Z)
Adaptive Step Sizes for Preconditioned Stochastic Gradient Descent [0.41104247065851574]
本稿では,勾配降下(SGD)における適応ステップサイズに対する新しいアプローチを提案する。我々は、勾配に対するリプシッツ定数と探索方向の局所的分散の概念という、数値的にトレース可能な量を用いる。
論文参考訳（メタデータ） (2023-11-28T17:03:56Z)
Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。本稿では,直感的に設計を記述し,設計選択について説明する。本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
論文参考訳（メタデータ） (2023-10-31T16:15:13Z)
Last-Iterate Convergence of Saddle-Point Optimizers via High-Resolution Differential Equations [83.3201889218775]
広く使われている1次サドル点最適化法は、帰納的導出時に同一の連続時間常微分方程式(ODE)を導出する。しかし、これらの方法の収束特性は、単純な双線型ゲームでさえ質的に異なる。いくつかのサドル点最適化法のための微分方程式モデルの設計に流体力学の研究フレームワークを採用する。
論文参考訳（メタデータ） (2021-12-27T18:31:34Z)
Amortized Implicit Differentiation for Stochastic Bilevel Optimization [53.12363770169761]
決定論的条件と決定論的条件の両方において、二段階最適化問題を解決するアルゴリズムのクラスについて検討する。厳密な勾配の推定を補正するために、ウォームスタート戦略を利用する。このフレームワークを用いることで、これらのアルゴリズムは勾配の偏りのない推定値にアクセス可能な手法の計算複雑性と一致することを示す。
論文参考訳（メタデータ） (2021-11-29T15:10:09Z)
A Stochastic Newton Algorithm for Distributed Convex Optimization [62.20732134991661]
均質な分散凸最適化のためのNewtonアルゴリズムを解析し、各マシンが同じ人口目標の勾配を計算する。提案手法は,既存の手法と比較して,性能を損なうことなく,必要な通信ラウンドの数,頻度を低減できることを示す。
論文参考訳（メタデータ） (2021-10-07T17:51:10Z)
Adaptive Sampling Quasi-Newton Methods for Zeroth-Order Stochastic Optimization [1.7513645771137178]
勾配情報のない制約のない最適化問題を考察する。適応的なサンプリング準ニュートン法を提案し、共通乱数フレームワーク内の有限差を用いてシミュレーション関数の勾配を推定する。そこで本研究では, 標準試験と内積準ニュートン試験の修正版を開発し, 近似に使用する試料サイズを制御し, 最適解の近傍に大域収束結果を与える。
論文参考訳（メタデータ） (2021-09-24T21:49:25Z)
Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
この作業は、一階情報を必要としない零次最適化(ZO)の反復である。座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
論文参考訳（メタデータ） (2020-12-21T17:29:58Z)
Robust, Accurate Stochastic Optimization for Variational Inference [68.83746081733464]
また, 共通最適化手法は, 問題が適度に大きい場合, 変分近似の精度が低下することを示した。これらの結果から,基礎となるアルゴリズムをマルコフ連鎖の生成とみなして,より堅牢で正確な最適化フレームワークを開発する。
論文参考訳（メタデータ） (2020-09-01T19:12:11Z)
Adaptive First-and Zeroth-order Methods for Weakly Convex Stochastic Optimization Problems [12.010310883787911]
我々は、弱凸(おそらく非滑らかな)最適化問題の重要なクラスを解くための、適応的な段階的な新しい手法の族を解析する。実験結果から,提案アルゴリズムが0次勾配降下と設計変動を経験的に上回ることを示す。
論文参考訳（メタデータ） (2020-05-19T07:44:52Z)
Scalable Gradients for Stochastic Differential Equations [40.70998833051251]
随伴感度法は通常の微分方程式の勾配を我々はこの手法を微分方程式に一般化し、時間効率と定数メモリ計算を可能にする。提案手法は,ネットワークによって定義されたニューラルダイナミクスに適合し,50次元モーションキャプチャーデータセット上での競合性能を実現する。
論文参考訳（メタデータ） (2020-01-05T23:05:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。