論文の概要: A globally convergent fast iterative shrinkage-thresholding algorithm
with a new momentum factor for single and multi-objective convex optimization
- arxiv url: http://arxiv.org/abs/2205.05262v1
- Date: Wed, 11 May 2022 04:26:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2022-05-13 06:53:35.871367
- Title: A globally convergent fast iterative shrinkage-thresholding algorithm
with a new momentum factor for single and multi-objective convex optimization
- Title（参考訳）: 単目的・多目的凸最適化のための新しい運動量係数をもつ大域収束高速反復収縮保持アルゴリズム
- Authors: Hiroki Tanabe, Ellen H. Fukuda, and Nobuo Yamashita
- Abstract要約: 提案手法はまた,任意の$(a,b)$に対して,大域収束率$O(1/k2)$を持つことを示す。
様々な$(a,b)$で数値結果を報告し、これらの選択のいくつかが古典的な運動量因子よりも良い結果をもたらすことを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Convex-composite optimization, which minimizes an objective function
represented by the sum of a differentiable function and a convex one, is widely
used in machine learning and signal/image processing. Fast Iterative Shrinkage
Thresholding Algorithm (FISTA) is a typical method for solving this problem and
has a global convergence rate of $O(1 / k^2)$. Recently, this has been extended
to multi-objective optimization, together with the proof of the $O(1 / k^2)$
global convergence rate. However, its momentum factor is classical, and the
convergence of its iterates has not been proven. In this work, introducing some
additional hyperparameters $(a, b)$, we propose another accelerated proximal
gradient method with a general momentum factor, which is new even for the
single-objective cases. We show that our proposed method also has a global
convergence rate of $O(1/k^2)$ for any $(a,b)$, and further that the generated
sequence of iterates converges to a weak Pareto solution when $a$ is positive,
an essential property for the finite-time manifold identification. Moreover, we
report numerical results with various $(a,b)$, showing that some of these
choices give better results than the classical momentum factors.
- Abstract（参考訳）: 微分可能関数と凸関数の和で表される目的関数を最小化する凸合成最適化は、機械学習や信号/画像処理で広く使われている。
Fast Iterative Shrinkage Thresholding Algorithm (FISTA) はこの問題を解く典型的な方法であり、大域収束率は$O(1 / k^2)$である。
近年、これはO(1 / k^2)$大域収束率の証明とともに多目的最適化に拡張されている。
しかし、その運動量係数は古典的であり、イテレートの収束は証明されていない。
本研究では,追加のハイパーパラメータ$(a, b)$を導入することで,単一目的の場合においても新しい一般運動量係数を持つ加速度近位勾配法を提案する。
提案手法はまた,任意の$(a,b)$に対して大域収束率$O(1/k^2)$を持ち,さらに,a$が正のとき,生成した反復列が弱パレート解に収束することを示す。
さらに、様々な$(a,b)$で数値結果を報告し、これらの選択のいくつかが古典的な運動量因子よりも良い結果をもたらすことを示す。
関連論文リスト
- A stochastic first-order method with multi-extrapolated momentum for highly smooth unconstrained optimization [3.8919212824749296]
提案したSFOMは,目的関数の高次滑らか度を$f$とすることで,最適化を高速化できることを示す。
我々の知る限りでは、これは対象関数の任意の次スムーズネスを加速度に利用した最初のSFOMである。
論文 参考訳（メタデータ） (2024-12-19T03:22:47Z) - Online Learning Guided Quasi-Newton Methods with Global Non-Asymptotic Convergence [20.766358513158206]
双対性ギャップの観点から、大域収束率を$O(min1/k,sqrtd/k1.25)$とする。
これらの結果は、外勾配法よりも準ニュートン法の証明可能な利点を示す最初の大域収束結果である。
論文 参考訳（メタデータ） (2024-10-03T16:08:16Z) - Adaptive Variance Reduction for Stochastic Optimization under Weaker Assumptions [26.543628010637036]
非函数に対して$mathcalO(log T)$の最適収束率を達成する新しい適応還元法を導入する。
また、提案手法を拡張して、合成最適化のために$mathcalO(log T)$と同じ最適率を得る。
論文 参考訳（メタデータ） (2024-06-04T04:39:51Z) - Stochastic Nonsmooth Convex Optimization with Heavy-Tailed Noises:
High-Probability Bound, In-Expectation Rate and Initial Distance Adaptation [22.758674468435302]
重尾雑音系では、勾配と真の速度の差は有限の$p-thモーメントを持つと仮定される。
本稿では,重み付き雑音を用いた非平滑凸最適化の包括的解析を行う。
論文 参考訳（メタデータ） (2023-03-22T03:05:28Z) - Explicit Second-Order Min-Max Optimization Methods with Optimal Convergence Guarantee [86.05440220344755]
我々は,非制約のmin-max最適化問題のグローバルなサドル点を求めるために,不正確な正規化ニュートン型手法を提案し,解析する。
提案手法は有界集合内に留まるイテレートを生成し、その反復は制限関数の項で$O(epsilon-2/3)$内の$epsilon$-saddle点に収束することを示す。
論文 参考訳（メタデータ） (2022-10-23T21:24:37Z) - Zero-Order One-Point Estimate with Distributed Stochastic
Gradient-Tracking Technique [23.63073074337495]
本研究では,各エージェントが滑らかで凸な局所目的関数を持つ分散マルチエージェント最適化問題を考える。
分散勾配追跡法を,勾配推定のない帯域設定に拡張する。
近似ツールを用いた滑らかで凸な目的のための新しい手法の収束解析を行う。
論文 参考訳（メタデータ） (2022-10-11T17:04:45Z) - Faster Algorithm and Sharper Analysis for Constrained Markov Decision
Process [56.55075925645864]
制約付き意思決定プロセス (CMDP) の問題点について検討し, エージェントは, 複数の制約を条件として, 期待される累積割引報酬を最大化することを目的とする。
新しいユーティリティ・デュアル凸法は、正規化ポリシー、双対正則化、ネステロフの勾配降下双対という3つの要素の新たな統合によって提案される。
これは、凸制約を受ける全ての複雑性最適化に対して、非凸CMDP問題が$mathcal O (1/epsilon)$の低い境界に達する最初の実演である。
論文 参考訳（メタデータ） (2021-10-20T02:57:21Z) - Finding Global Minima via Kernel Approximations [90.42048080064849]
関数評価のみに基づく滑らかな関数のグローバル最小化を考える。
本稿では,近似関数を共同でモデル化し,大域的最小値を求める手法を検討する。
論文 参考訳（メタデータ） (2020-12-22T12:59:30Z) - Accelerate the Warm-up Stage in the Lasso Computation via a Homotopic
Approach [2.538209532048867]
ホモトピック法は、ラッソ型推定器で使われる$ell_1$ペナルティを近似するために用いられる。
ラッソ型推定器の計算における既存の手法よりも高速な数値収束率を示す。
論文 参考訳（メタデータ） (2020-10-26T22:37:49Z) - Sample Complexity of Asynchronous Q-Learning: Sharper Analysis and
Variance Reduction [63.41789556777387]
非同期Q-ラーニングはマルコフ決定過程(MDP)の最適行動値関数(またはQ-関数)を学習することを目的としている。
Q-関数の入出力$varepsilon$-正確な推定に必要なサンプルの数は、少なくとも$frac1mu_min (1-gamma)5varepsilon2+ fract_mixmu_min (1-gamma)$の順である。
論文 参考訳（メタデータ） (2020-06-04T17:51:00Z) - Revisiting SGD with Increasingly Weighted Averaging: Optimization and
Generalization Perspectives [50.12802772165797]
平均化手法は、全ての反復解を一つの解に結合する。
実験は、他の平均化方式と比較して、トレードオフと平均化の有効性を示した。
論文 参考訳（メタデータ） (2020-03-09T18:14:00Z) - A Simple Convergence Proof of Adam and Adagrad [74.24716715922759]
我々はAdam Adagradと$O(d(N)/st)$アルゴリズムの収束の証明を示す。
Adamはデフォルトパラメータで使用する場合と同じ収束$O(d(N)/st)$で収束する。
論文 参考訳（メタデータ） (2020-03-05T01:56:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。