論文の概要: Sharper Bounds for Proximal Gradient Algorithms with Errors

• arxiv url: http://arxiv.org/abs/2203.02204v1
• Date: Fri, 4 Mar 2022 09:27:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-07 19:33:11.539711
• Title: Sharper Bounds for Proximal Gradient Algorithms with Errors
• Title（参考訳）: 誤差付き近似勾配アルゴリズムのためのシャーパ境界
• Authors: Anis Hamadouche, Yun Wu, Andrew M. Wallace, Joao F. C. Mota
• Abstract要約: 凸複合問題に対する近位勾配アルゴリズムの収束度を、勾配と近位計算の不正確さの存在下で解析する。 我々は、シミュレーション(MPC)と合成(LASSO)最適化問題を検証するために、より厳密な決定的および確率的境界を導出する。
• 参考スコア（独自算出の注目度）: 6.901159341430919
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We analyse the convergence of the proximal gradient algorithm for convex composite problems in the presence of gradient and proximal computational inaccuracies. We derive new tighter deterministic and probabilistic bounds that we use to verify a simulated (MPC) and a synthetic (LASSO) optimization problems solved on a reduced-precision machine in combination with an inaccurate proximal operator. We also show how the probabilistic bounds are more robust for algorithm verification and more accurate for application performance guarantees. Under some statistical assumptions, we also prove that some cumulative error terms follow a martingale property. And conforming to observations, e.g., in \cite{schmidt2011convergence}, we also show how the acceleration of the algorithm amplifies the gradient and proximal computational errors.
• Abstract（参考訳）: 凸複合問題に対する近位勾配アルゴリズムの収束度を、勾配と近位計算の不正確さの存在下で解析する。 我々は, 減算機で解くシミュレーション(mpc)と合成(lasso)最適化問題と不正確な近距離演算子とを組み合わせることで, 新たな厳密な決定論的, 確率的境界を導出する。 また,確率的境界がアルゴリズム検証に対してより堅牢であり,アプリケーション性能の保証がより正確であることを示す。 いくつかの統計的仮定の下では、累積誤差項がマーチンゲールの性質に従うことも証明する。 そして、例えば \cite{schmidt2011convergence} では、アルゴリズムの加速がどのように勾配と近位計算誤差を増幅するかを示す。

関連論文リスト

• A randomized algorithm for nonconvex minimization with inexact evaluations and complexity guarantees [7.08249229857925]
  勾配 Hessian に不連続な滑らかな非オラクル関数の最小化を考える。 提案手法の新たな特徴は, 負曲率の近似方向が選択された場合, 感覚緩和を等勾配で負となるように選択することである。
  論文  参考訳（メタデータ） (2023-10-28T22:57:56Z)
• Stochastic Optimization for Non-convex Problem with Inexact Hessian Matrix, Gradient, and Function [99.31457740916815]
  信頼領域(TR)と立方体を用いた適応正則化は、非常に魅力的な理論的性質を持つことが証明されている。 TR法とARC法はヘッセン関数,勾配関数,関数値の非コンパクトな計算を同時に行うことができることを示す。
  論文  参考訳（メタデータ） (2023-10-18T10:29:58Z)
• Optimal Algorithms for Stochastic Complementary Composite Minimization [55.26935605535377]
  統計学と機械学習における正規化技術に触発され,補完的な複合化の最小化について検討した。 予測と高い確率で、新しい過剰なリスク境界を提供する。 我々のアルゴリズムはほぼ最適であり、このクラスの問題に対して、新しいより低い複雑性境界によって証明する。
  論文  参考訳（メタデータ） (2022-11-03T12:40:24Z)
• A Gradient Smoothed Functional Algorithm with Truncated Cauchy Random Perturbations for Stochastic Optimization [10.820943271350442]
  本稿では,雑音の多いコストサンプルに対する期待値であるスムーズな目的関数を最小化するための凸勾配アルゴリズムを提案する。 また,本アルゴリズムは局所最小値への収束を示唆し,レートリリアを回避できることも示している。
  論文  参考訳（メタデータ） (2022-07-30T18:50:36Z)
• Faster One-Sample Stochastic Conditional Gradient Method for Composite Convex Minimization [61.26619639722804]
  滑らかで非滑らかな項の和として形成される凸有限サム目標を最小化するための条件勾配法(CGM)を提案する。 提案手法は, 平均勾配 (SAG) 推定器を備え, 1回に1回のサンプルしか必要としないが, より高度な分散低減技術と同等の高速収束速度を保証できる。
  論文  参考訳（メタデータ） (2022-02-26T19:10:48Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• Exploiting Higher Order Smoothness in Derivative-free Optimization and Continuous Bandits [99.70167985955352]
  強凸関数のゼロ次最適化問題について検討する。 予測勾配降下アルゴリズムのランダム化近似を考察する。 その結果,0次アルゴリズムはサンプルの複雑性や問題パラメータの点でほぼ最適であることが示唆された。
  論文  参考訳（メタデータ） (2020-06-14T10:42:23Z)
• Instability, Computational Efficiency and Statistical Accuracy [101.32305022521024]
  我々は,人口レベルでのアルゴリズムの決定論的収束率と,$n$サンプルに基づく経験的対象に適用した場合の(不安定性)の間の相互作用に基づいて,統計的精度を得るフレームワークを開発する。 本稿では,ガウス混合推定,非線形回帰モデル,情報的非応答モデルなど,いくつかの具体的なモデルに対する一般結果の応用について述べる。
  論文  参考訳（メタデータ） (2020-05-22T22:30:52Z)
• Inexact and Stochastic Generalized Conditional Gradient with Augmented Lagrangian and Proximal Step [2.0196229393131726]
  我々は著者の以前の論文で開発されたCGALPアルゴリズムの不正確さとバージョンを分析した。 これにより、いくつかの勾配、項、および/または線形最小化オラクルを不正確な方法で計算することができる。 ラグランジアンのアフィン制約の最適性と実現可能性への収束を示す。
  論文  参考訳（メタデータ） (2020-05-11T14:52:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。