論文の概要: Anderson Acceleration in Nonsmooth Problems: Local Convergence via Active Manifold Identification

• arxiv url: http://arxiv.org/abs/2410.09420v1
• Date: Tue, 15 Oct 2024 09:16:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-30 14:24:23.449159
• Title: Anderson Acceleration in Nonsmooth Problems: Local Convergence via Active Manifold Identification
• Title（参考訳）: 非平滑問題におけるアンダーソン加速度:アクティブマニフォールド同定による局所収束
• Authors: Kexin Li, Luwei Bai, Xiao Wang, Hao Wang,
• Abstract要約: 能動多様体同定特性を特徴とする非滑らかな最適化アルゴリズムのクラスについて検討する。 最適化問題が定常点に活性多様体を持つという仮定の下で、アンダーソン加速アルゴリズムの局所 R-線型収束速度を確立する。
• 参考スコア（独自算出の注目度）: 11.495346367359037
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Anderson acceleration is an effective technique for enhancing the efficiency of fixed-point iterations; however, analyzing its convergence in nonsmooth settings presents significant challenges. In this paper, we investigate a class of nonsmooth optimization algorithms characterized by the active manifold identification property. This class includes a diverse array of methods such as the proximal point method, proximal gradient method, proximal linear method, proximal coordinate descent method, Douglas-Rachford splitting (or the alternating direction method of multipliers), and the iteratively reweighted $\ell_1$ method, among others. Under the assumption that the optimization problem possesses an active manifold at a stationary point, we establish a local R-linear convergence rate for the Anderson-accelerated algorithm. Our extensive numerical experiments further highlight the robust performance of the proposed Anderson-accelerated methods.
• Abstract（参考訳）: アンダーソン加速度は固定点反復の効率を高める効果的な手法であるが、非滑らかな設定での収束を分析することは重要な課題である。 本稿では,アクティブな多様体識別特性を特徴とする非滑らかな最適化アルゴリズムのクラスについて検討する。 このクラスは、近点法、近勾配法、近直線法、近座標降下法、ダグラス・ラフフォード分割法(あるいは乗算器の交互方向法)、反復的に重み付けされた$\ell_1$法などの様々な方法を含む。 最適化問題が定常点に活性多様体を持つという仮定の下で、アンダーソン加速アルゴリズムの局所 R-線型収束速度を確立する。 我々の広範な数値実験は、提案したアンダーソン加速法の頑健な性能をさらに強調した。

関連論文リスト

• Dynamic Anisotropic Smoothing for Noisy Derivative-Free Optimization [0.0]
  雑音のない微分自由最適化のための球平滑化法とガウス平滑化法を拡張した新しいアルゴリズムを提案する。 アルゴリズムはスムーズなカーネルの形状を動的に適応させ、局所最適関数の Hessian を近似する。
  論文  参考訳（メタデータ） (2024-05-02T21:04:20Z)
• Adaptive Federated Learning Over the Air [108.62635460744109]
  オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。 解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
  論文  参考訳（メタデータ） (2024-03-11T09:10:37Z)
• Incremental Quasi-Newton Methods with Faster Superlinear Convergence Rates [50.36933471975506]
  各成分関数が強く凸であり、リプシッツ連続勾配とヘシアンを持つ有限和最適化問題を考える。 最近提案されたインクリメンタル準ニュートン法は、BFGSの更新に基づいて、局所的な超線形収束率を達成する。 本稿では、対称ランク1更新をインクリメンタルフレームワークに組み込むことにより、より効率的な準ニュートン法を提案する。
  論文  参考訳（メタデータ） (2024-02-04T05:54:51Z)
• ELRA: Exponential learning rate adaption gradient descent optimization method [83.88591755871734]
  我々は, 高速(指数率), ab initio(超自由)勾配に基づく適応法を提案する。 本手法の主な考え方は,状況認識による$alphaの適応である。 これは任意の次元 n の問題に適用でき、線型にしかスケールできない。
  論文  参考訳（メタデータ） (2023-09-12T14:36:13Z)
• Linearization Algorithms for Fully Composite Optimization [61.20539085730636]
  本稿では,完全合成最適化問題を凸コンパクト集合で解くための一階アルゴリズムについて検討する。 微分可能および非微分可能を別々に扱い、滑らかな部分のみを線形化することで目的の構造を利用する。
  論文  参考訳（メタデータ） (2023-02-24T18:41:48Z)
• Nystrom Method for Accurate and Scalable Implicit Differentiation [25.29277451838466]
  我々は,Nystrom法が他の手法と同等あるいは優れた性能を連続的に達成していることを示す。 提案手法は数値的な不安定さを回避し,反復を伴わない行列演算で効率的に計算できる。
  論文  参考訳（メタデータ） (2023-02-20T02:37:26Z)
• The Curse of Unrolling: Rate of Differentiating Through Optimization [35.327233435055305]
  未分化は反復解法を用いて解を近似し、計算経路を通して解を微分する。 我々は,(1)高速収束につながる大きな学習率を選択することができるが,アルゴリズムが任意に長いバーンインフェーズを持つことを受け入れるか,あるいは(2)即時収束につながるより少ない学習率を選択するかのどちらかを示す。
  論文  参考訳（メタデータ） (2022-09-27T09:27:29Z)
• Subgradient methods near active manifolds: saddle point avoidance, local convergence, and asymptotic normality [4.709588811674973]
  目的と段階的近似が問題のスムーズな部分構造を完全に表すことを示す。 コーン可逆/分解可能関数や一般半代数問題など、これらの性質が幅広い問題に対して成り立つことを証明している。 正規性の結果は、最も古典的な設定でも新しいように見える。
  論文  参考訳（メタデータ） (2021-08-26T15:02:16Z)
• Converting ADMM to a Proximal Gradient for Convex Optimization Problems [4.56877715768796]
  融解ラッソや凸クラスタリングなどのスパース推定では、問題を解くために、近位勾配法またはマルチプライヤー(ADMM)の交互方向法のいずれかを適用します。 本論文では,制約と目的が強く凸であると仮定し,ADMM溶液を近位勾配法に変換する一般的な方法を提案する。 数値実験により, 効率の面で有意な改善が得られることを示した。
  論文  参考訳（メタデータ） (2021-04-22T07:41:12Z)
• IDEAL: Inexact DEcentralized Accelerated Augmented Lagrangian Method [64.15649345392822]
  本稿では,局所関数が滑らかで凸な分散最適化環境下での原始的手法設計のためのフレームワークを提案する。 提案手法は,加速ラグランジアン法により誘導されるサブプロブレム列を概ね解いたものである。 加速度勾配降下と組み合わせることで,収束速度が最適で,最近導出された下界と一致した新しい原始アルゴリズムが得られる。
  論文  参考訳（メタデータ） (2020-06-11T18:49:06Z)
• Optimization of Graph Total Variation via Active-Set-based Combinatorial Reconditioning [48.42916680063503]
  本稿では,この問題クラスにおける近位アルゴリズムの適応型事前条件付け手法を提案する。 不活性エッジのネスト・フォレスト分解により局所収束速度が保証されることを示す。 この結果から,局所収束解析は近似アルゴリズムにおける可変指標選択の指針となることが示唆された。
  論文  参考訳（メタデータ） (2020-02-27T16:33:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。