論文の概要: Gradient Descent Methods for Regularized Optimization

• arxiv url: http://arxiv.org/abs/2412.20115v1
• Date: Sat, 28 Dec 2024 10:54:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-31 16:04:17.551375
• Title: Gradient Descent Methods for Regularized Optimization
• Title（参考訳）: 正規化最適化のためのグラディエントDescent法
• Authors: Filip Nikolovski, Irena Stojkovska, Katerina Hadzi-Velkova Saneva, Zoran Hadzi-Velkov,
• Abstract要約: 勾配降下法(GD法)は、微分可能な対象関数の数値最適化に使用される主要な手法の1つである。 GDのより効果的なバージョンは、近位勾配降下と呼ばれ、ソフトスレッディング(Soft-thresholding)と呼ばれる技術を用いて、イテレーション更新をゼロに縮小する。 本稿では, 可変ステップサイズを組み込んだ近位GD法のための新しいアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 0.6624754673303327
• License:
• Abstract: Regularization is a widely recognized technique in mathematical optimization. It can be used to smooth out objective functions, refine the feasible solution set, or prevent overfitting in machine learning models. Due to its simplicity and robustness, the gradient descent (GD) method is one of the primary methods used for numerical optimization of differentiable objective functions. However, GD is not well-suited for solving $\ell^1$ regularized optimization problems since these problems are non-differentiable at zero, causing iteration updates to oscillate or fail to converge. Instead, a more effective version of GD, called the proximal gradient descent employs a technique known as soft-thresholding to shrink the iteration updates toward zero, thus enabling sparsity in the solution. Motivated by the widespread applications of proximal GD in sparse and low-rank recovery across various engineering disciplines, we provide an overview of the GD and proximal GD methods for solving regularized optimization problems. Furthermore, this paper proposes a novel algorithm for the proximal GD method that incorporates a variable step size. Unlike conventional proximal GD, which uses a fixed step size based on the global Lipschitz constant, our method estimates the Lipschitz constant locally at each iteration and uses its reciprocal as the step size. This eliminates the need for a global Lipschitz constant, which can be impractical to compute. Numerical experiments we performed on synthetic and real-data sets show notable performance improvement of the proposed method compared to the conventional proximal GD with constant step size, both in terms of number of iterations and in time requirements.
• Abstract（参考訳）: 正規化は数学最適化において広く認められた技法である。 客観的関数を滑らかにしたり、実現可能なソリューションセットを洗練したり、マシンラーニングモデルの過度な適合を防止するために使用することができる。 その単純さとロバスト性のため、勾配降下法(GD法)は微分対象関数の数値最適化に使用される主要な手法の1つである。 しかし、GD は 0 で微分不可能であるため、$\ell^1$正規化最適化問題の解法には適していない。 代わりに、GDのより効果的なバージョンである近位勾配降下法(英語版)は、ソフトスレッディング(英語版)と呼ばれる技法を用いて、イテレーションの更新をゼロに縮小し、解の空白化を可能にする。 各種工学分野にわたるスパースおよびローランクリカバリにおける近位GDの広範な応用により,正規化最適化問題の解法としてGDおよび近位GD法の概要を述べる。 さらに,可変ステップサイズを組み込んだ近位GD法のための新しいアルゴリズムを提案する。 グローバルリプシッツ定数に基づく固定ステップサイズを用いる従来の近位GDとは異なり、本手法は各イテレーションにおいて局所的にリプシッツ定数を推定し、その逆をステップサイズとして利用する。 これにより、大域リプシッツ定数は不要となり、計算には実用的ではない。 合成および実データ集合上で行った数値実験により,提案手法の性能は,繰り返し回数と時間的要件の両方において,一定のステップサイズを持つ従来の近位GDと比較して顕著に向上した。

関連論文リスト

• Constrained Optimization via Exact Augmented Lagrangian and Randomized Iterative Sketching [55.28394191394675]
  等式制約付き非線形非IBS最適化問題に対する適応的不正確なニュートン法を開発した。 ベンチマーク非線形問題,LVMのデータによる制約付きロジスティック回帰,PDE制約問題において,本手法の優れた性能を示す。
  論文  参考訳（メタデータ） (2023-05-28T06:33:37Z)
• An Exponentially Increasing Step-size for Parameter Estimation in Statistical Models [37.63410634069547]
  本稿では,ガウス降下(GD)アルゴリズムのステップサイズを指数関数的に増加させることを提案する。 次に、非正規統計モデルの下でパラメータ推定を解くためのEGDアルゴリズムについて検討する。 EGDアルゴリズムの総計算複雑性は、非正則統計モデルにおけるパラメータ推定の解法として、GDよりも最適で指数関数的に安価である。
  論文  参考訳（メタデータ） (2022-05-16T21:36:22Z)
• An Adaptive Incremental Gradient Method With Support for Non-Euclidean Norms [19.41328109094503]
  そこで本研究では,SAGAアルゴリズムの適応型を新たにいくつか提案し,解析する。 一般的な設定の下で収束保証を確立する。 我々は、非ユークリッドノルムをサポートするためにSAGAの分析を改善した。
  論文  参考訳（メタデータ） (2022-04-28T09:43:07Z)
• Continuation Newton methods with deflation techniques for global optimization problems [3.705839280172101]
  最適化問題のグローバルな最小点はエンジニアリングである。 本稿では,この非線形大規模問題に対する新しいメメティックアルゴリズムについて考察する。 我々の数値実験によると、新しいアルゴリズムは制約のない未制約問題に対してうまく機能する。
  論文  参考訳（メタデータ） (2021-07-29T09:53:49Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• Obtaining Adjustable Regularization for Free via Iterate Averaging [43.75491612671571]
  最適化のための正規化は、機械学習の過度な適合を避けるための重要なテクニックである。 我々は、任意の強凸かつ滑らかな対象関数上のSGDの繰り返しを正規化された関数に変換する平均化スキームを確立する。 提案手法は,高速化および事前条件最適化手法にも利用できる。
  論文  参考訳（メタデータ） (2020-08-15T15:28:05Z)
• Balancing Rates and Variance via Adaptive Batch-Size for Stochastic Optimization Problems [120.21685755278509]
  本研究は,ステップサイズの減衰が正確な収束に必要であるという事実と,一定のステップサイズがエラーまでの時間でより速く学習するという事実のバランスをとることを目的とする。 ステップサイズのミニバッチを最初から修正するのではなく,パラメータを適応的に進化させることを提案する。
  論文  参考訳（メタデータ） (2020-07-02T16:02:02Z)
• An adaptive stochastic gradient-free approach for high-dimensional blackbox optimization [0.0]
  本研究では,高次元非平滑化問題に対する適応勾配フリー (ASGF) アプローチを提案する。 本稿では,グローバルな問題と学習タスクのベンチマークにおいて,本手法の性能について述べる。
  論文  参考訳（メタデータ） (2020-06-18T22:47:58Z)
• Effective Dimension Adaptive Sketching Methods for Faster Regularized Least-Squares Optimization [56.05635751529922]
  スケッチに基づくL2正規化最小二乗問題の解法を提案する。 我々は、最も人気のあるランダム埋め込みの2つ、すなわちガウス埋め込みとサブサンプリングランダム化アダマール変換(SRHT)を考える。
  論文  参考訳（メタデータ） (2020-06-10T15:00:09Z)
• Global Optimization of Gaussian processes [52.77024349608834]
  少数のデータポイントで学習したガウス過程を訓練した空間定式化を提案する。 このアプローチはまた、より小さく、計算的にもより安価なサブソルバを低いバウンディングに導く。 提案手法の順序の順序による時間収束を,総じて低減する。
  論文  参考訳（メタデータ） (2020-05-21T20:59:11Z)
• Implicit differentiation of Lasso-type models for hyperparameter optimization [82.73138686390514]
  ラッソ型問題に適した行列逆転のない効率的な暗黙微分アルゴリズムを提案する。 提案手法は,解の空間性を利用して高次元データにスケールする。
  論文  参考訳（メタデータ） (2020-02-20T18:43:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。