論文の概要: Adaptive Backtracking For Faster Optimization

• arxiv url: http://arxiv.org/abs/2408.13150v1
• Date: Fri, 23 Aug 2024 15:16:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-26 14:41:09.633347
• Title: Adaptive Backtracking For Faster Optimization
• Title（参考訳）: 高速最適化のための適応的バックトラッキング
• Authors: Joao V. Cavalcanti, Laurent Lessard, Ashia C. Wilson,
• Abstract要約: そこで本研究では,通常のバックトラックに使用される定数係数であるステップサイズを調整する新しい手法を提案する。 適応的なバックトラックは、実行可能なステップサイズを生成するために、調整を少なくする必要があることを証明します。 15以上の実世界のデータセットに関するすべての実験は、適応的なバックトラックがしばしば大幅に高速な最適化をもたらすことを確認している。
• 参考スコア（独自算出の注目度）: 7.121002367542985
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Backtracking line search is foundational in numerical optimization. The basic idea is to adjust the step size of an algorithm by a constant factor until some chosen criterion (e.g. Armijo, Goldstein, Descent Lemma) is satisfied. We propose a new way for adjusting step sizes, replacing the constant factor used in regular backtracking with one that takes into account the degree to which the chosen criterion is violated, without additional computational burden. For convex problems, we prove adaptive backtracking requires fewer adjustments to produce a feasible step size than regular backtracking does for two popular line search criteria: the Armijo condition and the descent lemma. For nonconvex smooth problems, we additionally prove adaptive backtracking enjoys the same guarantees of regular backtracking. Finally, we perform a variety of experiments on over fifteen real world datasets, all of which confirm that adaptive backtracking often leads to significantly faster optimization.
• Abstract（参考訳）: バックトラックライン探索は数値最適化の基礎となる。 基本的な考え方は、選択された基準(例えばArmijo、Goldstein、Descent Lemma)が満たされるまで、アルゴリズムのステップサイズを定数因子で調整することである。 本稿では,通常のバックトラックに使用される定数係数を,計算負荷を伴わずに,選択基準が違反する度合いを考慮に入れた値に置き換える,ステップサイズを調整する新しい手法を提案する。 凸問題に対して, 適応的バックトラックは, 通常のバックトラックよりも, 2つの一般的なライン探索条件であるArmijo条件と降下補題に対して, 実現可能なステップサイズを生成するために, より少ない調整を必要とすることを証明した。 非凸スムーズな問題に対しては、適応的なバックトラックが通常のバックトラックと同じ保証を享受していることも証明する。 最後に、15以上の実世界のデータセットでさまざまな実験を行い、それらすべてが適応的なバックトラックが大幅に高速な最適化につながることを確認します。

関連論文リスト

• Adaptive and Optimal Second-order Optimistic Methods for Minimax Optimization [32.939120407900035]
  私たちのアルゴリズムは、イテレーション毎に1つの線形システムだけを解決する必要のある、単純な更新ルールを備えています。 また,提案アルゴリズムの実用性能を,既存の2次アルゴリズムと比較して評価した。
  論文  参考訳（メタデータ） (2024-06-04T06:56:41Z)
• Fast Screening Rules for Optimal Design via Quadratic Lasso Reformulation [0.135975510645475]
  本研究は, 安全スクリーニングのルールを導出し, インテリジェンスサンプルを廃棄する。 新しいテストは、特に高次元のパラメータ空間に関わる問題に対して、より高速に計算できる。 本稿では,ラッソ法の正規化経路を計算するホモトピーアルゴリズムを,正方形 $ell_$-penalty に対して再パラメータ化する方法を示す。
  論文  参考訳（メタデータ） (2023-10-13T08:10:46Z)
• Searching for Optimal Per-Coordinate Step-sizes with Multidimensional Backtracking [18.722979110796242]
  滑らかな凸問題に対する優れた対角前処理器を見つけるために,バックトラックライン探索の拡張である多次元バックトラックを提案する。 我々の重要な洞察は、高次数と呼ばれるステップサイズに対する勾配は、超平面を分離する。 楕円体法のようなブラックボックス切断面アプローチは計算が禁じられているため、我々は我々の設定に合わせて効率的なアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-06-05T01:23:49Z)
• Planning and Learning with Adaptive Lookahead [74.39132848733847]
  ポリシーイテレーション(PI)アルゴリズムは、欲求の一段階の改善と政策評価を交互に行う。 近年の文献では、複数段階のルックアヘッドポリシーの改善が、イテレーション毎の複雑さの増加を犠牲にして、よりコンバージェンス率の向上につながることが示されている。 本研究では,多段階の地平線を状態と推定値の関数として動的に適応する手法を初めて提案する。
  論文  参考訳（メタデータ） (2022-01-28T20:26:55Z)
• STORM+: Fully Adaptive SGD with Momentum for Nonconvex Optimization [74.1615979057429]
  本研究では,スムーズな損失関数に対する期待値である非バッチ最適化問題について検討する。 我々の研究は、学習率と運動量パラメータを適応的に設定する新しいアプローチとともに、STORMアルゴリズムの上に構築されている。
  論文  参考訳（メタデータ） (2021-11-01T15:43:36Z)
• Obtaining Adjustable Regularization for Free via Iterate Averaging [43.75491612671571]
  最適化のための正規化は、機械学習の過度な適合を避けるための重要なテクニックである。 我々は、任意の強凸かつ滑らかな対象関数上のSGDの繰り返しを正規化された関数に変換する平均化スキームを確立する。 提案手法は,高速化および事前条件最適化手法にも利用できる。
  論文  参考訳（メタデータ） (2020-08-15T15:28:05Z)
• Balancing Rates and Variance via Adaptive Batch-Size for Stochastic Optimization Problems [120.21685755278509]
  本研究は,ステップサイズの減衰が正確な収束に必要であるという事実と,一定のステップサイズがエラーまでの時間でより速く学習するという事実のバランスをとることを目的とする。 ステップサイズのミニバッチを最初から修正するのではなく,パラメータを適応的に進化させることを提案する。
  論文  参考訳（メタデータ） (2020-07-02T16:02:02Z)
• Fast OSCAR and OWL Regression via Safe Screening Rules [97.28167655721766]
  順序付き$L_1$ (OWL)正規化回帰は、高次元スパース学習のための新しい回帰分析である。 近勾配法はOWL回帰を解くための標準手法として用いられる。 未知の順序構造を持つ原始解の順序を探索することにより、OWL回帰の最初の安全なスクリーニングルールを提案する。
  論文  参考訳（メタデータ） (2020-06-29T23:35:53Z)
• Convergence of adaptive algorithms for weakly convex constrained optimization [59.36386973876765]
  モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。 我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
  論文  参考訳（メタデータ） (2020-06-11T17:43:19Z)
• Non-Adaptive Adaptive Sampling on Turnstile Streams [57.619901304728366]
  カラムサブセット選択、部分空間近似、射影クラスタリング、および空間サブリニアを$n$で使用するターンタイルストリームのボリュームに対する最初の相対エラーアルゴリズムを提供する。 我々の適応的なサンプリング手法は、様々なデータ要約問題に多くの応用をもたらしており、これは最先端を改善するか、より緩和された行列列モデルで以前に研究されただけである。
  論文  参考訳（メタデータ） (2020-04-23T05:00:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。