論文の概要: Adaptive Coordinate-Wise Step Sizes for Quasi-Newton Methods: A Learning-to-Optimize Approach

• arxiv url: http://arxiv.org/abs/2412.00059v1
• Date: Mon, 25 Nov 2024 07:13:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-08 08:18:05.749900
• Title: Adaptive Coordinate-Wise Step Sizes for Quasi-Newton Methods: A Learning-to-Optimize Approach
• Title（参考訳）: 準ニュートン法における適応的コーディネート・ウェイズ・ステップサイズ:学習から最適化へのアプローチ
• Authors: Wei Lin, Qingyu Song, Hong Xu,
• Abstract要約: 本稿では,Broyden-Fletcher-Goldfarb-Shannoフレームワークに新たなLearning-to-(L2O)モデルを導入する。 提案手法は,従来のバックトラックライン探索法や過次降下法よりも大幅に改善されている。
• 参考スコア（独自算出の注目度）: 9.82454981262489
• License:
• Abstract: Tuning effective step sizes is crucial for the stability and efficiency of optimization algorithms. While adaptive coordinate-wise step sizes tuning methods have been explored in first-order methods, second-order methods still lack efficient techniques. Current approaches, including hypergradient descent and cutting plane methods, offer limited improvements or encounter difficulties in second-order contexts. To address these challenges, we introduce a novel Learning-to-Optimize (L2O) model within the Broyden-Fletcher-Goldfarb-Shanno (BFGS) framework, which leverages neural networks to predict optimal coordinate-wise step sizes. Our model integrates a theoretical foundation that establishes conditions for the stability and convergence of these step sizes. Extensive experiments demonstrate that our approach achieves substantial improvements over traditional backtracking line search and hypergradient descent-based methods, offering up to 7$\times$ faster and stable performance across diverse optimization tasks.
• Abstract（参考訳）: 効率的なステップサイズをチューニングすることは最適化アルゴリズムの安定性と効率性に不可欠である。 適応的な座標方向のステップサイズ調整法が一階法で検討されているが、二階法は依然として効率的な手法を欠いている。 過勾配降下法や切断平面法を含む現在のアプローチは、2階の文脈で限られた改善や困難に遭遇する。 これらの課題に対処するため,Broyden-Fletcher-Goldfarb-Shanno(BFGS)フレームワーク内に新たなL2Oモデルを導入する。 我々のモデルは、これらのステップサイズの安定性と収束の条件を確立する理論的基礎を統合する。 大規模な実験により,提案手法は従来のバックトラックライン探索や過次降下法よりも大幅に改善され,様々な最適化タスクに対して最大7$\times$の高速かつ安定した性能が得られた。

関連論文リスト

• Training Deep Learning Models with Norm-Constrained LMOs [56.00317694850397]
  正規球上の線形最小化オラクル(LMO)を利用する最適化手法について検討する。 この問題の幾何学に適応するためにLMOを用いた新しいアルゴリズム群を提案し, 意外なことに, 制約のない問題に適用可能であることを示す。
  論文  参考訳（メタデータ） (2025-02-11T13:10:34Z)
• Aligning Few-Step Diffusion Models with Dense Reward Difference Learning [81.85515625591884]
  Stepwise Diffusion Policy Optimization (SDPO) は、数ステップの拡散モデルに適したアライメント手法である。 SDPOは、すべての中間ステップに密集した報酬フィードバックを組み込んで、すべてのデノナイジングステップを一貫したアライメントを確保する。 SDPOは、様々なステップ構成にまたがる報酬ベースのアライメントにおいて、従来手法よりも一貫して優れています。
  論文  参考訳（メタデータ） (2024-11-18T16:57:41Z)
• An Adaptive Dimension Reduction Estimation Method for High-dimensional Bayesian Optimization [6.79843988450982]
  BOを高次元設定に拡張するための2段階最適化フレームワークを提案する。 私たちのアルゴリズムは、これらのステップを並列またはシーケンスで操作する柔軟性を提供します。 数値実験により,困難シナリオにおける本手法の有効性が検証された。
  論文  参考訳（メタデータ） (2024-03-08T16:21:08Z)
• SANIA: Polyak-type Optimization Framework Leads to Scale Invariant Stochastic Algorithms [1.21748738176366]
  Adam、AdaGrad、AdaHessianといったテクニックは、対象関数の曲率を組み込むことで、探索が影響を受けるプリコンディショナーを利用する。 本稿では,これらの課題に対処するためにSANIAを提案する。
  論文  参考訳（メタデータ） (2023-12-28T21:28:08Z)
• Locally Optimal Descent for Dynamic Stepsize Scheduling [45.6809308002043]
  本稿では,段階的スケジュールのマニュアルと時間的チューニングを簡略化することを目的とした,理論に基づく新しい動的学習スケジューリング手法を提案する。 本手法は,スムーズな勾配方向の局所最適練習速度を推定することに基づく。 提案手法は,既存手法と比較して最小限のチューニングが必要であることが示唆された。
  論文  参考訳（メタデータ） (2023-11-23T09:57:35Z)
• Adaptive Learning Rates for Faster Stochastic Gradient Methods [6.935471115003109]
  いくつかの2次凸勾配法を改善するための適応的なステップサイズ戦略を提案する。 最初の方法は古典的なPolyakのステップサイズ(Polyak, 1987)に基づいており、この手法の最近の発展の延長である。 第2の手法であるGraDSは「勾配の多様性」によってステップサイズを再スケールする
  論文  参考訳（メタデータ） (2022-08-10T11:36:00Z)
• Local Quadratic Convergence of Stochastic Gradient Descent with Adaptive Step Size [29.15132344744801]
  本研究では,行列逆変換などの問題に対して,適応的なステップサイズを持つ勾配勾配の局所収束性を確立する。 これらの一階最適化法は線形あるいは線形収束を実現することができることを示す。
  論文  参考訳（メタデータ） (2021-12-30T00:50:30Z)
• On Constraints in First-Order Optimization: A View from Non-Smooth Dynamical Systems [99.59934203759754]
  本稿では,スムーズな制約付き最適化のための一階法について紹介する。 提案手法の2つの特徴は、実現可能な集合全体の投影や最適化が避けられることである。 結果として得られるアルゴリズムの手順は、制約が非線形であっても簡単に実装できる。
  論文  参考訳（メタデータ） (2021-07-17T11:45:13Z)
• Unified Convergence Analysis for Adaptive Optimization with Moving Average Estimator [75.05106948314956]
  1次モーメントに対する大きな運動量パラメータの増大は適応的スケーリングに十分であることを示す。 また,段階的に減少するステップサイズに応じて,段階的に運動量を増加させるための洞察を与える。
  論文  参考訳（メタデータ） (2021-04-30T08:50:24Z)
• Acceleration Methods [57.202881673406324]
  まず2次最適化問題を用いて加速法を2つ導入する。 我々は、ネステロフの精巧な研究から始まる運動量法を詳細に論じる。 我々は、ほぼ最適な収束率に達するための一連の簡単な手法である再起動スキームを議論することで結論付ける。
  論文  参考訳（メタデータ） (2021-01-23T17:58:25Z)
• Cogradient Descent for Bilinear Optimization [124.45816011848096]
  双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。 一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。 本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
  論文  参考訳（メタデータ） (2020-06-16T13:41:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。