論文の概要: FOSI: Hybrid First and Second Order Optimization

• arxiv url: http://arxiv.org/abs/2302.08484v3
• Date: Sun, 7 May 2023 05:54:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-09 23:00:16.421085
• Title: FOSI: Hybrid First and Second Order Optimization
• Title（参考訳）: FOSI:ハイブリッド第一次および第二次最適化
• Authors: Hadar Sivan, Moshe Gabel, Assaf Schuster
• Abstract要約: 本稿では,第2次情報を効率的に組み込んだ新しいメタアルゴリズムFOSIを提案する。 FOSI は K-FAC や L-BFGS など他の2次手法よりも優れていた。
• 参考スコア（独自算出の注目度）: 10.490989675641982
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Though second-order optimization methods are highly effective, popular approaches in machine learning such as SGD and Adam use only first-order information due to the difficulty of computing curvature in high dimensions. We present FOSI, a novel meta-algorithm that improves the performance of any first-order optimizer by efficiently incorporating second-order information during the optimization process. In each iteration, FOSI implicitly splits the function into two quadratic functions defined on orthogonal subspaces, then uses a second-order method to minimize the first, and the base optimizer to minimize the other. We prove FOSI converges and further show it improves the condition number for a large family of optimizers. Our empirical evaluation demonstrates that FOSI improves the convergence rate and optimization time of GD, Heavy-Ball, and Adam when applied to several deep neural networks training tasks such as audio classification, transfer learning, and object classification, as well as when applied to convex functions. Furthermore, our results show that FOSI outperforms other second-order methods such as K-FAC and L-BFGS.
• Abstract（参考訳）: 二階最適化手法は非常に効果的であるが、sgdやadamのような機械学習における一般的なアプローチでは、高次元の曲率計算が難しいため、一階情報のみを使用する。 本稿では,最適化プロセス中に二階情報を効率的に組み込むことにより,任意の一階最適化器の性能を向上させるメタアルゴリズムFOSIを提案する。 各反復において、FOSIは関数を直交部分空間上で定義された2つの二次函数に暗黙的に分割し、次に第1の最小化に二階法を使い、他方の最小化には基底最適化器を使用する。 我々はFOSIが収束することを証明し、さらに多くのオプティマイザ群に対する条件数を改善することを示す。 我々の経験的評価は,GD,ヘビーボール,アダムの収束率と最適化時間を,音声分類,伝達学習,オブジェクト分類などの深層ニューラルネットワークトレーニングタスクに適用した場合や,凸関数に適用する場合に改善することを示した。 さらに, FOSI は K-FAC や L-BFGS などの他の2次手法よりも優れていた。

関連論文リスト

• Fast Two-Time-Scale Stochastic Gradient Method with Applications in Reinforcement Learning [5.325297567945828]
  本稿では,従来の手法よりもはるかに高速な収束を実現する2段階最適化手法を提案する。 提案アルゴリズムは,様々な条件下で特徴付けられ,オンラインサンプルベース手法に特化していることを示す。
  論文  参考訳（メタデータ） (2024-05-15T19:03:08Z)
• SGD with Partial Hessian for Deep Neural Networks Optimization [18.78728272603732]
  本稿では,チャネルワイドパラメータを更新するための2次行列と,他のパラメータを更新するための1次勾配降下(SGD)アルゴリズムを組み合わせた化合物を提案する。 一階述語と比較して、最適化を支援するためにヘッセン行列からの一定の量の情報を採用するが、既存の二階述語一般化と比較すると、一階述語一般化の性能は不正確である。
  論文  参考訳（メタデータ） (2024-03-05T06:10:21Z)
• Explicit Second-Order Min-Max Optimization Methods with Optimal Convergence Guarantee [86.05440220344755]
  我々は,非制約のmin-max最適化問題のグローバルなサドル点を求めるために,不正確な正規化ニュートン型手法を提案し,解析する。 提案手法は有界集合内に留まるイテレートを生成し、その反復は制限関数の項で$O(epsilon-2/3)$内の$epsilon$-saddle点に収束することを示す。
  論文  参考訳（メタデータ） (2022-10-23T21:24:37Z)
• Hybrid Decentralized Optimization: Leveraging Both First- and Zeroth-Order Optimizers for Faster Convergence [31.59453616577858]
  分散システムは、よりノイズの多いゼロオーダーエージェントに耐えられるが、最適化プロセスにおいてそのようなエージェントの恩恵を受けることができる。 本研究の結果は,共同最適化作業に貢献しながらも,凸および非零次最適化の目的を達成できる。
  論文  参考訳（メタデータ） (2022-10-14T10:54:11Z)
• Adaptive First- and Second-Order Algorithms for Large-Scale Machine Learning [3.0204520109309843]
  機械学習における連続最適化問題に対処する一階法と二階法を考察する。 一階述語の場合、半決定論的から二次正規化への遷移の枠組みを提案する。 本稿では,適応的なサンプリングと適応的なステップサイズを持つ新しい1次アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-11-29T18:10:00Z)
• On Second-order Optimization Methods for Federated Learning [59.787198516188425]
  フェデレート学習環境における局所的なステップを持つ2階分散手法の性能評価を行った。 本稿では,更新のための2階ローカル情報とグローバルライン検索を用いて,結果の局所的特異性に対処する新たな変種を提案する。
  論文  参考訳（メタデータ） (2021-09-06T12:04:08Z)
• Lower Bounds and Optimal Algorithms for Smooth and Strongly Convex Decentralized Optimization Over Time-Varying Networks [79.16773494166644]
  通信ネットワークのノード間を分散的に保存するスムーズで強い凸関数の和を最小化するタスクについて検討する。 我々は、これらの下位境界を達成するための2つの最適アルゴリズムを設計する。 我々は,既存の最先端手法と実験的な比較を行うことにより,これらのアルゴリズムの理論的効率を裏付ける。
  論文  参考訳（メタデータ） (2021-06-08T15:54:44Z)
• Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
  バイレベル最適化は多くの機械学習問題に対するツールである。 Stoc-BiO という新しい確率効率勾配推定器を提案する。
  論文  参考訳（メタデータ） (2020-10-15T18:09:48Z)
• Primal-Dual Sequential Subspace Optimization for Saddle-point Problems [3.9582154141918964]
  大規模サドル点問題に対する逐次部分空間最適化手法を提案する。 低次元部分空間における補助的サドル点問題(英語版)を、原始整数双対変数上の一階情報から導かれる方向によって解決する。 実験結果は、一般的な一階法と比較して、かなり良い収束性を示した。
  論文  参考訳（メタデータ） (2020-08-20T18:19:19Z)
• A Primer on Zeroth-Order Optimization in Signal Processing and Machine Learning [95.85269649177336]
  ZO最適化は、勾配推定、降下方向、ソリューション更新の3つの主要なステップを反復的に実行する。 我々は,ブラックボックス深層学習モデルによる説明文の評価や生成,効率的なオンラインセンサ管理など,ZO最適化の有望な応用を実証する。
  論文  参考訳（メタデータ） (2020-06-11T06:50:35Z)
• Incorporating Expert Prior in Bayesian Optimisation via Space Warping [54.412024556499254]
  大きな探索空間では、アルゴリズムは関数の最適値に達する前に、いくつかの低関数値領域を通過する。 このコールドスタートフェーズの1つのアプローチは、最適化を加速できる事前知識を使用することである。 本稿では,関数の事前分布を通じて,関数の最適性に関する事前知識を示す。 先行分布は、探索空間を最適関数の高確率領域の周りに拡張し、最適関数の低確率領域の周りに縮小するようにワープする。
  論文  参考訳（メタデータ） (2020-03-27T06:18:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。