Fugu-MT 論文翻訳(概要): FOSI: Hybrid First and Second Order Optimization

論文の概要: FOSI: Hybrid First and Second Order Optimization

arxiv url: http://arxiv.org/abs/2302.08484v4
Date: Thu, 7 Mar 2024 15:37:44 GMT
ステータス: 処理完了
システム内更新日: 2024-03-08 18:39:01.631550
Title: FOSI: Hybrid First and Second Order Optimization
Title（参考訳）: FOSI:ハイブリッド第一次および第二次最適化
Authors: Hadar Sivan, Moshe Gabel, Assaf Schuster
Abstract要約: 本稿では,最適化プロセス中に二階情報を効率的に組み込むことにより,任意の一階目の性能を向上させるメタアルゴリズムFOSIを提案する。我々の経験的評価は、FOSIがヘビーボールやアダムのような一階法の収束率と最適化時間を向上し、二階法(K-FAC, L-BFGS)よりも優れていることを示している。
参考スコア（独自算出の注目度）: 11.447526245792154
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Popular machine learning approaches forgo second-order information due to the difficulty of computing curvature in high dimensions. We present FOSI, a novel meta-algorithm that improves the performance of any base first-order optimizer by efficiently incorporating second-order information during the optimization process. In each iteration, FOSI implicitly splits the function into two quadratic functions defined on orthogonal subspaces, then uses a second-order method to minimize the first, and the base optimizer to minimize the other. We formally analyze FOSI's convergence and the conditions under which it improves a base optimizer. Our empirical evaluation demonstrates that FOSI improves the convergence rate and optimization time of first-order methods such as Heavy-Ball and Adam, and outperforms second-order methods (K-FAC and L-BFGS).
Abstract（参考訳）: ポピュラーな機械学習は、高次元の曲率の計算が難しいため、二階情報をforgoする。本稿では,最適化プロセス中に二階情報を効率的に組み込むことにより,任意の一階最適化器の性能を向上させるメタアルゴリズムFOSIを提案する。各反復において、FOSIは関数を直交部分空間上で定義された2つの二次函数に暗黙的に分割し、次に第1の最小化に二階法を使い、他方の最小化には基底最適化器を使用する。 fosiの収束と基本オプティマイザを改善する条件を形式的に解析する。実験結果から,fosiはヘビーボールやアダムなどの一階法の収束率と最適化時間を改善し,二階法(k-fac,l-bfgs)を上回った。

関連論文リスト

Fast Two-Time-Scale Stochastic Gradient Method with Applications in Reinforcement Learning [5.325297567945828]
本稿では,従来の手法よりもはるかに高速な収束を実現する2段階最適化手法を提案する。提案アルゴリズムは,様々な条件下で特徴付けられ,オンラインサンプルベース手法に特化していることを示す。
論文参考訳（メタデータ） (2024-05-15T19:03:08Z)
SGD with Partial Hessian for Deep Neural Networks Optimization [18.78728272603732]
本稿では,チャネルワイドパラメータを更新するための2次行列と,他のパラメータを更新するための1次勾配降下(SGD)アルゴリズムを組み合わせた化合物を提案する。一階述語と比較して、最適化を支援するためにヘッセン行列からの一定の量の情報を採用するが、既存の二階述語一般化と比較すると、一階述語一般化の性能は不正確である。
論文参考訳（メタデータ） (2024-03-05T06:10:21Z)
Explicit Second-Order Min-Max Optimization Methods with Optimal Convergence Guarantee [86.05440220344755]
我々は,非制約のmin-max最適化問題のグローバルなサドル点を求めるために,不正確な正規化ニュートン型手法を提案し,解析する。提案手法は有界集合内に留まるイテレートを生成し、その反復は制限関数の項で$O(epsilon-2/3)$内の$epsilon$-saddle点に収束することを示す。
論文参考訳（メタデータ） (2022-10-23T21:24:37Z)
Hybrid Decentralized Optimization: Leveraging Both First- and Zeroth-Order Optimizers for Faster Convergence [31.59453616577858]
分散システムは、よりノイズの多いゼロオーダーエージェントに耐えられるが、最適化プロセスにおいてそのようなエージェントの恩恵を受けることができる。本研究の結果は,共同最適化作業に貢献しながらも,凸および非零次最適化の目的を達成できる。
論文参考訳（メタデータ） (2022-10-14T10:54:11Z)
Adaptive First- and Second-Order Algorithms for Large-Scale Machine Learning [3.0204520109309843]
機械学習における連続最適化問題に対処する一階法と二階法を考察する。一階述語の場合、半決定論的から二次正規化への遷移の枠組みを提案する。本稿では,適応的なサンプリングと適応的なステップサイズを持つ新しい1次アルゴリズムを提案する。
論文参考訳（メタデータ） (2021-11-29T18:10:00Z)
On Second-order Optimization Methods for Federated Learning [59.787198516188425]
フェデレート学習環境における局所的なステップを持つ2階分散手法の性能評価を行った。本稿では,更新のための2階ローカル情報とグローバルライン検索を用いて,結果の局所的特異性に対処する新たな変種を提案する。
論文参考訳（メタデータ） (2021-09-06T12:04:08Z)
Lower Bounds and Optimal Algorithms for Smooth and Strongly Convex Decentralized Optimization Over Time-Varying Networks [79.16773494166644]
通信ネットワークのノード間を分散的に保存するスムーズで強い凸関数の和を最小化するタスクについて検討する。我々は、これらの下位境界を達成するための2つの最適アルゴリズムを設計する。我々は,既存の最先端手法と実験的な比較を行うことにより,これらのアルゴリズムの理論的効率を裏付ける。
論文参考訳（メタデータ） (2021-06-08T15:54:44Z)
Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
バイレベル最適化は多くの機械学習問題に対するツールである。 Stoc-BiO という新しい確率効率勾配推定器を提案する。
論文参考訳（メタデータ） (2020-10-15T18:09:48Z)
Primal-Dual Sequential Subspace Optimization for Saddle-point Problems [3.9582154141918964]
大規模サドル点問題に対する逐次部分空間最適化手法を提案する。低次元部分空間における補助的サドル点問題(英語版)を、原始整数双対変数上の一階情報から導かれる方向によって解決する。実験結果は、一般的な一階法と比較して、かなり良い収束性を示した。
論文参考訳（メタデータ） (2020-08-20T18:19:19Z)
A Primer on Zeroth-Order Optimization in Signal Processing and Machine Learning [95.85269649177336]
ZO最適化は、勾配推定、降下方向、ソリューション更新の3つの主要なステップを反復的に実行する。我々は,ブラックボックス深層学習モデルによる説明文の評価や生成,効率的なオンラインセンサ管理など,ZO最適化の有望な応用を実証する。
論文参考訳（メタデータ） (2020-06-11T06:50:35Z)
Incorporating Expert Prior in Bayesian Optimisation via Space Warping [54.412024556499254]
大きな探索空間では、アルゴリズムは関数の最適値に達する前に、いくつかの低関数値領域を通過する。このコールドスタートフェーズの1つのアプローチは、最適化を加速できる事前知識を使用することである。本稿では,関数の事前分布を通じて,関数の最適性に関する事前知識を示す。先行分布は、探索空間を最適関数の高確率領域の周りに拡張し、最適関数の低確率領域の周りに縮小するようにワープする。
論文参考訳（メタデータ） (2020-03-27T06:18:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。