論文の概要: Learning to be Global Optimizer
- arxiv url: http://arxiv.org/abs/2003.04521v1
- Date: Tue, 10 Mar 2020 03:46:25 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-24 20:16:44.460304
- Title: Learning to be Global Optimizer
- Title(参考訳): グローバルオプティマイザになるための学習
- Authors: Haotian Zhang, Jianyong Sun and Zongben Xu
- Abstract要約: いくつかのベンチマーク関数に対して最適なネットワークとエスケープ能力アルゴリズムを学習する。
学習したアルゴリズムは、よく知られた古典最適化アルゴリズムよりも大幅に優れていることを示す。
- 参考スコア(独自算出の注目度): 28.88646928299302
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The advancement of artificial intelligence has cast a new light on the
development of optimization algorithm. This paper proposes to learn a two-phase
(including a minimization phase and an escaping phase) global optimization
algorithm for smooth non-convex functions. For the minimization phase, a
model-driven deep learning method is developed to learn the update rule of
descent direction, which is formalized as a nonlinear combination of historical
information, for convex functions. We prove that the resultant algorithm with
the proposed adaptive direction guarantees convergence for convex functions.
Empirical study shows that the learned algorithm significantly outperforms some
well-known classical optimization algorithms, such as gradient descent,
conjugate descent and BFGS, and performs well on ill-posed functions. The
escaping phase from local optimum is modeled as a Markov decision process with
a fixed escaping policy. We further propose to learn an optimal escaping policy
by reinforcement learning. The effectiveness of the escaping policies is
verified by optimizing synthesized functions and training a deep neural network
for CIFAR image classification. The learned two-phase global optimization
algorithm demonstrates a promising global search capability on some benchmark
functions and machine learning tasks.
- Abstract(参考訳): 人工知能の進歩は、最適化アルゴリズムの開発に新たな光を当てている。
本稿では,スムーズな非凸関数に対する2相(最小化フェーズとエスケープフェーズを含む)グローバル最適化アルゴリズムについて述べる。
最小化フェーズにおいて、凸関数に対する履歴情報の非線形結合として形式化された降下方向の更新規則を学習するモデル駆動深層学習法を開発した。
提案する適応方向のアルゴリズムによって凸関数の収束が保証されることを示す。
実験的な研究により、学習アルゴリズムは勾配降下、共役降下、BFGSなどの古典最適化アルゴリズムを著しく上回り、不適切な関数に対してよく機能することが示された。
局所最適からの脱出フェーズは、固定避難ポリシーを持つマルコフ決定プロセスとしてモデル化される。
さらに,強化学習による最適避難政策の学習も提案する。
合成関数を最適化し、CIFAR画像分類のためのディープニューラルネットワークを訓練することにより、エスケープポリシーの有効性を検証する。
学習した2相大域最適化アルゴリズムは、いくつかのベンチマーク関数と機械学習タスクで有望な大域探索能力を示す。
関連論文リスト
- Learning to optimize with convergence guarantees using nonlinear system theory [0.4143603294943439]
非制約対象関数に対する収束アルゴリズムのアンメトリゼーションを提案する。
具体的には、スムーズなパラメトリゼーションのための全収束アルゴリズムのアンメトリゼーションを提案する。
論文 参考訳(メタデータ) (2024-03-14T13:40:26Z) - Beyond Single-Model Views for Deep Learning: Optimization versus
Generalizability of Stochastic Optimization Algorithms [13.134564730161983]
本稿では、勾配降下(SGD)とその変種に着目し、ディープラーニングの最適化に新しいアプローチを採用する。
我々はSGDとその変種がSAMのような平らなミニマと同等の性能を示すことを示した。
本研究は、トレーニング損失とホールドアウト精度の関係、およびSGDとノイズ対応変種の性能について、いくつかの重要な知見を明らかにした。
論文 参考訳(メタデータ) (2024-03-01T14:55:22Z) - Stochastic Unrolled Federated Learning [85.6993263983062]
本稿では,UnRolled Federated Learning (SURF)を導入する。
提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
論文 参考訳(メタデータ) (2023-05-24T17:26:22Z) - Fast Adaptive Federated Bilevel Optimization [14.579475552088692]
本稿では,分散二レベル最適化問題の解法として,適応型二レベル最適化アルゴリズム(AdaFBiO)を提案する。
AdaFBiOは、統一適応行列を用いて、様々な適応学習率を柔軟に組み込んで、ULおよびLL問題の変数を更新する。
AdaFBiOアルゴリズムの収束解析フレームワークを提供し、$tildeO(epsilon-3)$の複雑さと$tildeO(epsilon-2)$のコミュニケーション複雑さのサンプルが必要であることを証明した。
論文 参考訳(メタデータ) (2022-11-02T13:55:47Z) - Improved Algorithms for Neural Active Learning [74.89097665112621]
非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。
本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
論文 参考訳(メタデータ) (2022-10-02T05:03:38Z) - SUPER-ADAM: Faster and Universal Framework of Adaptive Gradients [99.13839450032408]
一般的な問題を解決するための適応アルゴリズムのための普遍的な枠組みを設計することが望まれる。
特に,本フレームワークは,非収束的設定支援の下で適応的手法を提供する。
論文 参考訳(メタデータ) (2021-06-15T15:16:28Z) - Meta-Regularization: An Approach to Adaptive Choice of the Learning Rate
in Gradient Descent [20.47598828422897]
第一次下降法における学習率の適応的選択のための新しいアプローチであるtextit-Meta-Regularizationを提案する。
本手法は,正規化項を追加して目的関数を修正し,共同処理パラメータをキャストする。
論文 参考訳(メタデータ) (2021-04-12T13:13:34Z) - Learning Sampling Policy for Faster Derivative Free Optimization [100.27518340593284]
ランダムサンプリングではなく,ZO最適化における摂動を生成するためのサンプリングポリシを学習する,新たな強化学習ベースのZOアルゴリズムを提案する。
その結果,ZO-RLアルゴリズムはサンプリングポリシを学習することでZO勾配の分散を効果的に低減し,既存のZOアルゴリズムよりも高速に収束できることが示唆された。
論文 参考訳(メタデータ) (2021-04-09T14:50:59Z) - Logistic Q-Learning [87.00813469969167]
MDPにおける最適制御の正規化線形プログラミング定式化から導いた新しい強化学習アルゴリズムを提案する。
提案アルゴリズムの主な特徴は,広範に使用されているベルマン誤差の代わりとして理論的に音声として機能する,政策評価のための凸損失関数である。
論文 参考訳(メタデータ) (2020-10-21T17:14:31Z) - An adaptive stochastic gradient-free approach for high-dimensional
blackbox optimization [0.0]
本研究では,高次元非平滑化問題に対する適応勾配フリー (ASGF) アプローチを提案する。
本稿では,グローバルな問題と学習タスクのベンチマークにおいて,本手法の性能について述べる。
論文 参考訳(メタデータ) (2020-06-18T22:47:58Z) - Adaptivity of Stochastic Gradient Methods for Nonconvex Optimization [71.03797261151605]
適応性は現代最適化理論において重要であるが、研究されていない性質である。
提案アルゴリズムは,PL目標に対して既存のアルゴリズムよりも優れた性能を保ちながら,PL目標に対して最適な収束性を実現することを実証した。
論文 参考訳(メタデータ) (2020-02-13T05:42:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。