論文の概要: Binary Search and First Order Gradient Based Method for Stochastic Optimization

• arxiv url: http://arxiv.org/abs/2007.13413v1
• Date: Mon, 27 Jul 2020 10:21:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-06 07:44:35.656203
• Title: Binary Search and First Order Gradient Based Method for Stochastic Optimization
• Title（参考訳）: 確率最適化のための二項探索と一階勾配法
• Authors: Vijay Pandey
• Abstract要約: 本稿では,一階勾配法を用いた二項探索手法を用いた新しい最適化手法を提案する。 我々は、他の1次勾配に基づく最適化手法と比較して、より有望な結果を得る。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we present a novel stochastic optimization method, which uses the binary search technique with first order gradient based optimization method, called Binary Search Gradient Optimization (BSG) or BiGrad. In this optimization setup, a non-convex surface is treated as a set of convex surfaces. In BSG, at first, a region is defined, assuming region is convex. If region is not convex, then the algorithm leaves the region very fast and defines a new one, otherwise, it tries to converge at the optimal point of the region. In BSG, core purpose of binary search is to decide, whether region is convex or not in logarithmic time, whereas, first order gradient based method is primarily applied, to define a new region. In this paper, Adam is used as a first order gradient based method, nevertheless, other methods of this class may also be considered. In deep neural network setup, it handles the problem of vanishing and exploding gradient efficiently. We evaluate BSG on the MNIST handwritten digit, IMDB, and CIFAR10 data set, using logistic regression and deep neural networks. We produce more promising results as compared to other first order gradient based optimization methods. Furthermore, proposed algorithm generalizes significantly better on unseen data as compared to other methods.
• Abstract（参考訳）: 本稿では,二元探索勾配最適化法(bsg)またはbigrad法(bigrad)と呼ばれる,一階勾配に基づく二元探索手法を用いた確率的最適化手法を提案する。 この最適化設定では、非凸曲面を凸曲面の集合として扱う。 bsgでは、まず領域が定義され、領域が凸であると仮定する。 領域が凸でない場合、アルゴリズムは領域を非常に早く残し、新しい領域を定義し、そうでなければ、領域の最適点に収束しようとする。 bsgでは、二分探索の核となる目的は、領域が対数時間で凸であるか否かを判断することであり、一方、第一次勾配に基づく手法は主に適用され、新しい領域を定義することである。 本稿では,Adamを1次勾配法として用いるが,他の手法も考慮できる。 ディープニューラルネットワークの設定では、勾配の消失と爆発の問題を効率的に処理する。 我々は、ロジスティック回帰とディープニューラルネットワークを用いて、MNIST手書き桁、IMDB、CIFAR10データセット上でBSGを評価する。 他の一階勾配に基づく最適化法に比べて有望な結果が得られる。 さらに,提案アルゴリズムは,他の手法と比較して,未認識データに対してはるかに優れた一般化を行う。

関連論文リスト

• Neural Gradient Learning and Optimization for Oriented Point Normal Estimation [53.611206368815125]
  本研究では,3次元点雲から勾配ベクトルを一貫した向きで学習し,正規推定を行うためのディープラーニング手法を提案する。 局所平面幾何に基づいて角距離場を学習し、粗勾配ベクトルを洗練する。 本手法は,局所特徴記述の精度と能力の一般化を図りながら,グローバル勾配近似を効率的に行う。
  論文  参考訳（メタデータ） (2023-09-17T08:35:11Z)
• Adaptive Proximal Gradient Method for Convex Optimization [18.681222155879656]
  凸最適化における2つの基本的な一階法、すなわち勾配降下法(GD)と近位勾配法(ProxGD)について検討する。 我々の焦点は、スムーズな関数の局所曲率情報を活用することによって、これらのアルゴリズムを完全に適応させることである。 本稿では,GD と ProxGD の適応バージョンを提案する。
  論文  参考訳（メタデータ） (2023-08-04T11:37:08Z)
• How Does Adaptive Optimization Impact Local Neural Network Geometry? [32.32593743852949]
  ニューラルネットワーク最適化の文脈では、この伝統的な視点は不十分である、と我々は主張する。 我々は、アダムのような適応的な手法が、より高速な収束を期待できる領域への軌道に偏っていることを示す。
  論文  参考訳（メタデータ） (2022-11-04T04:05:57Z)
• Efficiently Escaping Saddle Points in Bilevel Optimization [48.925688192913]
  バイレベル最適化は、機械学習における問題の1つだ。 双レベル最適化の最近の進歩は、最初の基本的非適応的多段階解析に収束する。
  論文  参考訳（メタデータ） (2022-02-08T07:10:06Z)
• An Accelerated Variance-Reduced Conditional Gradient Sliding Algorithm for First-order and Zeroth-order Optimization [111.24899593052851]
  条件勾配アルゴリズム(Frank-Wolfeアルゴリズムとも呼ばれる)は、最近、機械学習コミュニティで人気を取り戻している。 ARCSは、ゼロ階最適化において凸問題を解く最初のゼロ階条件勾配スライディング型アルゴリズムである。 1次最適化では、ARCSの収束結果は、勾配クエリのオラクルの数で、従来のアルゴリズムよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2021-09-18T07:08:11Z)
• Lower Bounds and Optimal Algorithms for Smooth and Strongly Convex Decentralized Optimization Over Time-Varying Networks [79.16773494166644]
  通信ネットワークのノード間を分散的に保存するスムーズで強い凸関数の和を最小化するタスクについて検討する。 我々は、これらの下位境界を達成するための2つの最適アルゴリズムを設計する。 我々は,既存の最先端手法と実験的な比較を行うことにより,これらのアルゴリズムの理論的効率を裏付ける。
  論文  参考訳（メタデータ） (2021-06-08T15:54:44Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• A Domain-Shrinking based Bayesian Optimization Algorithm with Order-Optimal Regret Performance [16.0251555430107]
  これはGPに基づく最初のアルゴリズムであり、順序最適化された後悔の保証がある。 GP-UCB系のアルゴリズムと比較して,提案アルゴリズムは計算複雑性を$O(T2d-1)$で低減する。
  論文  参考訳（メタデータ） (2020-10-27T02:15:15Z)
• Towards Better Understanding of Adaptive Gradient Algorithms in Generative Adversarial Nets [71.05306664267832]
  適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。 本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。 実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
  論文  参考訳（メタデータ） (2019-12-26T22:10:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。