論文の概要: AdaDGS: An adaptive black-box optimization method with a nonlocal directional Gaussian smoothing gradient

• arxiv url: http://arxiv.org/abs/2011.02009v1
• Date: Tue, 3 Nov 2020 21:20:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-30 06:13:45.178031
• Title: AdaDGS: An adaptive black-box optimization method with a nonlocal directional Gaussian smoothing gradient
• Title（参考訳）: AdaDGS:非局所方向ガウススムージング勾配を用いた適応ブラックボックス最適化法
• Authors: Hoang Tran and Guannan Zhang
• Abstract要約: 方向性ガウススムースティング(DGS)アプローチは(Zhang et al., 2020)で最近提案され、高次元ブラックボックス最適化のためにDGS勾配と呼ばれる真の非局所勾配を定義するために使用された。 DGSグラデーションを用いた簡易かつ創発的かつ効率的な最適化手法を提案し,超パラメータ微調整の必要性を排除した。
• 参考スコア（独自算出の注目度）: 3.1546318469750196
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The local gradient points to the direction of the steepest slope in an infinitesimal neighborhood. An optimizer guided by the local gradient is often trapped in local optima when the loss landscape is multi-modal. A directional Gaussian smoothing (DGS) approach was recently proposed in (Zhang et al., 2020) and used to define a truly nonlocal gradient, referred to as the DGS gradient, for high-dimensional black-box optimization. Promising results show that replacing the traditional local gradient with the DGS gradient can significantly improve the performance of gradient-based methods in optimizing highly multi-modal loss functions. However, the optimal performance of the DGS gradient may rely on fine tuning of two important hyper-parameters, i.e., the smoothing radius and the learning rate. In this paper, we present a simple, yet ingenious and efficient adaptive approach for optimization with the DGS gradient, which removes the need of hyper-parameter fine tuning. Since the DGS gradient generally points to a good search direction, we perform a line search along the DGS direction to determine the step size at each iteration. The learned step size in turn will inform us of the scale of function landscape in the surrounding area, based on which we adjust the smoothing radius accordingly for the next iteration. We present experimental results on high-dimensional benchmark functions, an airfoil design problem and a game content generation problem. The AdaDGS method has shown superior performance over several the state-of-the-art black-box optimization methods.
• Abstract（参考訳）: 局所勾配は無限小近傍の最も急な斜面の方向を指している。 局所勾配で導かれるオプティマイザは、ロスランドスケープがマルチモーダルである場合、しばしば局所最適に閉じ込められる。 方向性ガウススムースティング(DGS)アプローチは(Zhang et al., 2020)で最近提案され、高次元ブラックボックス最適化のためにDGS勾配と呼ばれる真の非局所勾配を定義するために使用された。 その結果,従来の局所勾配をDGS勾配に置き換えることにより,高度マルチモーダル損失関数の最適化における勾配法の性能を著しく向上させることができることがわかった。 しかし、DGS勾配の最適性能は2つの重要なハイパーパラメータ、すなわち滑らかな半径と学習速度の微調整に依存する可能性がある。 本稿では,超パラメータの微調整の必要性をなくし,dgs勾配を用いた最適化のための,単純かつ巧妙かつ効率的な適応アプローチを提案する。 DGS勾配は一般によい探索方向を示すため、DGS方向に沿って線探索を行い、各繰り返しのステップサイズを決定する。 次に、学習したステップサイズは、次のイテレーションに応じてスムージング半径を調整することで、周囲の領域における機能ランドスケープのスケールを教えてくれる。 本研究では,高次元ベンチマーク関数,翼設計問題,ゲームコンテンツ生成問題に関する実験結果を示す。 AdaDGS法は、最先端のブラックボックス最適化法よりも優れた性能を示している。

関連論文リスト

• Neural Gradient Learning and Optimization for Oriented Point Normal Estimation [53.611206368815125]
  本研究では,3次元点雲から勾配ベクトルを一貫した向きで学習し,正規推定を行うためのディープラーニング手法を提案する。 局所平面幾何に基づいて角距離場を学習し、粗勾配ベクトルを洗練する。 本手法は,局所特徴記述の精度と能力の一般化を図りながら,グローバル勾配近似を効率的に行う。
  論文  参考訳（メタデータ） (2023-09-17T08:35:11Z)
• ELRA: Exponential learning rate adaption gradient descent optimization method [83.88591755871734]
  我々は, 高速(指数率), ab initio(超自由)勾配に基づく適応法を提案する。 本手法の主な考え方は,状況認識による$alphaの適応である。 これは任意の次元 n の問題に適用でき、線型にしかスケールできない。
  論文  参考訳（メタデータ） (2023-09-12T14:36:13Z)
• Adaptive Proximal Gradient Method for Convex Optimization [18.681222155879656]
  凸最適化における2つの基本的な一階法、すなわち勾配降下法(GD)と近位勾配法(ProxGD)について検討する。 我々の焦点は、スムーズな関数の局所曲率情報を活用することによって、これらのアルゴリズムを完全に適応させることである。 本稿では,GD と ProxGD の適応バージョンを提案する。
  論文  参考訳（メタデータ） (2023-08-04T11:37:08Z)
• Gradient Correction beyond Gradient Descent [63.33439072360198]
  勾配補正は明らかに、ニューラルネットワークのトレーニングにおいて、最も重要な側面である。 勾配補正を行うためのフレームワーク(textbfGCGD)を導入する。 実験結果から, 勾配補正フレームワークは, トレーニングエポックスを$sim$20%削減し, ネットワーク性能を向上させることができることがわかった。
  論文  参考訳（メタデータ） (2022-03-16T01:42:25Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• Channel-Directed Gradients for Optimization of Convolutional Neural Networks [50.34913837546743]
  本稿では,畳み込みニューラルネットワークの最適化手法を提案する。 出力チャネル方向に沿って勾配を定義することで性能が向上し,他の方向が有害となることを示す。
  論文  参考訳（メタデータ） (2020-08-25T00:44:09Z)
• An adaptive stochastic gradient-free approach for high-dimensional blackbox optimization [0.0]
  本研究では,高次元非平滑化問題に対する適応勾配フリー (ASGF) アプローチを提案する。 本稿では,グローバルな問題と学習タスクのベンチマークにおいて,本手法の性能について述べる。
  論文  参考訳（メタデータ） (2020-06-18T22:47:58Z)
• A Novel Evolution Strategy with Directional Gaussian Smoothing for Blackbox Optimization [4.060323179287396]
  高次元ブラックボックス最適化のための新しい非局所勾配演算子を用いた改良された進化戦略(ES)を提案する。 $d$次元ガウス滑らか化を持つ標準ES法は、モンテカルロに基づく勾配推定器の高分散に起因する次元の呪いに悩まされる。
  論文  参考訳（メタデータ） (2020-02-07T20:17:19Z)
• Towards Better Understanding of Adaptive Gradient Algorithms in Generative Adversarial Nets [71.05306664267832]
  適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。 本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。 実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
  論文  参考訳（メタデータ） (2019-12-26T22:10:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。