論文の概要: Explicit Gradient Learning
- arxiv url: http://arxiv.org/abs/2006.08711v1
- Date: Tue, 9 Jun 2020 08:56:24 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-23 14:36:09.628988
- Title: Explicit Gradient Learning
- Title（参考訳）: 明示的な勾配学習
- Authors: Mor Sinay, Elad Sarafian, Yoram Louzoun, Noa Agmon, Sarit Kraus
- Abstract要約: Black-Box Optimization (BBO) 法は解析的表現のない最適システムを見つけることができる。
EGLは、目標勾配を直接推定するためにNNを訓練する。
- 参考スコア（独自算出の注目度）: 28.844181847562695
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Black-Box Optimization (BBO) methods can find optimal policies for systems
that interact with complex environments with no analytical representation. As
such, they are of interest in many Artificial Intelligence (AI) domains. Yet
classical BBO methods fall short in high-dimensional non-convex problems. They
are thus often overlooked in real-world AI tasks. Here we present a BBO method,
termed Explicit Gradient Learning (EGL), that is designed to optimize
high-dimensional ill-behaved functions. We derive EGL by finding weak-spots in
methods that fit the objective function with a parametric Neural Network (NN)
model and obtain the gradient signal by calculating the parametric gradient.
Instead of fitting the function, EGL trains a NN to estimate the objective
gradient directly. We prove the convergence of EGL in convex optimization and
its robustness in the optimization of integrable functions. We evaluate EGL and
achieve state-of-the-art results in two challenging problems: (1) the COCO test
suite against an assortment of standard BBO methods; and (2) in a
high-dimensional non-convex image generation task.
- Abstract（参考訳）: Black-Box Optimization (BBO) メソッドは、解析的表現のない複雑な環境と相互作用するシステムに対して最適なポリシーを見つけることができる。
そのため、多くの人工知能(AI)分野に関心を持っている。
しかし、古典的BBO法は高次元の非凸問題では不足する。
そのため、現実世界のAIタスクでは見過ごされることが多い。
本稿では,高次元不動関数の最適化を目的としたBBO法であるExplicit Gradient Learning(EGL)を提案する。
目的関数にパラメトリックニューラルネットワーク(NN)モデルで適合する手法の弱い点を見つけ,パラメトリック勾配を計算することで勾配信号を得る。
関数を適合させる代わりに、EGLは目標勾配を直接推定するためにNNを訓練する。
凸最適化におけるeglの収束と可積分関数の最適化における強固性を証明する。
本研究では,(1)標準BBO方式の代替品に対するCOCOテストスイート,(2)高次元非凸画像生成タスクにおいて,EGLを評価し,最先端の課題に対処する。
関連論文リスト
- Extended convexity and smoothness and their applications in deep learning [0.0]
本稿では,非完全に理解された勾配と強い凸性に対する$mathcal$H$smoothnessアルゴリズムを提案する。
提案手法の有効性を実験により検証した。
論文 参考訳（メタデータ） (2024-10-08T08:40:07Z) - Convergence of Implicit Gradient Descent for Training Two-Layer Physics-Informed Neural Networks [3.680127959836384]
暗黙の勾配降下(IGD)は、ある種のマルチスケール問題を扱う場合、共通勾配降下(GD)よりも優れる。
IGDは線形収束速度で大域的に最適解を収束することを示す。
論文 参考訳（メタデータ） (2024-07-03T06:10:41Z) - Neural Gradient Learning and Optimization for Oriented Point Normal
Estimation [53.611206368815125]
本研究では,3次元点雲から勾配ベクトルを一貫した向きで学習し,正規推定を行うためのディープラーニング手法を提案する。
局所平面幾何に基づいて角距離場を学習し、粗勾配ベクトルを洗練する。
本手法は,局所特徴記述の精度と能力の一般化を図りながら,グローバル勾配近似を効率的に行う。
論文 参考訳（メタデータ） (2023-09-17T08:35:11Z) - Implicit Stochastic Gradient Descent for Training Physics-informed
Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。
PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。
本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文 参考訳（メタデータ） (2023-03-03T08:17:47Z) - Global Optimization with Parametric Function Approximation [19.699902334787325]
雑音の多いゼロ次オラクルによる大域的最適化の問題を考察する。
代わりにパラメトリック関数の族を利用するアルゴリズムGO-UCBを提案する。
GO-UCB が O$(sqrtT)$ の累積後悔を達成することを示す。
論文 参考訳（メタデータ） (2022-11-16T18:35:42Z) - BOME! Bilevel Optimization Made Easy: A Simple First-Order Approach [46.457298683984924]
バイレベル最適化(BO)は、さまざまな機械学習問題を解決するのに有用である。
従来の手法では、暗黙の微分を伴う低レベル最適化プロセスを通じて差別化する必要がある。
一階BOは一階情報にのみ依存し、暗黙の微分を必要としない。
論文 参考訳（メタデータ） (2022-09-19T01:51:12Z) - ES-Based Jacobian Enables Faster Bilevel Optimization [53.675623215542515]
バイレベル最適化(BO)は多くの現代の機械学習問題を解決する強力なツールとして生まれてきた。
既存の勾配法では、ヤコビアンあるいはヘッセンベクトル計算による二階微分近似が必要となる。
本稿では,進化戦略(ES)に基づく新しいBOアルゴリズムを提案し,BOの過勾配における応答ヤコビ行列を近似する。
論文 参考訳（メタデータ） (2021-10-13T19:36:50Z) - Leveraging Non-uniformity in First-order Non-convex Optimization [93.6817946818977]
目的関数の非一様洗練は、emphNon-uniform Smoothness(NS)とemphNon-uniform Lojasiewicz inequality(NL)につながる
新しい定義は、古典的な$Omega (1/t2)$下界よりも早く大域的最適性に収束する新しい幾何学的一階法を刺激する。
論文 参考訳（メタデータ） (2021-05-13T04:23:07Z) - Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box
Optimization Framework [100.36569795440889]
この作業は、一階情報を必要としない零次最適化(ZO)の反復である。
座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
論文 参考訳（メタデータ） (2020-12-21T17:29:58Z) - Towards Better Understanding of Adaptive Gradient Algorithms in
Generative Adversarial Nets [71.05306664267832]
適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。
本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。
実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
論文 参考訳（メタデータ） (2019-12-26T22:10:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。