論文の概要: Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework

• arxiv url: http://arxiv.org/abs/2012.11518v1
• Date: Mon, 21 Dec 2020 17:29:58 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-27 11:19:31.610223
• Title: Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework
• Title（参考訳）: Zeroth-Order Hybrid Gradient Descent: Principled Black-Box Optimization Frameworkを目指して
• Authors: Pranay Sharma, Kaidi Xu, Sijia Liu, Pin-Yu Chen, Xue Lin and Pramod K. Varshney
• Abstract要約: この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
• 参考スコア（独自算出の注目度）: 100.36569795440889
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this work, we focus on the study of stochastic zeroth-order (ZO) optimization which does not require first-order gradient information and uses only function evaluations. The problem of ZO optimization has emerged in many recent machine learning applications, where the gradient of the objective function is either unavailable or difficult to compute. In such cases, we can approximate the full gradients or stochastic gradients through function value based gradient estimates. Here, we propose a novel hybrid gradient estimator (HGE), which takes advantage of the query-efficiency of random gradient estimates as well as the variance-reduction of coordinate-wise gradient estimates. We show that with a graceful design in coordinate importance sampling, the proposed HGE-based ZO optimization method is efficient both in terms of iteration complexity as well as function query cost. We provide a thorough theoretical analysis of the convergence of our proposed method for non-convex, convex, and strongly-convex optimization. We show that the convergence rate that we derive generalizes the results for some prominent existing methods in the nonconvex case, and matches the optimal result in the convex case. We also corroborate the theory with a real-world black-box attack generation application to demonstrate the empirical advantage of our method over state-of-the-art ZO optimization approaches.
• Abstract（参考訳）: 本研究では,一階勾配情報を必要とせず,関数評価のみを用いる確率ゼロ階最適化(ZO)の研究に焦点をあてる。 zo最適化の問題は、最近の多くの機械学習アプリケーションで発生しており、目的関数の勾配が使用できないか、計算が難しい。 そのような場合、関数値に基づく勾配推定により全勾配あるいは確率勾配を近似することができる。 本稿では,ランダム勾配推定のクエリ効率と座標方向勾配推定の分散還元を生かした,新しいハイブリッド勾配推定器(hge)を提案する。 コーディネート重要度サンプリングの優雅な設計により,提案手法であるhgeベースのzo最適化手法は,反復複雑性と関数問合せコストの両方において効率的であることを示す。 本稿では, 提案手法の非凸, 凸, 強凸最適化の収束に関する理論的解析を行う。 導出する収束速度は、非凸の場合のいくつかの顕著な既存手法の結果を一般化し、凸の場合の最適結果と一致することを示す。 また,本手法の最先端ZO最適化手法に対する実証的優位性を実証するために,実世界のブラックボックス攻撃生成アプリケーションと理論の相関性を示す。

関連論文リスト

• Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
  emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。 本稿では,直感的に設計を記述し,設計選択について説明する。 本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
  論文  参考訳（メタデータ） (2023-10-31T16:15:13Z)
• Efficient Gradient Approximation Method for Constrained Bilevel Optimization [2.0305676256390934]
  大規模高次元データを用いたバイレベル最適化が開発されている。 本稿では凸と微分不可能な近似を伴う制約付き二値問題について考察する。
  論文  参考訳（メタデータ） (2023-02-03T19:34:56Z)
• COCO Denoiser: Using Co-Coercivity for Variance Reduction in Stochastic Convex Optimization [4.970364068620608]
  我々は,勾配オラクルによって出力される雑音の推定値を改善するために,凸性およびL平滑性を利用する。 問合せ点の数と近さの増加は、より良い勾配推定に繋がることを示す。 また、SGD、Adam、STRSAGAといった既存のアルゴリズムにCOCOをプラグインすることで、バニラ設定にもCOCOを適用します。
  論文  参考訳（メタデータ） (2021-09-07T17:21:09Z)
• Constrained and Composite Optimization via Adaptive Sampling Methods [3.4219044933964944]
  本論文の動機は,制約付き最適化問題を解くための適応サンプリング手法を開発することにある。 本論文で提案する手法は、f が凸(必ずしも微分可能ではない)である合成最適化問題 min f(x) + h(x) にも適用できる近位勾配法である。
  論文  参考訳（メタデータ） (2020-12-31T02:50:39Z)
• Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
  バイレベル最適化は多くの機械学習問題に対するツールである。 Stoc-BiO という新しい確率効率勾配推定器を提案する。
  論文  参考訳（メタデータ） (2020-10-15T18:09:48Z)
• Projection-Free Adaptive Gradients for Large-Scale Optimization [22.0439695290991]
  フランク=ウルフアルゴリズムは、目的から近似した一階情報のみをクエリすることで、両方の計算負担を軽減するため、ユニークな位置を占める。 本手法は,制約付き最適化のための適応アルゴリズムの性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2020-09-29T15:56:12Z)
• An adaptive stochastic gradient-free approach for high-dimensional blackbox optimization [0.0]
  本研究では,高次元非平滑化問題に対する適応勾配フリー (ASGF) アプローチを提案する。 本稿では,グローバルな問題と学習タスクのベンチマークにおいて,本手法の性能について述べる。
  論文  参考訳（メタデータ） (2020-06-18T22:47:58Z)
• A Primer on Zeroth-Order Optimization in Signal Processing and Machine Learning [95.85269649177336]
  ZO最適化は、勾配推定、降下方向、ソリューション更新の3つの主要なステップを反復的に実行する。 我々は,ブラックボックス深層学習モデルによる説明文の評価や生成,効率的なオンラインセンサ管理など,ZO最適化の有望な応用を実証する。
  論文  参考訳（メタデータ） (2020-06-11T06:50:35Z)
• Towards Better Understanding of Adaptive Gradient Algorithms in Generative Adversarial Nets [71.05306664267832]
  適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。 本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。 実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
  論文  参考訳（メタデータ） (2019-12-26T22:10:10Z)
• On the Convergence of Adaptive Gradient Methods for Nonconvex Optimization [80.03647903934723]
  我々は、勾配収束法を期待する適応勾配法を証明した。 解析では、非理解勾配境界の最適化において、より適応的な勾配法に光を当てた。
  論文  参考訳（メタデータ） (2018-08-16T20:25:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。