論文の概要: Zeroth-Order Hard-Thresholding: Gradient Error vs. Expansivity

• arxiv url: http://arxiv.org/abs/2210.05279v1
• Date: Tue, 11 Oct 2022 09:23:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-12 17:41:33.367692
• Title: Zeroth-Order Hard-Thresholding: Gradient Error vs. Expansivity
• Title（参考訳）: ゼロ階ハードThresholding: Gradient Error vs. Expansivity
• Authors: William de Vazelhes, Hualin Zhang, Huimin Wu, Xiao-Tong Yuan, Bin Gu
• Abstract要約: 本稿では,新しいランダムサンプリングを用いた一般ZO勾配推定器を用いたゼロ階ハードスレッディング(SZOHT)アルゴリズムを提案する。 SZOHTの問合せ複雑性は, 異なる条件下での次元性に依存しないか, あるいは弱く依存していることが判明した。
• 参考スコア（独自算出の注目度）: 33.15902206119346
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: $\ell_0$ constrained optimization is prevalent in machine learning, particularly for high-dimensional problems, because it is a fundamental approach to achieve sparse learning. Hard-thresholding gradient descent is a dominant technique to solve this problem. However, first-order gradients of the objective function may be either unavailable or expensive to calculate in a lot of real-world problems, where zeroth-order (ZO) gradients could be a good surrogate. Unfortunately, whether ZO gradients can work with the hard-thresholding operator is still an unsolved problem. To solve this puzzle, in this paper, we focus on the $\ell_0$ constrained black-box stochastic optimization problems, and propose a new stochastic zeroth-order gradient hard-thresholding (SZOHT) algorithm with a general ZO gradient estimator powered by a novel random support sampling. We provide the convergence analysis of SZOHT under standard assumptions. Importantly, we reveal a conflict between the deviation of ZO estimators and the expansivity of the hard-thresholding operator, and provide a theoretical minimal value of the number of random directions in ZO gradients. In addition, we find that the query complexity of SZOHT is independent or weakly dependent on the dimensionality under different settings. Finally, we illustrate the utility of our method on a portfolio optimization problem as well as black-box adversarial attacks.
• Abstract（参考訳）: $\ell_0$制約付き最適化は、特に高次元問題において機械学習において一般的である。 厳密な勾配降下はこの問題を解決する主要な手法である。 しかし、対象関数の第一次勾配は、ゼロ次勾配 (zo) が良いサロゲートとなるような、多くの実世界の問題で計算するには使用不可能または高価であるかもしれない。 残念なことに、ZO勾配がハードThresholding演算子と機能するかどうかはまだ未解決の問題である。 本稿では,制約付きブラックボックス確率最適化問題である$\ell_0$に着目し,新しいランダムサポートサンプリングを用いた一般zo勾配推定器を用いた確率的ゼロ次勾配ハードスレッショルド(szoht)アルゴリズムを提案する。 標準仮定の下でSZOHTの収束解析を行う。 重要なことは、ZO推定器の偏差とハードThresholding演算子の膨張率との矛盾を明らかにし、ZO勾配におけるランダムな方向の数の理論的最小値を提供する。 さらに,szohtのクエリの複雑さは,異なる設定下での次元に依存するか,あるいは弱く依存していることがわかった。 最後に,ポートフォリオ最適化問題およびブラックボックス攻撃における本手法の有用性について述べる。

関連論文リスト

• Stochastic Zeroth-Order Optimization under Strongly Convexity and Lipschitz Hessian: Minimax Sample Complexity [59.75300530380427]
  本稿では,アルゴリズムが検索対象関数の雑音評価にのみアクセス可能な2次スムーズかつ強い凸関数を最適化する問題を考察する。 本研究は, ミニマックス単純後悔率について, 一致した上界と下界を発達させることにより, 初めて厳密な評価を行ったものである。
  論文  参考訳（メタデータ） (2024-06-28T02:56:22Z)
• High-Probability Bounds for Stochastic Optimization and Variational Inequalities: the Case of Unbounded Variance [59.211456992422136]
  制約の少ない仮定の下で高確率収束結果のアルゴリズムを提案する。 これらの結果は、標準機能クラスに適合しない問題を最適化するために検討された手法の使用を正当化する。
  論文  参考訳（メタデータ） (2023-02-02T10:37:23Z)
• COCO Denoiser: Using Co-Coercivity for Variance Reduction in Stochastic Convex Optimization [4.970364068620608]
  我々は,勾配オラクルによって出力される雑音の推定値を改善するために,凸性およびL平滑性を利用する。 問合せ点の数と近さの増加は、より良い勾配推定に繋がることを示す。 また、SGD、Adam、STRSAGAといった既存のアルゴリズムにCOCOをプラグインすることで、バニラ設定にもCOCOを適用します。
  論文  参考訳（メタデータ） (2021-09-07T17:21:09Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• A Retrospective Approximation Approach for Smooth Stochastic Optimization [0.2867517731896504]
  グラディエント(グラディエント、英: Gradient、SG)とは、最適化(SO)問題をスムーズ(ノンフィクション)な目標値で解くための補足的反復手法である。
  論文  参考訳（メタデータ） (2021-03-07T16:29:36Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• Gradient Free Minimax Optimization: Variance Reduction and Faster Convergence [120.9336529957224]
  本稿では、勾配のないミニマックス最適化問題の大きさを非強設定で表現する。 本稿では,新しいゼロ階分散還元降下アルゴリズムが,クエリの複雑さを最もよく表すことを示す。
  論文  参考訳（メタデータ） (2020-06-16T17:55:46Z)
• Towards Better Understanding of Adaptive Gradient Algorithms in Generative Adversarial Nets [71.05306664267832]
  適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。 本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。 実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
  論文  参考訳（メタデータ） (2019-12-26T22:10:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。