論文の概要: A Note on Zeroth-Order Optimization on the Simplex
- arxiv url: http://arxiv.org/abs/2208.01185v1
- Date: Tue, 2 Aug 2022 01:05:46 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-03 13:49:55.984972
- Title: A Note on Zeroth-Order Optimization on the Simplex
- Title(参考訳): Simplexのゼロ階最適化に関する一考察
- Authors: Tijana Zrnic, Eric Mazumdar
- Abstract要約: 射影勾配降下と指数重み付けアルゴリズムは、正確な勾配ではなくこの推定器で実行すると、$mathcal O(T-1/4)$レートで収束する。
- 参考スコア(独自算出の注目度): 13.271209838998361
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We construct a zeroth-order gradient estimator for a smooth function defined
on the probability simplex. The proposed estimator queries the simplex only. We
prove that projected gradient descent and the exponential weights algorithm,
when run with this estimator instead of exact gradients, converge at a
$\mathcal O(T^{-1/4})$ rate.
- Abstract(参考訳): 確率単純度上で定義される滑らかな関数に対するゼロ階勾配推定器を構築する。
提案する推定器はsimplexのみをクエリする。
予測された勾配降下と指数重みアルゴリズムは、正確な勾配の代わりにこの推定器で走ると、$\mathcal o(t^{-1/4})$レートで収束する。
関連論文リスト
- A randomized algorithm for nonconvex minimization with inexact
evaluations and complexity guarantees [8.367026421718228]
我々は、(関数値ではなく)勾配ヘシアンに不コンパクトな滑らかな非Oracle関数の方向を考え、$epsilon_g, epsilon_()$-approximate 2階最適性を達成する。
論文 参考訳(メタデータ) (2023-10-28T22:57:56Z) - Asymptotically efficient one-step stochastic gradient descent [62.997667081978825]
これはフィッシャースコアリングアルゴリズムの単一ステップで補正された対数型関数の勾配勾配に基づいている。
理論的およびシミュレーションにより、これは平均勾配あるいは適応勾配勾配の通常の勾配勾配の代替として興味深いものであることをi.d設定で示す。
論文 参考訳(メタデータ) (2023-06-09T13:43:07Z) - Estimating the minimizer and the minimum value of a regression function
under passive design [72.85024381807466]
最小値 $boldsymbolx*$ と最小値 $f*$ を滑らかで凸な回帰関数 $f$ で推定する新しい手法を提案する。
2次リスクと$boldsymbolz_n$の最適化誤差、および$f*$を推定するリスクについて、漸近的でない上界を導出する。
論文 参考訳(メタデータ) (2022-11-29T18:38:40Z) - A gradient estimator via L1-randomization for online zero-order
optimization with two point feedback [93.57603470949266]
2つの関数評価とランダム化に基づく新しい勾配推定器を提案する。
ゼロ次オラクルの雑音に対する仮定は,ノイズのキャンセルと逆方向雑音の2種類について考察する。
我々は、問題の全てのパラメータに適応する、いつでも完全にデータ駆動のアルゴリズムを提供する。
論文 参考訳(メタデータ) (2022-05-27T11:23:57Z) - Stochastic Bias-Reduced Gradient Methods [44.35885731095432]
モロー・吉田関数の任意の有界な$x_star$の低バイアスで低コストな平滑化である。
論文 参考訳(メタデータ) (2021-06-17T13:33:05Z) - A Variance Controlled Stochastic Method with Biased Estimation for
Faster Non-convex Optimization [0.0]
減少勾配(SVRG)の性能を向上させるために, 分散制御勾配(VCSG)という新しい手法を提案する。
ラムダ$はVCSGで導入され、SVRGによる分散の過剰還元を避ける。
$mathcalO(min1/epsilon3/2,n1/4/epsilon)$ 勾配評価の数。
論文 参考訳(メタデータ) (2021-02-19T12:22:56Z) - Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box
Optimization Framework [100.36569795440889]
この作業は、一階情報を必要としない零次最適化(ZO)の反復である。
座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
論文 参考訳(メタデータ) (2020-12-21T17:29:58Z) - A One-bit, Comparison-Based Gradient Estimator [29.600975900977343]
正規化勾配の頑健で信頼性の高い推定器を構築するために、1ビット圧縮センシングのツールを利用する方法を示す。
勾配降下法において,この推定器を用いたSCOBOというアルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-10-06T05:01:38Z) - Gradient Free Minimax Optimization: Variance Reduction and Faster
Convergence [120.9336529957224]
本稿では、勾配のないミニマックス最適化問題の大きさを非強設定で表現する。
本稿では,新しいゼロ階分散還元降下アルゴリズムが,クエリの複雑さを最もよく表すことを示す。
論文 参考訳(メタデータ) (2020-06-16T17:55:46Z) - Complexity of Finding Stationary Points of Nonsmooth Nonconvex Functions [84.49087114959872]
非滑らかで非滑らかな関数の定常点を見つけるための最初の非漸近解析を提供する。
特に、アダマール半微分可能函数(おそらく非滑らか関数の最大のクラス)について研究する。
論文 参考訳(メタデータ) (2020-02-10T23:23:04Z) - Super-efficiency of automatic differentiation for functions defined as a
minimum [16.02151272607889]
min-min最適化では、最小値として定義される関数の勾配を計算する必要がある。
本稿では,これらの推定器による誤差を最適化誤差の関数として検討する。
論文 参考訳(メタデータ) (2020-02-10T13:23:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。