Fugu-MT 論文翻訳(概要): A Note on Zeroth-Order Optimization on the Simplex

論文の概要: A Note on Zeroth-Order Optimization on the Simplex

arxiv url: http://arxiv.org/abs/2208.01185v1
Date: Tue, 2 Aug 2022 01:05:46 GMT
ステータス: 処理完了
システム内更新日: 2022-08-03 13:49:55.984972
Title: A Note on Zeroth-Order Optimization on the Simplex
Title（参考訳）: Simplexのゼロ階最適化に関する一考察
Authors: Tijana Zrnic, Eric Mazumdar
Abstract要約: 射影勾配降下と指数重み付けアルゴリズムは、正確な勾配ではなくこの推定器で実行すると、$mathcal O(T-1/4)$レートで収束する。
参考スコア（独自算出の注目度）: 13.271209838998361
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We construct a zeroth-order gradient estimator for a smooth function defined on the probability simplex. The proposed estimator queries the simplex only. We prove that projected gradient descent and the exponential weights algorithm, when run with this estimator instead of exact gradients, converge at a $\mathcal O(T^{-1/4})$ rate.
Abstract（参考訳）: 確率単純度上で定義される滑らかな関数に対するゼロ階勾配推定器を構築する。提案する推定器はsimplexのみをクエリする。予測された勾配降下と指数重みアルゴリズムは、正確な勾配の代わりにこの推定器で走ると、$\mathcal o(t^{-1/4})$レートで収束する。

関連論文リスト

Stochastic Zeroth-Order Optimization under Strongly Convexity and Lipschitz Hessian: Minimax Sample Complexity [59.75300530380427]
本稿では,アルゴリズムが検索対象関数の雑音評価にのみアクセス可能な2次スムーズかつ強い凸関数を最適化する問題を考察する。本研究は, ミニマックス単純後悔率について, 一致した上界と下界を発達させることにより, 初めて厳密な評価を行ったものである。
論文参考訳（メタデータ） (2024-06-28T02:56:22Z)
One-step corrected projected stochastic gradient descent for statistical estimation [49.1574468325115]
これは、Fisherスコアリングアルゴリズムの1ステップで修正されたログ様関数の予測勾配勾配に基づいている。理論およびシミュレーションにより、平均勾配勾配や適応勾配勾配の通常の勾配勾配の代替として興味深いものであることを示す。
論文参考訳（メタデータ） (2023-06-09T13:43:07Z)
Estimating the minimizer and the minimum value of a regression function under passive design [72.85024381807466]
最小値 $boldsymbolx*$ と最小値 $f*$ を滑らかで凸な回帰関数 $f$ で推定する新しい手法を提案する。 2次リスクと$boldsymbolz_n$の最適化誤差、および$f*$を推定するリスクについて、漸近的でない上界を導出する。
論文参考訳（メタデータ） (2022-11-29T18:38:40Z)
Stochastic Bias-Reduced Gradient Methods [44.35885731095432]
モロー・吉田関数の任意の有界な$x_star$の低バイアスで低コストな平滑化である。
論文参考訳（メタデータ） (2021-06-17T13:33:05Z)
A Variance Controlled Stochastic Method with Biased Estimation for Faster Non-convex Optimization [0.0]
減少勾配(SVRG)の性能を向上させるために, 分散制御勾配(VCSG)という新しい手法を提案する。ラムダ$はVCSGで導入され、SVRGによる分散の過剰還元を避ける。 $mathcalO(min1/epsilon3/2,n1/4/epsilon)$ 勾配評価の数。
論文参考訳（メタデータ） (2021-02-19T12:22:56Z)
Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
この作業は、一階情報を必要としない零次最適化(ZO)の反復である。座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
論文参考訳（メタデータ） (2020-12-21T17:29:58Z)
A One-bit, Comparison-Based Gradient Estimator [29.600975900977343]
正規化勾配の頑健で信頼性の高い推定器を構築するために、1ビット圧縮センシングのツールを利用する方法を示す。勾配降下法において,この推定器を用いたSCOBOというアルゴリズムを提案する。
論文参考訳（メタデータ） (2020-10-06T05:01:38Z)
Gradient Free Minimax Optimization: Variance Reduction and Faster Convergence [120.9336529957224]
本稿では、勾配のないミニマックス最適化問題の大きさを非強設定で表現する。本稿では,新しいゼロ階分散還元降下アルゴリズムが,クエリの複雑さを最もよく表すことを示す。
論文参考訳（メタデータ） (2020-06-16T17:55:46Z)
Information-Theoretic Lower Bounds for Zero-Order Stochastic Gradient Estimation [28.776950569604026]
ゼロ階オラクルモデルにおける任意の多次元滑らか関数の勾配を推定するために必要なサンプル数を解析する。有界分散オラクルに対する有限差分法は、ゼロ第三高微分を持つ函数に対して$O(d4/3/sqrtT)$を持つことを示す。
論文参考訳（メタデータ） (2020-03-31T00:11:13Z)
Complexity of Finding Stationary Points of Nonsmooth Nonconvex Functions [84.49087114959872]
非滑らかで非滑らかな関数の定常点を見つけるための最初の非漸近解析を提供する。特に、アダマール半微分可能函数(おそらく非滑らか関数の最大のクラス)について研究する。
論文参考訳（メタデータ） (2020-02-10T23:23:04Z)
Super-efficiency of automatic differentiation for functions defined as a minimum [16.02151272607889]
min-min最適化では、最小値として定義される関数の勾配を計算する必要がある。本稿では,これらの推定器による誤差を最適化誤差の関数として検討する。
論文参考訳（メタデータ） (2020-02-10T13:23:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。