論文の概要: Minibatch Stochastic Three Points Method for Unconstrained Smooth Minimization

• arxiv url: http://arxiv.org/abs/2209.07883v1
• Date: Fri, 16 Sep 2022 12:22:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-19 13:43:22.119270
• Title: Minibatch Stochastic Three Points Method for Unconstrained Smooth Minimization
• Title（参考訳）: 制約のないスムース最小化のためのミニバッチ確率的3点法
• Authors: Soumia Boucherouite (1), Grigory Malinovsky (2), Peter Richt\'arik (2), EL Houcine Bergou (1) ((1) School of Computer Science-Mohammed VI Polytechnic University, (2) King Abdullah University of Science and Technology)
• Abstract要約: ミニバッチ3点(MiSTP)と呼ばれる新しいゼロオーダー最適化法を提案する。 MiSTPは、正確な評価ではなく、目的関数の近似のみに基づくタスクを生成する。 複数の機械学習タスクにおいて、その性能を評価する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we propose a new zero order optimization method called minibatch stochastic three points (MiSTP) method to solve an unconstrained minimization problem in a setting where only an approximation of the objective function evaluation is possible. It is based on the recently proposed stochastic three points (STP) method (Bergou et al., 2020). At each iteration, MiSTP generates a random search direction in a similar manner to STP, but chooses the next iterate based solely on the approximation of the objective function rather than its exact evaluations. We also analyze our method's complexity in the nonconvex and convex cases and evaluate its performance on multiple machine learning tasks.
• Abstract（参考訳）: 本稿では、目的関数評価の近似のみが可能な設定において、制約のない最小化問題を解くためのミニバッチ確率三点法(mistp)と呼ばれる新しいゼロ次最適化法を提案する。 これは最近提案された確率的三点法(STP)に基づいている(Bergou et al., 2020)。 各イテレーションにおいて、MiSTPはSTPと同じようなランダムな探索方向を生成するが、その正確な評価ではなく、目的関数の近似のみに基づいて次の反復を選択する。 また,非凸および凸の場合の複雑性を解析し,複数の機械学習タスクにおける性能評価を行った。

関連論文リスト

• Stochastic Zeroth-Order Optimization under Strongly Convexity and Lipschitz Hessian: Minimax Sample Complexity [59.75300530380427]
  本稿では,アルゴリズムが検索対象関数の雑音評価にのみアクセス可能な2次スムーズかつ強い凸関数を最適化する問題を考察する。 本研究は, ミニマックス単純後悔率について, 一致した上界と下界を発達させることにより, 初めて厳密な評価を行ったものである。
  論文  参考訳（メタデータ） (2024-06-28T02:56:22Z)
• Variable Substitution and Bilinear Programming for Aligning Partially Overlapping Point Sets [48.1015832267945]
  本研究では,RPMアルゴリズムの最小化目的関数を用いて要求を満たす手法を提案する。 分岐とバウンド(BnB)アルゴリズムが考案され、パラメータのみに分岐し、収束率を高める。 実験による評価は,非剛性変形,位置雑音,外れ値に対する提案手法の高剛性を示す。
  論文  参考訳（メタデータ） (2024-05-14T13:28:57Z)
• Distributed stochastic proximal algorithm with random reshuffling for non-smooth finite-sum optimization [28.862321453597918]
  非滑らかな有限サム最小化は機械学習の基本的な問題である。 本稿では,確率的リシャフリングを用いた分散近位勾配アルゴリズムを開発し,その問題の解法を提案する。
  論文  参考訳（メタデータ） (2021-11-06T07:29:55Z)
• Approximate Bayesian Computation of B\'ezier Simplices [13.105764669733093]
  我々はB'ezier Simplexモデルを確率的モデルに拡張し、その新しい学習アルゴリズムを提案する。 公開可能な問題インスタンスに関する実験的評価は、新しいアルゴリズムが有限サンプルに収束することを示している。
  論文  参考訳（メタデータ） (2021-04-10T04:20:19Z)
• Parallel Stochastic Mirror Descent for MDPs [72.75921150912556]
  無限水平マルコフ決定過程(MDP)における最適政策学習の問題を考える。 リプシッツ連続関数を用いた凸プログラミング問題に対してミラー・ディクセントの変種が提案されている。 このアルゴリズムを一般の場合において解析し,提案手法の動作中に誤差を蓄積しない収束率の推定値を得る。
  論文  参考訳（メタデータ） (2021-02-27T19:28:39Z)
• Byzantine-Resilient Non-Convex Stochastic Gradient Descent [61.6382287971982]
  敵対的レジリエントな分散最適化。 機械は独立して勾配を計算し 協力することができます 私達のアルゴリズムは新しい集中の技術およびサンプル複雑性に基づいています。 それは非常に実用的です:それはないときすべての前の方法の性能を改善します。 セッティングマシンがあります。
  論文  参考訳（メタデータ） (2020-12-28T17:19:32Z)
• Asymptotic study of stochastic adaptive algorithm in non-convex landscape [2.1320960069210484]
  本稿では、最適化や機械学習に広く用いられる適応アルゴリズムの仮定特性について検討する。 このうちAdagradとRmspropは、ブラックボックスのディープラーニングアルゴリズムの大部分に関与している。
  論文  参考訳（メタデータ） (2020-12-10T12:54:45Z)
• Optimal quantisation of probability measures using maximum mean discrepancy [10.29438865750845]
  何人かの研究者は、確率測度を定量化する方法として、最大平均誤差 (MMD) の最小化を提案している。 離散的候補集合よりもMDDを優しく最小化する逐次アルゴリズムを考える。 本手法を各反復時の候補集合のミニバッチに適用する変種について検討する。
  論文  参考訳（メタデータ） (2020-10-14T13:09:48Z)
• Adaptive Sampling for Best Policy Identification in Markov Decision Processes [79.4957965474334]
  本稿では,学習者が生成モデルにアクセスできる場合の,割引マルコフ決定(MDP)における最良の政治的識別の問題について検討する。 最先端アルゴリズムの利点を論じ、解説する。
  論文  参考訳（メタデータ） (2020-09-28T15:22:24Z)
• Exploiting Higher Order Smoothness in Derivative-free Optimization and Continuous Bandits [99.70167985955352]
  強凸関数のゼロ次最適化問題について検討する。 予測勾配降下アルゴリズムのランダム化近似を考察する。 その結果,0次アルゴリズムはサンプルの複雑性や問題パラメータの点でほぼ最適であることが示唆された。
  論文  参考訳（メタデータ） (2020-06-14T10:42:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。