論文の概要: Adaptive Stochastic Optimisation of Nonconvex Composite Objectives

• arxiv url: http://arxiv.org/abs/2211.11710v1
• Date: Mon, 21 Nov 2022 18:31:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-22 23:11:51.613081
• Title: Adaptive Stochastic Optimisation of Nonconvex Composite Objectives
• Title（参考訳）: 非凸複合物体の適応確率最適化
• Authors: Weijia Shao, Fikret Sivrikaya, Sahin Albayrak
• Abstract要約: 一般化された複合ミラー降下アルゴリズムの一群を提案し,解析する。 適応的なステップサイズでは、提案アルゴリズムは問題の事前知識を必要とせずに収束する。 決定集合の低次元構造を高次元問題に活用する。
• 参考スコア（独自算出の注目度）: 2.1700203922407493
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we propose and analyse a family of generalised stochastic composite mirror descent algorithms. With adaptive step sizes, the proposed algorithms converge without requiring prior knowledge of the problem. Combined with an entropy-like update-generating function, these algorithms perform gradient descent in the space equipped with the maximum norm, which allows us to exploit the low-dimensional structure of the decision sets for high-dimensional problems. Together with a sampling method based on the Rademacher distribution and variance reduction techniques, the proposed algorithms guarantee a logarithmic complexity dependence on dimensionality for zeroth-order optimisation problems.
• Abstract（参考訳）: 本稿では,一般化確率的複合ミラー降下アルゴリズムのファミリを提案し,解析する。 適応的なステップサイズで、提案アルゴリズムは問題の事前知識を必要とせずに収束する。 エントロピー的な更新生成関数と組み合わせて、これらのアルゴリズムは最大ノルムを備えた空間で勾配降下を行い、高次元問題に対して決定集合の低次元構造を利用することができる。 提案アルゴリズムは,Rademacher分布と分散低減法に基づくサンプリング手法とともに,ゼロ階最適化問題に対する次元性に依存する対数的複雑性を保証する。

関連論文リスト

• Accelerating Cutting-Plane Algorithms via Reinforcement Learning Surrogates [49.84541884653309]
  凸離散最適化問題に対する現在の標準的なアプローチは、カットプレーンアルゴリズムを使うことである。 多くの汎用カット生成アルゴリズムが存在するにもかかわらず、大規模な離散最適化問題は、難易度に悩まされ続けている。 そこで本研究では,強化学習による切削平面アルゴリズムの高速化手法を提案する。
  論文  参考訳（メタデータ） (2023-07-17T20:11:56Z)
• Composite Optimization Algorithms for Sigmoid Networks [3.160070867400839]
  線形化近位アルゴリズムと乗算器の交互方向に基づく合成最適化アルゴリズムを提案する。 フランク関数のフィッティングに関する数値実験により、提案アルゴリズムは十分堅牢に機能することを示した。
  論文  参考訳（メタデータ） (2023-03-01T15:30:29Z)
• Linearization Algorithms for Fully Composite Optimization [61.20539085730636]
  本稿では,完全合成最適化問題を凸コンパクト集合で解くための一階アルゴリズムについて検討する。 微分可能および非微分可能を別々に扱い、滑らかな部分のみを線形化することで目的の構造を利用する。
  論文  参考訳（メタデータ） (2023-02-24T18:41:48Z)
• Stochastic Mirror Descent for Large-Scale Sparse Recovery [13.500750042707407]
  本稿では,2次近似の高次元スパースパラメータの統計的推定への応用について論じる。 提案アルゴリズムは, 回帰器分布の弱い仮定の下で, 推定誤差の最適収束を実現する。
  論文  参考訳（メタデータ） (2022-10-23T23:23:23Z)
• Adaptive Zeroth-Order Optimisation of Nonconvex Composite Objectives [1.7640556247739623]
  ゼロ階エントロピー合成目的のためのアルゴリズムを解析し,次元依存性に着目した。 これは、ミラー降下法と推定類似関数を用いて、決定セットの低次元構造を利用して達成される。 勾配を改善するため、Rademacherに基づく古典的なサンプリング法を置き換え、ミニバッチ法が非ユークリ幾何学に対処することを示す。
  論文  参考訳（メタデータ） (2022-08-09T07:36:25Z)
• Amortized Implicit Differentiation for Stochastic Bilevel Optimization [53.12363770169761]
  決定論的条件と決定論的条件の両方において、二段階最適化問題を解決するアルゴリズムのクラスについて検討する。 厳密な勾配の推定を補正するために、ウォームスタート戦略を利用する。 このフレームワークを用いることで、これらのアルゴリズムは勾配の偏りのない推定値にアクセス可能な手法の計算複雑性と一致することを示す。
  論文  参考訳（メタデータ） (2021-11-29T15:10:09Z)
• A Stochastic Sequential Quadratic Optimization Algorithm for Nonlinear Equality Constrained Optimization with Rank-Deficient Jacobians [11.03311584463036]
  滑らかな非線形等式制約最適化問題の解法として, 逐次2次最適化アルゴリズムを提案する。 数値実験の結果、このアルゴリズムは一般的な代替品と比較して優れた性能を示すことが示された。
  論文  参考訳（メタデータ） (2021-06-24T13:46:52Z)
• Convergence of adaptive algorithms for weakly convex constrained optimization [59.36386973876765]
  モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。 我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
  論文  参考訳（メタデータ） (2020-06-11T17:43:19Z)
• Effective Dimension Adaptive Sketching Methods for Faster Regularized Least-Squares Optimization [56.05635751529922]
  スケッチに基づくL2正規化最小二乗問題の解法を提案する。 我々は、最も人気のあるランダム埋め込みの2つ、すなわちガウス埋め込みとサブサンプリングランダム化アダマール変換(SRHT)を考える。
  論文  参考訳（メタデータ） (2020-06-10T15:00:09Z)
• Optimal Randomized First-Order Methods for Least-Squares Problems [56.05635751529922]
  このアルゴリズムのクラスは、最小二乗問題に対する最も高速な解法のうち、いくつかのランダム化手法を含んでいる。 我々は2つの古典的埋め込み、すなわちガウス射影とアダマール変換のサブサンプリングに焦点を当てる。 得られたアルゴリズムは条件数に依存しない最小二乗問題の解法として最も複雑である。
  論文  参考訳（メタデータ） (2020-02-21T17:45:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。