論文の概要: Linearization Algorithms for Fully Composite Optimization
- arxiv url: http://arxiv.org/abs/2302.12808v1
- Date: Fri, 24 Feb 2023 18:41:48 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-27 12:44:09.923808
- Title: Linearization Algorithms for Fully Composite Optimization
- Title(参考訳): 完全合成最適化のための線形化アルゴリズム
- Authors: Maria-Luiza Vladarean, Nikita Doikov, Martin Jaggi, Nicolas Flammarion
- Abstract要約: 有界集合上の完全合成最適化問題を解くための一階アルゴリズムについて検討する。
目的の微分可能および非微分可能部分を別々に扱い、滑らかな成分のみを線形化する。
- 参考スコア(独自算出の注目度): 61.20539085730636
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we study first-order algorithms for solving fully composite
optimization problems over bounded sets. We treat the differentiable and
non-differentiable parts of the objective separately, linearizing only the
smooth components. This provides us with new generalizations of the classical
and accelerated Frank-Wolfe methods, that are applicable to non-differentiable
problems whenever we can access the structure of the objective. We prove global
complexity bounds for our algorithms that are optimal in several settings.
- Abstract(参考訳): 本稿では,有界集合上の完全合成最適化問題を解くための一階アルゴリズムについて検討する。
目的の微分可能および非微分可能部分を別々に扱い、滑らかな成分のみを線形化する。
これにより、古典的および加速的フランク・ウルフ法の新しい一般化が可能となり、目的の構造にアクセスするときいつでも微分不能な問題に適用できる。
いくつかの設定で最適であるアルゴリズムのグローバルな複雑性境界を証明します。
関連論文リスト
- Provably Faster Algorithms for Bilevel Optimization via Without-Replacement Sampling [96.47086913559289]
勾配に基づくアルゴリズムはバイレベル最適化に広く用いられている。
本研究では,より高速な収束率を実現する非置換サンプリングに基づくアルゴリズムを提案する。
合成および実世界の両方のアプリケーションに対してアルゴリズムを検証する。
論文 参考訳(メタデータ) (2024-11-07T17:05:31Z) - Towards Differentiable Multilevel Optimization: A Gradient-Based Approach [1.6114012813668932]
本稿では,多レベル最適化のための新しい勾配に基づくアプローチを提案する。
本手法は解の精度と収束速度を両立させながら計算複雑性を著しく低減する。
私たちの知る限りでは、これは暗黙の微分の一般的なバージョンを提供する最初のアルゴリズムの1つである。
論文 参考訳(メタデータ) (2024-10-15T06:17:59Z) - Projection-Free Variance Reduction Methods for Stochastic Constrained Multi-Level Compositional Optimization [34.628967272528044]
本稿では,制約付きマルチレベル最適化関数に対するプロジェクションフリーアルゴリズムについて検討する。
段階的適応を用いて凸関数と強凸関数の複素数を求める。
論文 参考訳(メタデータ) (2024-06-06T06:56:56Z) - Oracle Complexity of Single-Loop Switching Subgradient Methods for
Non-Smooth Weakly Convex Functional Constrained Optimization [12.84152722535866]
目的関数が弱凸あるいは弱凸である非制約最適化問題を考える。
そこで本研究では,一階調律であり,実装が容易な段階的手法について考察する。
論文 参考訳(メタデータ) (2023-01-30T22:13:14Z) - Adaptive Stochastic Optimisation of Nonconvex Composite Objectives [2.1700203922407493]
一般化された複合ミラー降下アルゴリズムの一群を提案し,解析する。
適応的なステップサイズでは、提案アルゴリズムは問題の事前知識を必要とせずに収束する。
決定集合の低次元構造を高次元問題に活用する。
論文 参考訳(メタデータ) (2022-11-21T18:31:43Z) - On a class of geodesically convex optimization problems solved via
Euclidean MM methods [50.428784381385164]
ユークリッド凸化関数の違いは、統計学と機械学習の異なるタイプの問題の違いとして記述できることを示す。
最終的に、より広い範囲、より広い範囲の作業を支援するのです。
論文 参考訳(メタデータ) (2022-06-22T23:57:40Z) - Amortized Implicit Differentiation for Stochastic Bilevel Optimization [53.12363770169761]
決定論的条件と決定論的条件の両方において、二段階最適化問題を解決するアルゴリズムのクラスについて検討する。
厳密な勾配の推定を補正するために、ウォームスタート戦略を利用する。
このフレームワークを用いることで、これらのアルゴリズムは勾配の偏りのない推定値にアクセス可能な手法の計算複雑性と一致することを示す。
論文 参考訳(メタデータ) (2021-11-29T15:10:09Z) - SUPER-ADAM: Faster and Universal Framework of Adaptive Gradients [99.13839450032408]
一般的な問題を解決するための適応アルゴリズムのための普遍的な枠組みを設計することが望まれる。
特に,本フレームワークは,非収束的設定支援の下で適応的手法を提供する。
論文 参考訳(メタデータ) (2021-06-15T15:16:28Z) - Distributed Proximal Splitting Algorithms with Rates and Acceleration [7.691755449724637]
解に対する関数値の最適値または距離の新しいレートで、線形および線形収束結果を導出する。
本稿では,これらのアルゴリズムの分散変種を提案する。
論文 参考訳(メタデータ) (2020-10-02T12:35:09Z) - Conditional gradient methods for stochastically constrained convex
minimization [54.53786593679331]
構造凸最適化問題に対する条件勾配に基づく2つの新しい解法を提案する。
私たちのフレームワークの最も重要な特徴は、各イテレーションで制約のサブセットだけが処理されることです。
提案アルゴリズムは, 条件勾配のステップとともに, 分散の低減と平滑化に頼り, 厳密な収束保証を伴っている。
論文 参考訳(メタデータ) (2020-07-07T21:26:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。