論文の概要: Projection-Free Adaptive Gradients for Large-Scale Optimization
- arxiv url: http://arxiv.org/abs/2009.14114v3
- Date: Mon, 15 Feb 2021 14:38:10 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-13 07:12:16.156767
- Title: Projection-Free Adaptive Gradients for Large-Scale Optimization
- Title(参考訳): 大規模最適化のための投影自由適応勾配
- Authors: Cyrille W. Combettes and Christoph Spiegel and Sebastian Pokutta
- Abstract要約: フランク=ウルフアルゴリズムは、目的から近似した一階情報のみをクエリすることで、両方の計算負担を軽減するため、ユニークな位置を占める。
本手法は,制約付き最適化のための適応アルゴリズムの性能を向上させることができることを示す。
- 参考スコア(独自算出の注目度): 22.0439695290991
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The complexity in large-scale optimization can lie in both handling the
objective function and handling the constraint set. In this respect, stochastic
Frank-Wolfe algorithms occupy a unique position as they alleviate both
computational burdens, by querying only approximate first-order information
from the objective and by maintaining feasibility of the iterates without using
projections. In this paper, we improve the quality of their first-order
information by blending in adaptive gradients. We derive convergence rates and
demonstrate the computational advantage of our method over the state-of-the-art
stochastic Frank-Wolfe algorithms on both convex and nonconvex objectives. The
experiments further show that our method can improve the performance of
adaptive gradient algorithms for constrained optimization.
- Abstract(参考訳): 大規模最適化の複雑さは、目的関数の扱いと制約セットの扱いの両方にある。
この点において、確率的フランク=ウルフアルゴリズムは、目的から近似した1次情報のみをクエリし、射影を使わずにイテレートの実現性を維持することによって、両計算負担を軽減するため、ユニークな位置を占める。
本稿では,適応勾配をブレンドすることで,一階情報の品質を向上させる。
我々は収束率を導出し、凸目的と非凸目的の両方において最先端の確率的フランク・ウルフアルゴリズムよりも計算上の利点を示す。
さらに,本手法は制約付き最適化のための適応勾配アルゴリズムの性能を向上させることができることを示した。
関連論文リスト
- Optimal Guarantees for Algorithmic Reproducibility and Gradient
Complexity in Convex Optimization [55.115992622028685]
以前の研究は、一階法はより良い収束率(漸進収束率)をトレードオフする必要があることを示唆している。
最適複雑性と準最適収束保証の両方を、滑らかな凸最小化と滑らかな凸最小化問題に対して達成できることを実証する。
論文 参考訳(メタデータ) (2023-10-26T19:56:52Z) - Linearization Algorithms for Fully Composite Optimization [61.20539085730636]
本稿では,完全合成最適化問題を凸コンパクト集合で解くための一階アルゴリズムについて検討する。
微分可能および非微分可能を別々に扱い、滑らかな部分のみを線形化することで目的の構造を利用する。
論文 参考訳(メタデータ) (2023-02-24T18:41:48Z) - Efficient Gradient Approximation Method for Constrained Bilevel
Optimization [2.0305676256390934]
大規模高次元データを用いたバイレベル最適化が開発されている。
本稿では凸と微分不可能な近似を伴う制約付き二値問題について考察する。
論文 参考訳(メタデータ) (2023-02-03T19:34:56Z) - Accelerated First-Order Optimization under Nonlinear Constraints [73.2273449996098]
我々は、制約付き最適化のための一階アルゴリズムと非滑らかなシステムの間で、新しい一階アルゴリズムのクラスを設計する。
これらのアルゴリズムの重要な性質は、制約がスパース変数の代わりに速度で表されることである。
論文 参考訳(メタデータ) (2023-02-01T08:50:48Z) - Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box
Optimization Framework [100.36569795440889]
この作業は、一階情報を必要としない零次最適化(ZO)の反復である。
座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
論文 参考訳(メタデータ) (2020-12-21T17:29:58Z) - Accelerated Algorithms for Convex and Non-Convex Optimization on
Manifolds [9.632674803757475]
距離における凸問題と非最適化問題の解法を提案する。
提案アルゴリズムは,目的関数における複雑性のレベルに適応する。
論文 参考訳(メタデータ) (2020-10-18T02:48:22Z) - An adaptive stochastic gradient-free approach for high-dimensional
blackbox optimization [0.0]
本研究では,高次元非平滑化問題に対する適応勾配フリー (ASGF) アプローチを提案する。
本稿では,グローバルな問題と学習タスクのベンチマークにおいて,本手法の性能について述べる。
論文 参考訳(メタデータ) (2020-06-18T22:47:58Z) - Convergence of adaptive algorithms for weakly convex constrained
optimization [59.36386973876765]
モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。
我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
論文 参考訳(メタデータ) (2020-06-11T17:43:19Z) - Adaptive First-and Zeroth-order Methods for Weakly Convex Stochastic
Optimization Problems [12.010310883787911]
我々は、弱凸(おそらく非滑らかな)最適化問題の重要なクラスを解くための、適応的な段階的な新しい手法の族を解析する。
実験結果から,提案アルゴリズムが0次勾配降下と設計変動を経験的に上回ることを示す。
論文 参考訳(メタデータ) (2020-05-19T07:44:52Z) - Towards Better Understanding of Adaptive Gradient Algorithms in
Generative Adversarial Nets [71.05306664267832]
適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。
本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。
実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
論文 参考訳(メタデータ) (2019-12-26T22:10:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。