論文の概要: An Accelerated DFO Algorithm for Finite-sum Convex Functions

• arxiv url: http://arxiv.org/abs/2007.03311v2
• Date: Mon, 3 Aug 2020 03:55:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-12 20:36:45.499133
• Title: An Accelerated DFO Algorithm for Finite-sum Convex Functions
• Title（参考訳）: 有限サム凸関数の高速化DFOアルゴリズム
• Authors: Yuwen Chen (1), Antonio Orvieto (1), Aurelien Lucchi (1) ((1) ETH Zurich)
• Abstract要約: デリバティブフリーの最適化(DFO)は最近、機械学習において大きな勢いを増している。 本稿では、有限サム目的関数を用いて、アクセス可能なDFOアルゴリズムを設計する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Derivative-free optimization (DFO) has recently gained a lot of momentum in machine learning, spawning interest in the community to design faster methods for problems where gradients are not accessible. While some attention has been given to the concept of acceleration in the DFO literature, existing stochastic algorithms for objective functions with a finite-sum structure have not been shown theoretically to achieve an accelerated rate of convergence. Algorithms that use acceleration in such a setting are prone to instabilities, making it difficult to reach convergence. In this work, we exploit the finite-sum structure of the objective in order to design a variance-reduced DFO algorithm that provably yields acceleration. We prove rates of convergence for both smooth convex and strongly-convex finite-sum objective functions. Finally, we validate our theoretical results empirically on several tasks and datasets.
• Abstract（参考訳）: デリバティブフリー最適化(DFO)は、最近機械学習において多くの勢いを増し、勾配がアクセスできない問題に対してより高速な手法を設計するコミュニティへの関心が高まっている。 DFO文学における加速の概念にいくつかの注意が向けられているが、有限サム構造を持つ対象関数に対する既存の確率的アルゴリズムは、収束の加速率を達成するために理論的に示されていない。 このような設定で加速度を利用するアルゴリズムは不安定になりがちであり、収束が困難である。 本研究では,この目的の有限サム構造を利用して,有意な高速化を実現する分散還元DFOアルゴリズムを設計する。 滑らかな凸と強凸な有限サム目的関数の収束率を証明する。 最後に、いくつかのタスクやデータセットで理論結果を実証的に検証する。

関連論文リスト

• D4FT: A Deep Learning Approach to Kohn-Sham Density Functional Theory [79.50644650795012]
  コーンシャム密度汎関数論(KS-DFT)を解くための深層学習手法を提案する。 このような手法はSCF法と同じ表現性を持つが,計算複雑性は低下する。 さらに,本手法により,より複雑なニューラルベース波動関数の探索が可能となった。
  論文  参考訳（メタデータ） (2023-03-01T10:38:10Z)
• Accelerated First-Order Optimization under Nonlinear Constraints [73.2273449996098]
  我々は、制約付き最適化のための一階アルゴリズムと非滑らかなシステムの間で、新しい一階アルゴリズムのクラスを設計する。 これらのアルゴリズムの重要な性質は、制約がスパース変数の代わりに速度で表されることである。
  論文  参考訳（メタデータ） (2023-02-01T08:50:48Z)
• Generalized Gradient Flows with Provable Fixed-Time Convergence and Fast Evasion of Non-Degenerate Saddle Points [8.452349885923507]
  グラディエントベースの1次凸最適化アルゴリズムは、機械学習タスクを含むさまざまな領域で広く適用可能である。 最適時間の固定時間理論の最近の進歩に触発されて,高速化最適化アルゴリズムを設計するための枠組みを導入する。 非ド・サドル点を許容する関数に対しては、これらのサドル点を避けるのに必要な時間は初期条件すべてに一様有界であることを示す。
  論文  参考訳（メタデータ） (2022-12-07T16:36:23Z)
• Accelerating Perturbed Stochastic Iterates in Asynchronous Lock-Free Optimization [47.03235286622727]
  我々は,従来の非加速法と同じ線形高速化条件を必要とすることを証明した。 我々の中心となるアルゴリズム発見は、スパース更新を伴う新しい加速SVRG変種である。
  論文  参考訳（メタデータ） (2021-09-30T17:36:32Z)
• Nesterov Accelerated ADMM for Fast Diffeomorphic Image Registration [63.15453821022452]
  ディープラーニングに基づくアプローチの最近の発展は、DiffIRのサブ秒間実行を実現している。 本稿では,中間定常速度場を機能的に構成する簡易な反復スキームを提案する。 次に、任意の順序の正規化項を用いて、これらの速度場に滑らかさを課す凸最適化モデルを提案する。
  論文  参考訳（メタデータ） (2021-09-26T19:56:45Z)
• Distributed stochastic optimization with large delays [59.95552973784946]
  大規模最適化問題を解決する最も広く使われている手法の1つは、分散非同期勾配勾配(DASGD)である。 DASGDは同じ遅延仮定の下で大域的最適実装モデルに収束することを示す。
  論文  参考訳（メタデータ） (2021-07-06T21:59:49Z)
• Fast Convergence Algorithm for Analog Federated Learning [30.399830943617772]
  無線チャネル上での効率的なアナログフェデレーション学習のためのAirCompベースのFedSplitアルゴリズムを提案する。 提案アルゴリズムは, 目的関数が強く凸かつ滑らかであるという仮定の下で, 最適解に線形収束することを示す。 我々のアルゴリズムは、他のベンチマークFLアルゴリズムと比較して、より高速な収束を伴う不条件問題に対して、より堅牢であることが理論的および実験的に検証されている。
  論文  参考訳（メタデータ） (2020-10-30T10:59:49Z)
• Accelerated Algorithms for Convex and Non-Convex Optimization on Manifolds [9.632674803757475]
  距離における凸問題と非最適化問題の解法を提案する。 提案アルゴリズムは,目的関数における複雑性のレベルに適応する。
  論文  参考訳（メタデータ） (2020-10-18T02:48:22Z)
• IDEAL: Inexact DEcentralized Accelerated Augmented Lagrangian Method [64.15649345392822]
  本稿では,局所関数が滑らかで凸な分散最適化環境下での原始的手法設計のためのフレームワークを提案する。 提案手法は,加速ラグランジアン法により誘導されるサブプロブレム列を概ね解いたものである。 加速度勾配降下と組み合わせることで,収束速度が最適で,最近導出された下界と一致した新しい原始アルゴリズムが得られる。
  論文  参考訳（メタデータ） (2020-06-11T18:49:06Z)
• Accelerating Block Coordinate Descent for Nonnegative Tensor Factorization [22.2289974576617]
  本稿では, 近似非負因数分解 (NTF) のためのブロック降下アルゴリズムの実証収束速度の改善について検討する。 ブロック更新と再起動(HER)の間における補間戦略を提案する。 HERは、高密度NTFのための既存のブロックコーディネートアルゴリズムの実証的な収束速度を著しく加速する。
  論文  参考訳（メタデータ） (2020-01-13T14:59:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。