論文の概要: Sarah Frank-Wolfe: Methods for Constrained Optimization with Best Rates and Practical Features

• arxiv url: http://arxiv.org/abs/2304.11737v2
• Date: Sun, 15 Sep 2024 15:17:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-18 03:58:31.747568
• Title: Sarah Frank-Wolfe: Methods for Constrained Optimization with Best Rates and Practical Features
• Title（参考訳）: Sarah Frank-Wolfe: ベストレートと実用性を備えた制約付き最適化手法
• Authors: Aleksandr Beznosikov, David Dobre, Gauthier Gidel,
• Abstract要約: Frank-Wolfe (FW) 法は、構造化制約による最適化問題の解法として一般的な手法である。 有限サム勾配の最小化のためのアルゴリズムの2つの新しい変種を示す。
• 参考スコア（独自算出の注目度）: 65.64276393443346
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Frank-Wolfe (FW) method is a popular approach for solving optimization problems with structured constraints that arise in machine learning applications. In recent years, stochastic versions of FW have gained popularity, motivated by large datasets for which the computation of the full gradient is prohibitively expensive. In this paper, we present two new variants of the FW algorithms for stochastic finite-sum minimization. Our algorithms have the best convergence guarantees of existing stochastic FW approaches for both convex and non-convex objective functions. Our methods do not have the issue of permanently collecting large batches, which is common to many stochastic projection-free approaches. Moreover, our second approach does not require either large batches or full deterministic gradients, which is a typical weakness of many techniques for finite-sum problems. The faster theoretical rates of our approaches are confirmed experimentally.
• Abstract（参考訳）: Frank-Wolfe (FW) 法は、機械学習アプリケーションで発生する構造化制約による最適化問題の解法として一般的な手法である。 近年、FWの確率的なバージョンが人気を集めており、完全な勾配の計算が違法に高価である大規模データセットによって動機付けられている。 本稿では、確率的有限サム最小化のためのFWアルゴリズムの2つの新しい変種を示す。 我々のアルゴリズムは、凸関数と非凸関数の両方に対して、既存の確率的FWアプローチの最良の収束保証を有する。 提案手法は,多くの確率的プロジェクションフリーアプローチに共通する,大規模なバッチを永久に収集する問題を持たない。 さらに、我々の2番目のアプローチでは、大きなバッチや完全な決定論的勾配は必要とせず、有限サム問題に対する多くの手法の典型的な弱点である。 提案手法のより高速な理論速度を実験的に検証した。

関連論文リスト

• Stochastic Inexact Augmented Lagrangian Method for Nonconvex Expectation Constrained Optimization [88.0031283949404]
  多くの実世界の問題は複雑な非機能的制約を持ち、多くのデータポイントを使用する。 提案手法は,従来最もよく知られた結果で既存手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-12-19T14:48:54Z)
• Using Taylor-Approximated Gradients to Improve the Frank-Wolfe Method for Empirical Risk Minimization [1.4504054468850665]
  In Empirical Minimization -- Minimization -- We present a novel computer step-size approach to we have compute guarantees。 提案手法は実世界のバイナリデータセットに非常に重要な問題を示す。 また、計算の保証を得るための新しい適応的なステップサイズアプローチを提案する。
  論文  参考訳（メタデータ） (2022-08-30T00:08:37Z)
• STORM+: Fully Adaptive SGD with Momentum for Nonconvex Optimization [74.1615979057429]
  本研究では,スムーズな損失関数に対する期待値である非バッチ最適化問題について検討する。 我々の研究は、学習率と運動量パラメータを適応的に設定する新しいアプローチとともに、STORMアルゴリズムの上に構築されている。
  論文  参考訳（メタデータ） (2021-11-01T15:43:36Z)
• Zeroth and First Order Stochastic Frank-Wolfe Algorithms for Constrained Optimization [13.170519806372075]
  2組の制約を持つ凸最適化の問題は、半定値プログラミングの文脈で頻繁に発生する。 最初の制約セットへのプロジェクションは困難であるため、プロジェクションフリーなアルゴリズムを探索する必要がある。 提案アルゴリズムの有効性は, スパース行列推定, 半定緩和によるクラスタリング, および一様スペースカット問題の適用性について検証した。
  論文  参考訳（メタデータ） (2021-07-14T08:01:30Z)
• Scalable Projection-Free Optimization [7.170441928038049]
  プロジェクションフリーのアルゴリズムとして、FW(Frank-Wolfe)は機械学習コミュニティで注目されている。 まず、イテレーションごとに1つのサンプルのみを必要とするスケーラブルなプロジェクションフリー最適化方法を提案します。 次に、凸関数と非客観的関数の両方に対応する分散Frank-Wolfe(FW)フレームワークを開発します。
  論文  参考訳（メタデータ） (2021-05-07T22:27:18Z)
• Byzantine-Resilient Non-Convex Stochastic Gradient Descent [61.6382287971982]
  敵対的レジリエントな分散最適化。 機械は独立して勾配を計算し 協力することができます 私達のアルゴリズムは新しい集中の技術およびサンプル複雑性に基づいています。 それは非常に実用的です:それはないときすべての前の方法の性能を改善します。 セッティングマシンがあります。
  論文  参考訳（メタデータ） (2020-12-28T17:19:32Z)
• Single-Timescale Stochastic Nonconvex-Concave Optimization for Smooth Nonlinear TD Learning [145.54544979467872]
  本稿では,各ステップごとに1つのデータポイントしか必要としない2つの単一スケールシングルループアルゴリズムを提案する。 本研究の結果は, 同時一次および二重側収束の形で表される。
  論文  参考訳（メタデータ） (2020-08-23T20:36:49Z)
• Fast Objective & Duality Gap Convergence for Non-Convex Strongly-Concave Min-Max Problems with PL Condition [52.08417569774822]
  本稿では,深層学習(深層AUC)により注目度が高まっている,円滑な非凹部min-max問題の解法に焦点をあてる。
  論文  参考訳（メタデータ） (2020-06-12T00:32:21Z)
• Stochastic Frank-Wolfe for Constrained Finite-Sum Minimization [30.980431848476925]
  線形予測・構造を一般化した制約付き有限滑らかサム最小化アルゴリズムを提案する。 提案手法は実装が簡単で,ステップサイズチューニングを必要としない。 オープンソースパッケージで検討されたすべてのメソッドの実装を提供する。
  論文  参考訳（メタデータ） (2020-02-27T00:47:21Z)
• Self-Concordant Analysis of Frank-Wolfe Algorithms [3.3598755777055374]
  ポアソン逆問題 (Poisson inverse problem) や量子状態トモグラフィー (quantum state tomography) など、多くの応用において、損失は非有界曲率を持つ自己協和関数 (SC) によって与えられる。 SC関数の理論を用いて、FW法の新たな適応ステップサイズを提供し、k反復後の大域収束率 O(1/k) を証明する。
  論文  参考訳（メタデータ） (2020-02-11T11:30:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。