論文の概要: Faster Rates for the Frank-Wolfe Algorithm Using Jacobi Polynomials

• arxiv url: http://arxiv.org/abs/2110.09738v1
• Date: Tue, 19 Oct 2021 05:11:23 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-20 15:11:29.672127
• Title: Faster Rates for the Frank-Wolfe Algorithm Using Jacobi Polynomials
• Title（参考訳）: ヤコビ多項式を用いたFrank-Wolfeアルゴリズムの高速化
• Authors: Robin Francis and Sundeep Prabhakar Chepuri
• Abstract要約: フランク・ウルフアルゴリズム(FW)は、大規模制約付き最適化問題の解法として人気がある。 FW はコンパクト凸集合上の滑らかな凸関数を最小化する際に、線型収束率に悩まされる。
• 参考スコア（独自算出の注目度）: 14.112444998191698
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Frank Wolfe algorithm (FW) is a popular projection-free alternative for solving large-scale constrained optimization problems. However, the FW algorithm suffers from a sublinear convergence rate when minimizing a smooth convex function over a compact convex set. Thus, exploring techniques that yield a faster convergence rate becomes crucial. A classic approach to obtain faster rates is to combine previous iterates to obtain the next iterate. In this work, we extend this approach to the FW setting and show that the optimal way to combine the past iterates is using a set of orthogonal Jacobi polynomials. We also a polynomial-based acceleration technique, referred to as Jacobi polynomial accelerated FW, which combines the current iterate with the past iterate using combing weights related to the Jacobi recursion. By carefully choosing parameters of the Jacobi polynomials, we obtain a faster sublinear convergence rate. We provide numerical experiments on real datasets to demonstrate the efficacy of the proposed algorithm.
• Abstract（参考訳）: フランク・ウルフアルゴリズム(FW)は、大規模制約付き最適化問題の解法として人気がある。 しかし、FWアルゴリズムはコンパクト凸集合上の滑らかな凸関数を最小化する際に、サブ線形収束率に悩まされる。 したがって、より高速な収束率をもたらす手法の探索が不可欠となる。 より速いレートを得る古典的なアプローチは、前のイテレートを結合して次のイテレートを得ることである。 本研究では,この手法を fw に拡張し,過去のイテレートを結合する最適な方法は直交ヤコビ多項式の組を用いることであることを示す。 我々はまた,ジャコビ多項式加速FWと呼ばれる多項式ベースの加速手法も導入し,ジャコビ再帰に関する重みを和らげることで,電流イテレートと過去のイテレートを結合する。 ヤコビ多項式のパラメータを慎重に選択することで、より高速な部分線形収束率が得られる。 提案アルゴリズムの有効性を示すために,実データを用いた数値実験を行った。

関連論文リスト

• Closing the Computational-Query Depth Gap in Parallel Stochastic Convex Optimization [26.36906884097317]
  我々は,リプシッツ,凸関数を次数次オラクルで最小化するための新しい並列アルゴリズムを開発した。 その結果,最もよく知られた問合せ深度と並列アルゴリズムの最もよく知られた計算深度とのギャップを埋めることができた。
  論文  参考訳（メタデータ） (2024-06-11T15:41:48Z)
• An Efficient Algorithm for Clustered Multi-Task Compressive Sensing [60.70532293880842]
  クラスタ化マルチタスク圧縮センシングは、複数の圧縮センシングタスクを解決する階層モデルである。 このモデルに対する既存の推論アルゴリズムは計算コストが高く、高次元ではうまくスケールしない。 本稿では,これらの共分散行列を明示的に計算する必要をなくし,モデル推論を大幅に高速化するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-09-30T15:57:14Z)
• Accelerating Cutting-Plane Algorithms via Reinforcement Learning Surrogates [49.84541884653309]
  凸離散最適化問題に対する現在の標準的なアプローチは、カットプレーンアルゴリズムを使うことである。 多くの汎用カット生成アルゴリズムが存在するにもかかわらず、大規模な離散最適化問題は、難易度に悩まされ続けている。 そこで本研究では,強化学習による切削平面アルゴリズムの高速化手法を提案する。
  論文  参考訳（メタデータ） (2023-07-17T20:11:56Z)
• Ordering for Non-Replacement SGD [7.11967773739707]
  我々は,アルゴリズムの非置換形式に対する収束率を改善する順序付けを求める。 我々は,強い凸関数と凸関数のステップサイズを一定かつ小さくするための最適順序付けを開発する。 さらに、注文とミニバッチを組み合わせることで、より複雑なニューラルネットワークにも適用できます。
  論文  参考訳（メタデータ） (2023-06-28T00:46:58Z)
• Sarah Frank-Wolfe: Methods for Constrained Optimization with Best Rates and Practical Features [79.39965431772626]
  Frank-Wolfe (FW) 法は、構造化制約による最適化問題の解法として一般的な手法である。 有限サム勾配の最小化のためのアルゴリズムの2つの新しい変種を示す。
  論文  参考訳（メタデータ） (2023-04-23T20:05:09Z)
• Linearization Algorithms for Fully Composite Optimization [61.20539085730636]
  本稿では,完全合成最適化問題を凸コンパクト集合で解くための一階アルゴリズムについて検討する。 微分可能および非微分可能を別々に扱い、滑らかな部分のみを線形化することで目的の構造を利用する。
  論文  参考訳（メタデータ） (2023-02-24T18:41:48Z)
• Accelerated First-Order Optimization under Nonlinear Constraints [73.2273449996098]
  我々は、制約付き最適化のための一階アルゴリズムと非滑らかなシステムの間で、新しい一階アルゴリズムのクラスを設計する。 これらのアルゴリズムの重要な性質は、制約がスパース変数の代わりに速度で表されることである。
  論文  参考訳（メタデータ） (2023-02-01T08:50:48Z)
• The Curse of Unrolling: Rate of Differentiating Through Optimization [35.327233435055305]
  未分化は反復解法を用いて解を近似し、計算経路を通して解を微分する。 我々は,(1)高速収束につながる大きな学習率を選択することができるが,アルゴリズムが任意に長いバーンインフェーズを持つことを受け入れるか,あるいは(2)即時収束につながるより少ない学習率を選択するかのどちらかを示す。
  論文  参考訳（メタデータ） (2022-09-27T09:27:29Z)
• SHINE: SHaring the INverse Estimate from the forward pass for bi-level optimization and implicit models [15.541264326378366]
  近年,深層ニューラルネットワークの深度を高める手法として暗黙の深度学習が登場している。 トレーニングは双レベル問題として実行され、その計算複雑性は巨大なヤコビ行列の反復反転によって部分的に駆動される。 本稿では,この計算ボトルネックに対処する新たな手法を提案する。
  論文  参考訳（メタデータ） (2021-06-01T15:07:34Z)
• Combinatorial Black-Box Optimization with Expert Advice [28.45580493454314]
  ハイパーキューブ上でのブラックボックス関数最適化の問題点を考察する。 本稿では,マルチリニアと指数重み更新に基づく計算効率のよいモデル学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-06T20:26:19Z)
• Optimal Randomized First-Order Methods for Least-Squares Problems [56.05635751529922]
  このアルゴリズムのクラスは、最小二乗問題に対する最も高速な解法のうち、いくつかのランダム化手法を含んでいる。 我々は2つの古典的埋め込み、すなわちガウス射影とアダマール変換のサブサンプリングに焦点を当てる。 得られたアルゴリズムは条件数に依存しない最小二乗問題の解法として最も複雑である。
  論文  参考訳（メタデータ） (2020-02-21T17:45:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。