論文の概要: Scalable Frank-Wolfe on Generalized Self-concordant Functions via Simple Steps
- arxiv url: http://arxiv.org/abs/2105.13913v8
- Date: Mon, 8 Apr 2024 07:30:41 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-10 21:05:06.836770
- Title: Scalable Frank-Wolfe on Generalized Self-concordant Functions via Simple Steps
- Title（参考訳）: 単純ステップによる一般化自己協和関数のスケーラブルFrank-Wolfe
- Authors: Alejandro Carderera, Mathieu Besançon, Sebastian Pokutta,
- Abstract要約: 一般化自己一致は、多くの学習問題の目的関数に存在する重要な特性である。
検討対象の領域が一様凸あるいは多面体である場合など,様々な症例に対する収束率の改善を示す。
- 参考スコア（独自算出の注目度）: 66.88729048402082
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Generalized self-concordance is a key property present in the objective function of many important learning problems. We establish the convergence rate of a simple Frank-Wolfe variant that uses the open-loop step size strategy $\gamma_t = 2/(t+2)$, obtaining a $\mathcal{O}(1/t)$ convergence rate for this class of functions in terms of primal gap and Frank-Wolfe gap, where $t$ is the iteration count. This avoids the use of second-order information or the need to estimate local smoothness parameters of previous work. We also show improved convergence rates for various common cases, e.g., when the feasible region under consideration is uniformly convex or polyhedral.
- Abstract（参考訳）: 一般化自己一致は、多くの重要な学習問題の目的関数に存在する重要な特性である。
オープンループのステップサイズ戦略である $\gamma_t = 2/(t+2)$ を用いて、原始ギャップとフランク=ウルフギャップの観点から、このクラスの函数に対して $\mathcal{O}(1/t)$ 収束率を求める。
これにより、二階情報の使用や、前の作業の局所的滑らか度パラメータを見積もる必要がない。
また,検討対象領域が一様凸あるいは多面体である場合に,様々な症例に対する収束率の改善を示す。
関連論文リスト
- Nonsmooth Nonparametric Regression via Fractional Laplacian Eigenmaps [15.738019181349992]
真の回帰関数が必ずしも滑らかでない場合に、非パラメトリック回帰法を開発する。
より具体的には、我々のアプローチは分数ラプラシアンを使い、真の回帰関数が次数$sin (0,1)$のソボレフ空間にある場合を扱うように設計されている。
論文 参考訳（メタデータ） (2024-02-22T21:47:29Z) - Extra-Newton: A First Approach to Noise-Adaptive Accelerated
Second-Order Methods [57.050204432302195]
本研究では,2次スムーズな凸関数を最小化するための普遍的かつ適応的な2次法を提案する。
我々のアルゴリズムは、オラクルフィードバックが分散$sigma2$であるときに$O(sigma / sqrtT)$収束を達成し、決定論的オラクルで$O(1 / T3)$に収束を改善する。
論文 参考訳（メタデータ） (2022-11-03T14:12:51Z) - A Multistep Frank-Wolfe Method [2.806911268410107]
フランク=ウルフ法におけるジグザグ現象を離散化の成果物として検討した。
多重ステップのフランク・ウルフ変種は、トラニケート誤差が$O(Deltap)$として崩壊し、$p$はメソッドの順序である。
論文 参考訳（メタデータ） (2022-10-14T21:12:01Z) - Using Taylor-Approximated Gradients to Improve the Frank-Wolfe Method
for Empirical Risk Minimization [1.4504054468850665]
In Empirical Minimization -- Minimization -- We present a novel computer step-size approach to we have compute guarantees。
提案手法は実世界のバイナリデータセットに非常に重要な問題を示す。
また、計算の保証を得るための新しい適応的なステップサイズアプローチを提案する。
論文 参考訳（メタデータ） (2022-08-30T00:08:37Z) - Fast Stochastic Composite Minimization and an Accelerated Frank-Wolfe
Algorithm under Parallelization [9.166498349629157]
2つの凸関数の和を最小化する問題を考える。
1つはリプシッツ連続勾配を持ち、オークルを介してアクセスでき、もう1つは「単純」である。
我々は、$tildeO (1/ sqrtepsilon)$ iterationsで$epsilon$prialdual gap(期待して)を達成することができることを示す。
論文 参考訳（メタデータ） (2022-05-25T13:01:09Z) - A first-order primal-dual method with adaptivity to local smoothness [64.62056765216386]
凸凹対象 $min_x max_y f(x) + langle Ax, yrangle - g*(y)$, ここで、$f$ は局所リプシッツ勾配を持つ凸関数であり、$g$ は凸かつ非滑らかである。
主勾配ステップと2段ステップを交互に交互に行うCondat-Vuアルゴリズムの適応バージョンを提案する。
論文 参考訳（メタデータ） (2021-10-28T14:19:30Z) - A Newton Frank-Wolfe Method for Constrained Self-Concordant Minimization [60.90222082871258]
本稿では,制約集合上の線形最小化オラクル(LMO)を用いて,制約付き自己調和最小化問題のクラスをカラフルに解く方法を示す。
L-smoothの場合、我々の手法のLMO呼び出し数はFrank-Wolfe法とほぼ同じであることを示す。
論文 参考訳（メタデータ） (2020-02-17T15:28:31Z) - Complexity of Finding Stationary Points of Nonsmooth Nonconvex Functions [84.49087114959872]
非滑らかで非滑らかな関数の定常点を見つけるための最初の非漸近解析を提供する。
特に、アダマール半微分可能函数(おそらく非滑らか関数の最大のクラス)について研究する。
論文 参考訳（メタデータ） (2020-02-10T23:23:04Z) - Global Convergence of Frank Wolfe on One Hidden Layer Networks [121.96696298666014]
隠れた1つのニューラルネットワークをトレーニングする際、Frank Wolfeアルゴリズムに対してグローバル収束境界を導出する。
ReLUアクティベーション関数を用い、サンプルデータセット上のトラクタブルプレコンディショニング仮定の下では、解をインクリメンタルに形成する線形最小化オラクルを第2次コーンプログラムとして明示的に解くことができる。
論文 参考訳（メタデータ） (2020-02-06T11:58:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。