論文の概要: Safe Screening for the Generalized Conditional Gradient Method
- arxiv url: http://arxiv.org/abs/2002.09718v1
- Date: Sat, 22 Feb 2020 15:07:20 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-29 19:11:54.072469
- Title: Safe Screening for the Generalized Conditional Gradient Method
- Title（参考訳）: 一般化条件勾配法における安全スクリーニング
- Authors: Yifan Sun and Francis Bach
- Abstract要約: 一般化条件勾配法(gCGM)の空間性取得特性について検討する。
修正ペナルティのgCGMは,通常のペナルティと類似した特徴選択特性を有することを示す。
- 参考スコア（独自算出の注目度）: 2.806911268410107
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The conditional gradient method (CGM) has been widely used for fast sparse
approximation, having a low per iteration computational cost for structured
sparse regularizers. We explore the sparsity acquiring properties of a
generalized CGM (gCGM), where the constraint is replaced by a penalty function
based on a gauge penalty; this can be done without significantly increasing the
per-iteration computation, and applies to general notions of sparsity. Without
assuming bounded iterates, we show $O(1/t)$ convergence of the function values
and gap of gCGM. We couple this with a safe screening rule, and show that at a
rate $O(1/(t\delta^2))$, the screened support matches the support at the
solution, where $\delta \geq 0$ measures how close the problem is to being
degenerate. In our experiments, we show that the gCGM for these modified
penalties have similar feature selection properties as common penalties, but
with potentially more stability over the choice of hyperparameter.
- Abstract（参考訳）: 条件勾配法 (CGM) は高速スパース近似に広く用いられており、構造化スパース正規化器の繰り返し当たりの計算コストは低い。
本稿では,ゲージペナルティに基づくペナルティ関数に制約を置き換える一般化CGM(gCGM)のスパーシティ取得特性について検討する。
有界イテレートを仮定せずに、関数値とgCGMのギャップの$O(1/t)$収束を示す。
これを安全なスクリーニングルールと組み合わせると、$O(1/(t\delta^2))$で、スクリーニングされたサポートはソリューションでのサポートと一致し、$\delta \geq 0$は、問題の退化がどの程度近いかを測定する。
実験では,これらの修正ペナルティに対するgcgmは共通ペナルティと同様の特徴選択特性を持つが,ハイパーパラメータの選択よりも安定性が向上する可能性が示唆された。
関連論文リスト
- Convergence Rates for Stochastic Approximation: Biased Noise with Unbounded Variance, and Applications [2.0584253077707477]
目的関数 $J(cdot)$ の定常点を求めるグラディエント・Descent (SGD) 法の収束特性について検討した。
この結果は、すべての定常点が大域最小値である性質を持つ invex' 関数のクラスに適用できる。
論文 参考訳（メタデータ） (2023-12-05T15:22:39Z) - SignSVRG: fixing SignSGD via variance reduction [3.3504365823045044]
本稿では SignSGD に分散低減手法を組み込むための, 単純かつ実用的な方法を提案する。
滑らかな関数に対しては、勾配の期待ノルムに対して $mathcalO (1 / sqrtT)$ rate と、滑らかな凸関数の場合 $mathcalO (1/T)$ rate を与える。
論文 参考訳（メタデータ） (2023-05-22T16:14:53Z) - A Stochastic Proximal Method for Nonsmooth Regularized Finite Sum
Optimization [7.014966911550542]
スパースサブ構造を検索するために,非滑らかな正規化を伴うディープニューラルネットワークをトレーニングする問題を考察する。
我々は、収束と最悪のケースの複雑さが勾配のリプシッツ定数の知識や近似なしで確立されるSR2と呼ばれる新しい解法を導出する。
CIFAR-10とCIFAR-100で訓練されたネットワークインスタンスの実験により、SR2はProxGENやProxSGDのような関連する手法よりも常に高い空間性と精度を達成することが示された。
論文 参考訳（メタデータ） (2022-06-14T00:28:44Z) - Benign Underfitting of Stochastic Gradient Descent [72.38051710389732]
本研究では,適切な学習データを得ることで,一般化性能を実現する「従来型」学習ルールとして,勾配降下度(SGD)がどの程度理解されるかを検討する。
類似現象が起こらない近縁な交換SGDを解析し、その集団リスクが実際に最適な速度で収束することを証明する。
論文 参考訳（メタデータ） (2022-02-27T13:25:01Z) - Faster One-Sample Stochastic Conditional Gradient Method for Composite
Convex Minimization [61.26619639722804]
滑らかで非滑らかな項の和として形成される凸有限サム目標を最小化するための条件勾配法(CGM)を提案する。
提案手法は, 平均勾配 (SAG) 推定器を備え, 1回に1回のサンプルしか必要としないが, より高度な分散低減技術と同等の高速収束速度を保証できる。
論文 参考訳（メタデータ） (2022-02-26T19:10:48Z) - Screening for a Reweighted Penalized Conditional Gradient Method [20.62129327196916]
条件勾配法(CGM)は大規模なスパース凸最適化に広く用いられている。
一般化一般化器の疎性獲得特性の調整方法を示す。
本実験では,正則化器の凹凸を調整し,スクリーニング規則のアグレッシブ性を検証する。
論文 参考訳（メタデータ） (2021-07-02T14:37:37Z) - High-probability Bounds for Non-Convex Stochastic Optimization with
Heavy Tails [55.561406656549686]
我々は、勾配推定が末尾を持つ可能性のある一階アルゴリズムを用いたヒルベルト非最適化を考える。
本研究では, 勾配, 運動量, 正規化勾配勾配の収束を高確率臨界点に収束させることと, 円滑な損失に対する最もよく知られた繰り返しを示す。
論文 参考訳（メタデータ） (2021-06-28T00:17:01Z) - Private Stochastic Non-Convex Optimization: Adaptive Algorithms and
Tighter Generalization Bounds [72.63031036770425]
有界非次元最適化のための差分プライベート(DP)アルゴリズムを提案する。
標準勾配法に対する経験的優位性について,2つの一般的なディープラーニング手法を実証する。
論文 参考訳（メタデータ） (2020-06-24T06:01:24Z) - On the Almost Sure Convergence of Stochastic Gradient Descent in
Non-Convex Problems [75.58134963501094]
本稿では,勾配降下(SGD)の軌跡を解析する。
我々はSGDが厳格なステップサイズポリシーのために1ドルでサドルポイント/マニフォールドを避けることを示す。
論文 参考訳（メタデータ） (2020-06-19T14:11:26Z) - Provably Efficient Safe Exploration via Primal-Dual Policy Optimization [105.7510838453122]
制約付きマルコフ決定過程(CMDP)を用いた安全強化学習(SRL)問題について検討する。
本稿では,関数近似設定において,安全な探索を行うCMDPの効率の良いオンラインポリシー最適化アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-03-01T17:47:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。