論文の概要: FastPart: Over-Parameterized Stochastic Gradient Descent for Sparse
optimisation on Measures
- arxiv url: http://arxiv.org/abs/2312.05993v1
- Date: Sun, 10 Dec 2023 20:41:43 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-12 17:25:28.916879
- Title: FastPart: Over-Parameterized Stochastic Gradient Descent for Sparse
optimisation on Measures
- Title（参考訳）: Fast Part: スパース最適化のための過パラメータ確率勾配勾配
- Authors: Yohann De Castro, S\'ebastien Gadat, Cl\'ement Marteau
- Abstract要約: 本稿では,コニックパーティクルグラディエントDescent(CPGD)のスケーラビリティを高めるために,ランダム特徴と協調してグラディエントDescent戦略を利用する新しいアルゴリズムを提案する。
i) 降下軌道に沿った解の総変動規範は、安定を保ち、望ましくないばらつきを防止し、 (ii) 収率$mathcalO(log(K)/sqrtK)$$$K以上の大域収束保証を確立し、アルゴリズムの効率と有効性を示す; (iii) さらに、分析と確立を行う。
- 参考スコア（独自算出の注目度）: 1.9950682531209156
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: This paper presents a novel algorithm that leverages Stochastic Gradient
Descent strategies in conjunction with Random Features to augment the
scalability of Conic Particle Gradient Descent (CPGD) specifically tailored for
solving sparse optimisation problems on measures. By formulating the CPGD steps
within a variational framework, we provide rigorous mathematical proofs
demonstrating the following key findings: (i) The total variation norms of the
solution measures along the descent trajectory remain bounded, ensuring
stability and preventing undesirable divergence; (ii) We establish a global
convergence guarantee with a convergence rate of
$\mathcal{O}(\log(K)/\sqrt{K})$ over $K$ iterations, showcasing the efficiency
and effectiveness of our algorithm; (iii) Additionally, we analyze and
establish local control over the first-order condition discrepancy,
contributing to a deeper understanding of the algorithm's behavior and
reliability in practical applications.
- Abstract（参考訳）: 本稿では,確率的勾配降下戦略とランダムな特徴を併用して,測度の偏最適化問題を解くために特別に調整されたcpgdのスケーラビリティを向上させる新しいアルゴリズムを提案する。
変分フレームワーク内でCPGDステップを定式化することにより、以下の重要な結果を示す厳密な数学的証明を提供する。
一 降下軌道に沿った解測度の総変動ノルムが有界であり、安定を確保し、望ましくない発散を防止すること。
(ii)$\mathcal{O}(\log(K)/\sqrt{K})$ over $K$ の収束率で大域収束保証を確立し、アルゴリズムの有効性と有効性を示す。
(iii)さらに,一階条件の不一致に対する局所制御を解析・確立し,実用的応用におけるアルゴリズムの挙動と信頼性の理解を深めた。
関連論文リスト
- Trust-Region Sequential Quadratic Programming for Stochastic Optimization with Random Models [57.52124921268249]
本稿では,1次と2次の両方の定常点を見つけるための信頼逐次準計画法を提案する。
本手法は, 1次定常点に収束するため, 対象対象の近似を最小化して定義された各イテレーションの勾配ステップを計算する。
2階定常点に収束するため,本手法は負曲率を減少するヘッセン行列を探索する固有ステップも計算する。
論文 参考訳（メタデータ） (2024-09-24T04:39:47Z) - A Unified Theory of Stochastic Proximal Point Methods without Smoothness [52.30944052987393]
近点法はその数値的安定性と不完全なチューニングに対する頑健性からかなりの関心を集めている。
本稿では,近位点法(SPPM)の幅広いバリエーションの包括的解析について述べる。
論文 参考訳（メタデータ） (2024-05-24T21:09:19Z) - An Accelerated Block Proximal Framework with Adaptive Momentum for
Nonconvex and Nonsmooth Optimization [2.323238724742687]
非平滑および非平滑最適化のための適応モーメント(ABPL$+$)を有する加速ブロック近位線形フレームワークを提案する。
いくつかのアルゴリズムでは外挿ステップの潜在的な原因を解析し、比較プロセスの強化によってこの問題を解消する。
我々はアルゴリズムを勾配ステップと線形補間ステップの更新を含む任意のシナリオに拡張する。
論文 参考訳（メタデータ） (2023-08-23T13:32:31Z) - Fully Stochastic Trust-Region Sequential Quadratic Programming for
Equality-Constrained Optimization Problems [62.83783246648714]
目的と決定論的等式制約による非線形最適化問題を解くために,逐次2次プログラミングアルゴリズム(TR-StoSQP)を提案する。
アルゴリズムは信頼領域半径を適応的に選択し、既存の直線探索StoSQP方式と比較して不確定なヘッセン行列を利用することができる。
論文 参考訳（メタデータ） (2022-11-29T05:52:17Z) - Stochastic Mirror Descent for Large-Scale Sparse Recovery [13.500750042707407]
本稿では,2次近似の高次元スパースパラメータの統計的推定への応用について論じる。
提案アルゴリズムは, 回帰器分布の弱い仮定の下で, 推定誤差の最適収束を実現する。
論文 参考訳（メタデータ） (2022-10-23T23:23:23Z) - Utilising the CLT Structure in Stochastic Gradient based Sampling :
Improved Analysis and Faster Algorithms [14.174806471635403]
粒子ダイナミック(IPD)に対するグラディエント・ランゲヴィン・ダイナミクス(SGLD)やランダムバッチ法(RBM)などのサンプリングアルゴリズムの近似を考察する。
近似によって生じる雑音は中央極限定理(CLT)によりほぼガウス的であるが、ブラウン運動はまさにガウス的である。
この構造を利用して拡散過程内の近似誤差を吸収し、これらのアルゴリズムの収束保証を改善する。
論文 参考訳（メタデータ） (2022-06-08T10:17:40Z) - A Semismooth Newton Stochastic Proximal Point Algorithm with Variance Reduction [2.048226951354646]
弱凸, 複合最適化問題に対する実装可能な近位点(SPP)法を開発した。
提案アルゴリズムは分散低減機構を組み込んでおり、その結果の更新は不正確なセミスムース・ニュートン・フレームワークを用いて解決される。
論文 参考訳（メタデータ） (2022-04-01T13:08:49Z) - Breaking the Convergence Barrier: Optimization via Fixed-Time Convergent
Flows [4.817429789586127]
本稿では, 固定時間安定力学系の概念に基づいて, 加速を実現するための多言語最適化フレームワークを提案する。
提案手法の高速化された収束特性を,最先端の最適化アルゴリズムに対して様々な数値例で検証する。
論文 参考訳（メタデータ） (2021-12-02T16:04:40Z) - Momentum Accelerates the Convergence of Stochastic AUPRC Maximization [80.8226518642952]
高精度リコール曲線(AUPRC)に基づく領域の最適化について検討し,不均衡なタスクに広く利用されている。
我々は、$O (1/epsilon4)$のより優れた反復による、$epsilon$定常解を見つけるための新しい運動量法を開発する。
また,O(1/epsilon4)$と同じ複雑さを持つ適応手法の新たなファミリを設計し,実際により高速な収束を享受する。
論文 参考訳（メタデータ） (2021-07-02T16:21:52Z) - Stochastic Gradient Descent-Ascent and Consensus Optimization for Smooth
Games: Convergence Analysis under Expected Co-coercivity [49.66890309455787]
本稿では,SGDA と SCO の最終的な収束保証として,期待されるコヒーレンシティ条件を導入し,その利点を説明する。
定常的なステップサイズを用いた場合、両手法の線形収束性を解の近傍に証明する。
我々の収束保証は任意のサンプリングパラダイムの下で保たれ、ミニバッチの複雑さに関する洞察を与える。
論文 参考訳（メタデータ） (2021-06-30T18:32:46Z) - On the Convergence of Stochastic Extragradient for Bilinear Games with
Restarted Iteration Averaging [96.13485146617322]
本稿では, ステップサイズが一定であるSEG法の解析を行い, 良好な収束をもたらす手法のバリエーションを示す。
平均化で拡張した場合、SEGはナッシュ平衡に確実に収束し、スケジュールされた再起動手順を組み込むことで、その速度が確実に加速されることを証明した。
論文 参考訳（メタデータ） (2021-06-30T17:51:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。