論文の概要: Sharper Convergence Rates for Nonconvex Optimisation via Reduction Mappings
- arxiv url: http://arxiv.org/abs/2506.08428v1
- Date: Tue, 10 Jun 2025 04:03:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-11 15:11:41.456337
- Title: Sharper Convergence Rates for Nonconvex Optimisation via Reduction Mappings
- Title（参考訳）: 還元写像による非凸最適化のためのシャーパ収束率
- Authors: Evan Markou, Thalaiyasingam Ajanthan, Stephen Gould,
- Abstract要約: 目的の曲率特性をよく設計した縮小写像が向上し, より条件のよい問題や, 理論上は勾配に基づく手法の収束性が向上することを示した。
本分析は,最適化アルゴリズムで観測された経験的利得の原理的説明として,最適な構造情報を活用して収束を加速するシナリオを統一する。
- 参考スコア（独自算出の注目度）: 34.309687104447114
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Many high-dimensional optimisation problems exhibit rich geometric structures in their set of minimisers, often forming smooth manifolds due to over-parametrisation or symmetries. When this structure is known, at least locally, it can be exploited through reduction mappings that reparametrise part of the parameter space to lie on the solution manifold. These reductions naturally arise from inner optimisation problems and effectively remove redundant directions, yielding a lower-dimensional objective. In this work, we introduce a general framework to understand how such reductions influence the optimisation landscape. We show that well-designed reduction mappings improve curvature properties of the objective, leading to better-conditioned problems and theoretically faster convergence for gradient-based methods. Our analysis unifies a range of scenarios where structural information at optimality is leveraged to accelerate convergence, offering a principled explanation for the empirical gains observed in such optimisation algorithms.
- Abstract（参考訳）: 多くの高次元最適化問題はミニミザーの集合にリッチな幾何学的構造を示し、しばしば過度なパラメータや対称性によって滑らかな多様体を形成する。
この構造が少なくとも局所的に知られているとき、解多様体上のパラメータ空間の部分を再パラメータ化する還元写像によって利用することができる。
これらの減少は、内部最適化問題から自然に生じ、冗長な方向を効果的に除去し、低次元の目的をもたらす。
本稿では,このような削減が最適化景観にどのように影響するかを理解するための一般的な枠組みを紹介する。
目的の曲率特性をよく設計した還元写像が向上し, より条件のよい問題や, 理論上は勾配に基づく手法の収束性が向上することを示す。
本分析は,最適化アルゴリズムで観測された経験的利得の原理的説明として,最適な構造情報を活用して収束を加速するシナリオを統一する。
関連論文リスト
- Riemannian Optimization on the Oblique Manifold for Sparse Simplex Constraints via Multiplicative Updates [0.0]
スパース単純性制約による低ランク最適化問題は、非負性、疎性、一対一条件を満たさなければならない変数を含む。
本稿では,これらの問題に効率的に対処するための新しい多様体最適化手法を提案する。
論文 参考訳（メタデータ） (2025-03-31T13:31:05Z) - Elucidating Subspace Perturbation in Zeroth-Order Optimization: Theory and Practice at Scale [33.38543010618118]
Zeroth-order (ZO) 最適化は、勾配ベースのバックプロパゲーション法に代わる有望な代替手段として登場した。
高次元性が主要なボトルネックであることを示し、サブスペースの摂動が勾配ノイズを減らし収束を加速させる方法について説明するために、テキストサブスペースアライメントの概念を導入する。
本稿では,ブロック座標降下法(MeZO-BCD)を用いた効率的なZO法を提案し,各ステップでパラメータのサブセットのみを摂動・更新する。
論文 参考訳（メタデータ） (2025-01-31T12:46:04Z) - Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。
最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
論文 参考訳（メタデータ） (2023-10-20T12:45:12Z) - Prescriptive PCA: Dimensionality Reduction for Two-stage Stochastic
Optimization [1.1612308609123565]
最適化フェーズにおける準最適度を最小化することを目的とした,規範的次元削減フレームワークを開発した。
下流最適化問題に期待値の目的がある場合、分散ロバスト最適化問題を解くことにより、規範的次元削減が可能であることを示す。
提案手法は, 実データおよび合成データを用いて主成分分析を著しく上回っている。
論文 参考訳（メタデータ） (2023-06-04T00:50:35Z) - Linearization Algorithms for Fully Composite Optimization [61.20539085730636]
本稿では,完全合成最適化問題を凸コンパクト集合で解くための一階アルゴリズムについて検討する。
微分可能および非微分可能を別々に扱い、滑らかな部分のみを線形化することで目的の構造を利用する。
論文 参考訳（メタデータ） (2023-02-24T18:41:48Z) - Optimization on manifolds: A symplectic approach [127.54402681305629]
本稿では、最適化問題を解くための一般的な枠組みとして、ディラックの制約付きハミルトン系理論の散逸拡張を提案する。
我々の(加速された)アルゴリズムのクラスは単純で効率的なだけでなく、幅広い文脈にも適用できる。
論文 参考訳（メタデータ） (2021-07-23T13:43:34Z) - Unified Convergence Analysis for Adaptive Optimization with Moving Average Estimator [75.05106948314956]
1次モーメントに対する大きな運動量パラメータの増大は適応的スケーリングに十分であることを示す。
また,段階的に減少するステップサイズに応じて,段階的に運動量を増加させるための洞察を与える。
論文 参考訳（メタデータ） (2021-04-30T08:50:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。