論文の概要: Preconditioned subgradient method for composite optimization: overparameterization and fast convergence

• arxiv url: http://arxiv.org/abs/2509.11486v2
• Date: Thu, 02 Oct 2025 22:58:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-06 16:35:51.977674
• Title: Preconditioned subgradient method for composite optimization: overparameterization and fast convergence
• Title（参考訳）: 複合最適化のための予備条件下段階法:過パラメータ化と高速収束
• Authors: Mateo Díaz, Liwei Jiang, Abdel Ghani Labassi,
• Abstract要約: 複合最適化問題は凸関数を持つ滑らかな写像の構成を最小化することを含む。 次進法は、複合損失が十分に条件付けられたときに局所的な線形収束を達成する。 軽度規則性条件下で線形に収束するレバンス・モリソン・マルクアート劣次法を導入する。
• 参考スコア（独自算出の注目度）: 16.437253140200788
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Composite optimization problems involve minimizing the composition of a smooth map with a convex function. Such objectives arise in numerous data science and signal processing applications, including phase retrieval, blind deconvolution, and collaborative filtering. The subgradient method achieves local linear convergence when the composite loss is well-conditioned. However, if the smooth map is, in a certain sense, ill-conditioned or overparameterized, the subgradient method exhibits much slower sublinear convergence even when the convex function is well-conditioned. To overcome this limitation, we introduce a Levenberg-Morrison-Marquardt subgradient method that converges linearly under mild regularity conditions at a rate determined solely by the convex function. Further, we demonstrate that these regularity conditions hold for several problems of practical interest, including square-variable formulations, matrix sensing, and tensor factorization. Numerical experiments illustrate the benefits of our method.
• Abstract（参考訳）: 複合最適化問題は凸関数を持つ滑らかな写像の構成を最小化することを含む。 このような目的は、位相検索、ブラインドデコンボリューション、協調フィルタリングなど、多くのデータサイエンスおよび信号処理アプリケーションで実現されている。 次進法は、複合損失が十分に条件付けられたときに局所的な線形収束を達成する。 しかし、滑らかな写像が、ある意味で不条件あるいは過パラメータ化であるなら、下次法は凸関数が十分に条件付きである場合でも、はるかに遅い部分線型収束を示す。 この制限を克服するために、凸関数のみによって決定される速度で、穏やかな正則性条件下で線形に収束するレバンス・モリソン・マルカルト次法を導入する。 さらに、これらの規則性条件は、二乗変数の定式化、行列センシング、テンソル因子化など、実用的関心のいくつかの問題に当てはまることを示した。 数値実験は,本手法の利点を実証するものである。

関連論文リスト

• Revisiting Convergence: Shuffling Complexity Beyond Lipschitz Smoothness [50.78508362183774]
  シャッフル型勾配法はその単純さと迅速な経験的性能のために実践的に好まれる。 リプシッツ条件は一般的な機械学習スキームでは満たされないことが多い。
  論文  参考訳（メタデータ） (2025-07-11T15:36:48Z)
• Over-the-Air Computation Aided Federated Learning with the Aggregation of Normalized Gradient [12.692064367193934]
  オーバー・ザ・エア(Over-the-air)は、フェデレートラーニング(FL)のための通信効率のよい解である。 このようなシステムでは、プライベート損失関数の反復手順を更新し、すべてのモバイルデバイスで送信する。 この問題を回避するため,局所勾配を正規化して増幅する手法を提案する。
  論文  参考訳（メタデータ） (2023-08-17T16:15:47Z)
• Convex and Non-convex Optimization Under Generalized Smoothness [69.69521650503431]
  凸法と非最適化法の分析は、しばしばリプシッツ勾配を必要とし、この軌道による解析を制限する。 最近の研究は、非一様滑らか性条件を通した勾配設定を一般化している。
  論文  参考訳（メタデータ） (2023-06-02T04:21:59Z)
• Linearization Algorithms for Fully Composite Optimization [61.20539085730636]
  本稿では,完全合成最適化問題を凸コンパクト集合で解くための一階アルゴリズムについて検討する。 微分可能および非微分可能を別々に扱い、滑らかな部分のみを線形化することで目的の構造を利用する。
  論文  参考訳（メタデータ） (2023-02-24T18:41:48Z)
• Stochastic Gradient Methods with Preconditioned Updates [47.23741709751474]
  このような問題に対するアルゴリズムはいくつかあるが、既存の手法は、スケールが悪く、あるいは条件が悪ければ、しばしばうまく機能しない。 ここではハッチンソンの対角ヘッセン近似のアプローチに基づく前提条件を含む。 我々は滑らかさとPL条件が仮定されるときの収束性を証明する。
  論文  参考訳（メタデータ） (2022-06-01T07:38:08Z)
• On Asymptotic Linear Convergence of Projected Gradient Descent for Constrained Least Squares [22.851500417035947]
  この写本は、制約最小二乗の文脈における射影勾配降下の解析のための統一的な枠組みを提示する。 本稿では,PGDの収束解析のレシピを提示し,このレシピを4つの基本的な問題に応用して実証する。
  論文  参考訳（メタデータ） (2021-12-22T09:49:51Z)
• Constrained and Composite Optimization via Adaptive Sampling Methods [3.4219044933964944]
  本論文の動機は,制約付き最適化問題を解くための適応サンプリング手法を開発することにある。 本論文で提案する手法は、f が凸(必ずしも微分可能ではない)である合成最適化問題 min f(x) + h(x) にも適用できる近位勾配法である。
  論文  参考訳（メタデータ） (2020-12-31T02:50:39Z)
• Random extrapolation for primal-dual coordinate descent [61.55967255151027]
  本稿では,データ行列の疎度と目的関数の好適な構造に適応する,ランダムに外挿した原始-双対座標降下法を提案する。 一般凸凹の場合, 主対差と目的値に対するシーケンスのほぼ確実に収束と最適サブ線形収束率を示す。
  論文  参考訳（メタデータ） (2020-07-13T17:39:35Z)
• Conditional gradient methods for stochastically constrained convex minimization [54.53786593679331]
  構造凸最適化問題に対する条件勾配に基づく2つの新しい解法を提案する。 私たちのフレームワークの最も重要な特徴は、各イテレーションで制約のサブセットだけが処理されることです。 提案アルゴリズムは, 条件勾配のステップとともに, 分散の低減と平滑化に頼り, 厳密な収束保証を伴っている。
  論文  参考訳（メタデータ） (2020-07-07T21:26:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。