論文の概要: Sparse Polyak: an adaptive step size rule for high-dimensional M-estimation

• arxiv url: http://arxiv.org/abs/2509.09802v1
• Date: Thu, 11 Sep 2025 19:13:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-15 16:03:07.901198
• Title: Sparse Polyak: an adaptive step size rule for high-dimensional M-estimation
• Title（参考訳）: Sparse Polyak:高次元M推定のための適応的なステップサイズルール
• Authors: Tianqi Qiao, Marie Maros,
• Abstract要約: 我々は,高次元統計的推定問題を解くために,ポリアックの適応ステップサイズの変種であるスパース・ポリアックを提案し,研究する。 高次元では、リプシッツの滑らか度定数を推定することはもはや効果的ではない。 Sparse Polyakは、制限されたリプシッツの滑らか度定数を推定するためにステップサイズを変更することでこの問題を克服する。
• 参考スコア（独自算出の注目度）: 4.297070083645049
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose and study Sparse Polyak, a variant of Polyak's adaptive step size, designed to solve high-dimensional statistical estimation problems where the problem dimension is allowed to grow much faster than the sample size. In such settings, the standard Polyak step size performs poorly, requiring an increasing number of iterations to achieve optimal statistical precision-even when, the problem remains well conditioned and/or the achievable precision itself does not degrade with problem size. We trace this limitation to a mismatch in how smoothness is measured: in high dimensions, it is no longer effective to estimate the Lipschitz smoothness constant. Instead, it is more appropriate to estimate the smoothness restricted to specific directions relevant to the problem (restricted Lipschitz smoothness constant). Sparse Polyak overcomes this issue by modifying the step size to estimate the restricted Lipschitz smoothness constant. We support our approach with both theoretical analysis and numerical experiments, demonstrating its improved performance.
• Abstract（参考訳）: 本稿では,Polyakの適応ステップサイズの変種であるSparse Polyakを,問題次元が標本サイズよりもはるかに高速に成長できるような高次元統計的推定問題の解法として提案する。 このような設定では、標準的なPolyakのステップサイズは性能が悪く、最適な統計的精度を達成するためにイテレーション数が増加する必要がある。 高い次元では、リプシッツの滑らかさ定数を見積もるのはもはや効果的ではない。 代わりに、問題に関連する特定の方向(制限されたリプシッツ滑らか度定数)に制限された滑らかさを推定することはより適切である。 Sparse Polyakは、制限されたリプシッツの滑らか度定数を推定するためにステップサイズを変更することでこの問題を克服する。 提案手法は理論的解析と数値実験の両方で支援し,その性能向上を実証する。

関連論文リスト

• Multivariate root-n-consistent smoothing parameter free matching estimators and estimators of inverse density weighted expectations [51.000851088730684]
  我々は、パラメトリックな$sqrt n $-rateで収束する、最も近い隣人の新しい修正とマッチング推定器を開発する。 我々は,非パラメトリック関数推定器は含まないこと,特に標本サイズ依存パラメータの平滑化には依存していないことを強調する。
  論文  参考訳（メタデータ） (2024-07-11T13:28:34Z)
• On the design-dependent suboptimality of the Lasso [27.970033039287884]
  最小特異値が小さい場合、ラッソ推定器は、確実に最小値であることを示す。 我々の下限は、ラッソの全ての形態のまばらな統計的最適性を妨げるのに十分強い。
  論文  参考訳（メタデータ） (2024-02-01T07:01:54Z)
• Cutting Some Slack for SGD with Adaptive Polyak Stepsizes [35.024680868164445]
  SPS (Stochastic gradient with a Polyak Stepsize) 適応法について考察する。 まず、SPSとその最近の変種は、すべて非線形問題に適用されたパッシブ・攻撃的手法の拡張と見なせることを示す。 我々はこの知見を用いて非線形モデルに適した新しいSPS法を開発した。
  論文  参考訳（メタデータ） (2022-02-24T19:31:03Z)
• Adaptivity and Non-stationarity: Problem-dependent Dynamic Regret for Online Convex Optimization [70.4342220499858]
  本稿では,スムーズさを生かし,問題依存量による動的後悔のT$への依存を補う新しいオンラインアルゴリズムを提案する。 この結果が本質的な難易度に適応しているのは, 既往の結果よりも厳密であり, 最悪の場合, 同一レートの保護が可能であるからである。
  論文  参考訳（メタデータ） (2021-12-29T02:42:59Z)
• Last Iterate Risk Bounds of SGD with Decaying Stepsize for Overparameterized Linear Regression [122.70478935214128]
  勾配降下(SGD)は、多くのディープラーニングアプリケーションでよく一般化されている。 本稿では, 崩壊段階のSGDの最終反復リスク境界に関する問題依存解析を行う。
  論文  参考訳（メタデータ） (2021-10-12T17:49:54Z)
• Balancing Rates and Variance via Adaptive Batch-Size for Stochastic Optimization Problems [120.21685755278509]
  本研究は,ステップサイズの減衰が正確な収束に必要であるという事実と,一定のステップサイズがエラーまでの時間でより速く学習するという事実のバランスをとることを目的とする。 ステップサイズのミニバッチを最初から修正するのではなく,パラメータを適応的に進化させることを提案する。
  論文  参考訳（メタデータ） (2020-07-02T16:02:02Z)
• Support recovery and sup-norm convergence rates for sparse pivotal estimation [79.13844065776928]
  高次元スパース回帰では、ピボット推定器は最適な正規化パラメータがノイズレベルに依存しない推定器である。 非滑らかで滑らかな単一タスクとマルチタスク正方形ラッソ型推定器に対するミニマックス超ノルム収束率を示す。
  論文  参考訳（メタデータ） (2020-01-15T16:11:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。