論文の概要: Sparse Polyak: an adaptive step size rule for high-dimensional M-estimation

• arxiv url: http://arxiv.org/abs/2509.09802v2
• Date: Tue, 14 Oct 2025 20:13:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-16 15:32:13.922503
• Title: Sparse Polyak: an adaptive step size rule for high-dimensional M-estimation
• Title（参考訳）: Sparse Polyak:高次元M推定のための適応的なステップサイズルール
• Authors: Tianqi Qiao, Marie Maros,
• Abstract要約: 我々は,高次元統計的推定問題を解くために,ポリアックの適応ステップサイズの変種であるスパース・ポリアックを提案し,研究する。 高次元では、リプシッツの滑らか度定数を推定することはもはや効果的ではない。 Sparse Polyakは、制限されたリプシッツの滑らか度定数を推定するためにステップサイズを変更することでこの問題を克服する。
• 参考スコア（独自算出の注目度）: 4.297070083645049
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose and study Sparse Polyak, a variant of Polyak's adaptive step size, designed to solve high-dimensional statistical estimation problems where the problem dimension is allowed to grow much faster than the sample size. In such settings, the standard Polyak step size performs poorly, requiring an increasing number of iterations to achieve optimal statistical precision-even when, the problem remains well conditioned and/or the achievable precision itself does not degrade with problem size. We trace this limitation to a mismatch in how smoothness is measured: in high dimensions, it is no longer effective to estimate the Lipschitz smoothness constant. Instead, it is more appropriate to estimate the smoothness restricted to specific directions relevant to the problem (restricted Lipschitz smoothness constant). Sparse Polyak overcomes this issue by modifying the step size to estimate the restricted Lipschitz smoothness constant. We support our approach with both theoretical analysis and numerical experiments, demonstrating its improved performance.
• Abstract（参考訳）: 本稿では,Polyakの適応ステップサイズの変種であるSparse Polyakを,問題次元が標本サイズよりもはるかに高速に成長できるような高次元統計的推定問題の解法として提案する。 このような設定では、標準的なPolyakのステップサイズは性能が悪く、最適な統計的精度を達成するためにイテレーション数が増加する必要がある。 高い次元では、リプシッツの滑らかさ定数を見積もるのはもはや効果的ではない。 代わりに、問題に関連する特定の方向(制限されたリプシッツ滑らか度定数)に制限された滑らかさを推定することはより適切である。 Sparse Polyakは、制限されたリプシッツの滑らか度定数を推定するためにステップサイズを変更することでこの問題を克服する。 提案手法は理論的解析と数値実験の両方で支援し,その性能向上を実証する。

関連論文リスト

• Randomized Feasibility Methods for Constrained Optimization with Adaptive Step Sizes [0.6363756171493382]
  凸関数の低レベル集合の交叉によって定義される制約を対象関数として最小化することを検討する。 我々は、Polyakのステップと、反復毎にランダムな数のサンプル制約を持つランダム化ファジビリティーアルゴリズムを使用する。 サンプルサイズの成長の特定の選択に対して、最適な速度が達成される。
  論文  参考訳（メタデータ） (2026-01-27T21:40:10Z)
• Sparse Polyak with optimal thresholding operators for high-dimensional M-estimation [4.297070083645049]
  高次元M推定問題に対するスパースポリアックの変種を提案し解析する。 本研究では,スペーサーとより正確な解を得ながら,その環境次元に関して望ましいスケーリング特性を保ったスパース・ポリアックの変種を導入する。
  論文  参考訳（メタデータ） (2025-11-22T19:43:23Z)
• Multivariate root-n-consistent smoothing parameter free matching estimators and estimators of inverse density weighted expectations [51.000851088730684]
  我々は、パラメトリックな$sqrt n $-rateで収束する、最も近い隣人の新しい修正とマッチング推定器を開発する。 我々は,非パラメトリック関数推定器は含まないこと,特に標本サイズ依存パラメータの平滑化には依存していないことを強調する。
  論文  参考訳（メタデータ） (2024-07-11T13:28:34Z)
• On the design-dependent suboptimality of the Lasso [27.970033039287884]
  最小特異値が小さい場合、ラッソ推定器は、確実に最小値であることを示す。 我々の下限は、ラッソの全ての形態のまばらな統計的最適性を妨げるのに十分強い。
  論文  参考訳（メタデータ） (2024-02-01T07:01:54Z)
• Cutting Some Slack for SGD with Adaptive Polyak Stepsizes [35.024680868164445]
  SPS (Stochastic gradient with a Polyak Stepsize) 適応法について考察する。 まず、SPSとその最近の変種は、すべて非線形問題に適用されたパッシブ・攻撃的手法の拡張と見なせることを示す。 我々はこの知見を用いて非線形モデルに適した新しいSPS法を開発した。
  論文  参考訳（メタデータ） (2022-02-24T19:31:03Z)
• Adaptivity and Non-stationarity: Problem-dependent Dynamic Regret for Online Convex Optimization [70.4342220499858]
  本稿では,スムーズさを生かし,問題依存量による動的後悔のT$への依存を補う新しいオンラインアルゴリズムを提案する。 この結果が本質的な難易度に適応しているのは, 既往の結果よりも厳密であり, 最悪の場合, 同一レートの保護が可能であるからである。
  論文  参考訳（メタデータ） (2021-12-29T02:42:59Z)
• STORM+: Fully Adaptive SGD with Momentum for Nonconvex Optimization [74.1615979057429]
  本研究では,スムーズな損失関数に対する期待値である非バッチ最適化問題について検討する。 我々の研究は、学習率と運動量パラメータを適応的に設定する新しいアプローチとともに、STORMアルゴリズムの上に構築されている。
  論文  参考訳（メタデータ） (2021-11-01T15:43:36Z)
• Last Iterate Risk Bounds of SGD with Decaying Stepsize for Overparameterized Linear Regression [122.70478935214128]
  勾配降下(SGD)は、多くのディープラーニングアプリケーションでよく一般化されている。 本稿では, 崩壊段階のSGDの最終反復リスク境界に関する問題依存解析を行う。
  論文  参考訳（メタデータ） (2021-10-12T17:49:54Z)
• Amortized Conditional Normalized Maximum Likelihood: Reliable Out of Distribution Uncertainty Estimation [99.92568326314667]
  本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。 提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。 我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
  論文  参考訳（メタデータ） (2020-11-05T08:04:34Z)
• Balancing Rates and Variance via Adaptive Batch-Size for Stochastic Optimization Problems [120.21685755278509]
  本研究は,ステップサイズの減衰が正確な収束に必要であるという事実と,一定のステップサイズがエラーまでの時間でより速く学習するという事実のバランスをとることを目的とする。 ステップサイズのミニバッチを最初から修正するのではなく,パラメータを適応的に進化させることを提案する。
  論文  参考訳（メタデータ） (2020-07-02T16:02:02Z)
• Support recovery and sup-norm convergence rates for sparse pivotal estimation [79.13844065776928]
  高次元スパース回帰では、ピボット推定器は最適な正規化パラメータがノイズレベルに依存しない推定器である。 非滑らかで滑らかな単一タスクとマルチタスク正方形ラッソ型推定器に対するミニマックス超ノルム収束率を示す。
  論文  参考訳（メタデータ） (2020-01-15T16:11:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。