論文の概要: Optimal Projection-Free Adaptive SGD for Matrix Optimization

• arxiv url: http://arxiv.org/abs/2604.02505v1
• Date: Thu, 02 Apr 2026 21:02:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-06 17:20:24.198789
• Title: Optimal Projection-Free Adaptive SGD for Matrix Optimization
• Title（参考訳）: 行列最適化のための最適投影自由適応SGD
• Authors: Dmitry Kovalev,
• Abstract要約: 最近、張らはオンライン凸投影のためのワンサイドシャンプー(Xie et al., 2025a, An et al., 2025)アルゴリズムの実用版であるLeonを開発した。 本稿では,レオンの安定性プレコンディショナーの特性を実証する。 我々はNesterov加速度を持つワンサイドシャンプーの最初の実用的変種を開発する。
• 参考スコア（独自算出の注目度）: 10.350093268971836
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, Jiang et al. [2026] developed Leon, a practical variant of One-sided Shampoo [Xie et al., 2025a, An et al., 2025] algorithm for online convex optimization, which does not require computing a costly quadratic projection at each iteration. Unfortunately, according to the existing analysis, Leon requires tuning an additional hyperparameter in its preconditioner and cannot achieve dimension-independent convergence guarantees for convex optimization problems beyond the bounded gradients assumption. In this paper, we resolve this issue by proving certain stability properties of Leon's preconditioner. Using our improved analysis, we show that tuning the extra hyperparameter can be avoided and, more importantly, develop the first practical variant of One-sided Shampoo with Nesterov acceleration, which does not require computing projections at each iteration. As a side contribution, we obtain improved dimension-independent rates in the non-smooth non-convex setting and develop a unified analysis of the proposed algorithm, which yields accelerated projection-free adaptive SGD with (block-)diagonal preconditioners.
• Abstract（参考訳）: 最近、Jiang et al [2026] はオンライン凸最適化のためのOne-sided Shampoo [Xie et al , 2025a, An et al , 2025] アルゴリズムの実用版である Leon を開発した。 残念なことに、既存の解析によれば、レオンは事前条件で追加のハイパーパラメータをチューニングし、有界勾配の仮定を超えた凸最適化問題に対する次元非依存収束保証を達成できない。 本稿では、レオンプレコンディショナーの安定性を証明し、この問題を解決する。 改良された解析により、余分なハイパーパラメーターのチューニングを回避でき、さらに重要なことに、各イテレーションで計算予測を必要としないネステロフ加速度付きワンサイドシャンプーの最初の実用的変種を開発できることが示される。 副次的貢献として、非滑らかな非凸設定における次元非依存率の改善と、プロジェクションフリー適応SGDを(ブロック-)対角プレコンディショナーで生成するアルゴリズムの統一解析を開発する。

関連論文リスト

• Adaptive Matrix Online Learning through Smoothing with Guarantees for Nonsmooth Nonconvex Optimization [54.723834588133165]
  我々は,演算子AMLによる行列変数を用いたオンライン線形最適化について検討した。 プロジェクションを避ける2つの効率的な手法でこのフレームワークをインスタンス化する。 両手法とも, クローズドフォーム更新はシャンプーの後悔と一致し, 計算コストを大幅に削減することを示した。
  論文  参考訳（メタデータ） (2026-02-09T03:09:47Z)
• On the Optimal Construction of Unbiased Gradient Estimators for Zeroth-Order Optimization [57.179679246370114]
  既存の手法の潜在的な制限は、ステップサイズが提案されない限り、ほとんどの摂動推定器に固有のバイアスである。 本稿では, 良好な構成を維持しつつ, バイアスを排除した非バイアス勾配スケーリング推定器のファミリーを提案する。
  論文  参考訳（メタデータ） (2025-10-22T18:25:43Z)
• Towards Weaker Variance Assumptions for Stochastic Optimization [19.339358874690568]
  次数次法の2乗ノルムを最適化変数の2乗ノルムの2乗ノルムと同程度の速さで成長させることができるような勾配アルゴリズムを解析するための古典的な仮定を再検討する。 関数的制約や正規化された凸凹 min-max 問題を用いて凸問題を解析する。 実現可能な集合の有界性を必要としない最適度測度に対するレートを得る。
  論文  参考訳（メタデータ） (2025-04-14T07:26:34Z)
• Structured Preconditioners in Adaptive Optimization: A Unified Analysis [30.17859434112402]
  本稿では,構造化プレコンディショナーを用いた適応最適化アルゴリズムの多種多様なクラスに対する新しい統一解析法を提案する。 我々の分析は、対角 AdaGrad, full-matrix AdaGrad, AdaGrad-Norm など、いくつかの重要な事前条件付きアルゴリズムにマッチングレートを提供する。 片側シャンプーはAdaGradよりも比較的安価であり、理論上も実験上も優れていることを示す。
  論文  参考訳（メタデータ） (2025-03-13T16:51:59Z)
• A Novel Unified Parametric Assumption for Nonconvex Optimization [53.943470475510196]
  非最適化は機械学習の中心であるが、一般の非凸性は弱い収束を保証するため、他方に比べて悲観的すぎる。 非凸アルゴリズムに新しい統一仮定を導入する。
  論文  参考訳（メタデータ） (2025-02-17T21:25:31Z)
• Parameter-free projected gradient descent [0.0]
  我々は、射影勾配 Descent (PGD) を用いて、閉凸集合上の凸関数を最小化する問題を考える。 本稿では,AdaGradのパラメータフリーバージョンを提案する。これは初期化と最適化の距離に適応し,下位段階の平方ノルムの和に適応する。 提案アルゴリズムはプロジェクションステップを処理でき、リスタートを伴わず、従来のPGDと比較して軌道に沿ってリウィーディングや追加評価を行うことができる。
  論文  参考訳（メタデータ） (2023-05-31T07:22:44Z)
• Adaptive Zeroth-Order Optimisation of Nonconvex Composite Objectives [1.7640556247739623]
  ゼロ階エントロピー合成目的のためのアルゴリズムを解析し,次元依存性に着目した。 これは、ミラー降下法と推定類似関数を用いて、決定セットの低次元構造を利用して達成される。 勾配を改善するため、Rademacherに基づく古典的なサンプリング法を置き換え、ミニバッチ法が非ユークリ幾何学に対処することを示す。
  論文  参考訳（メタデータ） (2022-08-09T07:36:25Z)
• Non-Convex Optimization with Certificates and Fast Rates Through Kernel Sums of Squares [68.8204255655161]
  非最適化近似問題を考える。 本稿では,最優先計算を保証するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-04-11T09:37:04Z)
• Convergence of adaptive algorithms for weakly convex constrained optimization [59.36386973876765]
  モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。 我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
  論文  参考訳（メタデータ） (2020-06-11T17:43:19Z)
• Support recovery and sup-norm convergence rates for sparse pivotal estimation [79.13844065776928]
  高次元スパース回帰では、ピボット推定器は最適な正規化パラメータがノイズレベルに依存しない推定器である。 非滑らかで滑らかな単一タスクとマルチタスク正方形ラッソ型推定器に対するミニマックス超ノルム収束率を示す。
  論文  参考訳（メタデータ） (2020-01-15T16:11:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。