論文の概要: Randomized Subspace Nesterov Accelerated Gradient

• arxiv url: http://arxiv.org/abs/2605.00740v1
• Date: Fri, 01 May 2026 15:40:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-04 17:43:29.002748
• Title: Randomized Subspace Nesterov Accelerated Gradient
• Title（参考訳）: ランダム化サブスペースNesterov加速勾配
• Authors: Gaku Omiya, Pierre-Louis Poirion, Akiko Takeda,
• Abstract要約: 我々は,スムーズな凸とスムーズな強凸最適化のためのランダム化部分空間ネステロフ加速法を開発した。 鍵となる技術的要素は、マトリックスの滑らかさに合わせた3列の定式化である。 加速されたオラクル・複雑さの保証を確立し、マトリックスの滑らかさとスケッチの分布がいかに複雑になるかを明確にする。
• 参考スコア（独自算出の注目度）: 7.929096174084104
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Randomized-subspace methods reduce the cost of first-order optimization by using only low-dimensional projected-gradient information, a feature that is attractive in forward-mode automatic differentiation and communication-limited settings. While Nesterov acceleration is well understood for full-gradient and coordinate-based methods, obtaining accelerated methods for general subspace sketches that use only projected-gradient information and can improve over full-dimensional Nesterov acceleration in oracle complexity is technically nontrivial. We develop randomized-subspace Nesterov accelerated gradient methods for smooth convex and smooth strongly convex optimization under matrix smoothness and generic sketch moment assumptions. The key technical ingredient is a three-sequence formulation tailored to matrix smoothness, which recovers the corresponding classical Nesterov methods in the full-dimensional case. The resulting theory establishes accelerated oracle-complexity guarantees and makes explicit how matrix smoothness and the sketch distribution enter the complexity. It also provides a unified basis for comparing sketch families and identifying when randomized-subspace acceleration improves over full-dimensional Nesterov acceleration in oracle complexity.
• Abstract（参考訳）: ランダム化サブスペース法は、フォワードモードの自動微分と通信制限設定において魅力的な機能である低次元投影次情報のみを用いることで、一階最適化のコストを低減させる。 ネステロフ加速度は、全次および座標に基づく手法ではよく理解されているが、射影次数次情報のみを使用し、オラクル複雑性における全次元ネステロフ加速度よりも改善できる一般的な部分空間スケッチの加速法は技術的には非自明である。 本研究では,スムーズな凸とスムーズな凸最適化のためのランダム化部分空間ネステロフ加速勾配法を開発した。 鍵となる技術的要素は、行列の滑らかさに合わせた3列の定式化であり、これは全次元の場合の対応する古典的ネステロフ法を復元する。 結果として得られる理論は、加速されたオラクル-複素性を保証することを確立し、行列の滑らかさとスケッチ分布がいかに複雑さに入り込むかを明確にする。 また、スケッチファミリを比較し、ランダム化されたサブスペースアクセラレーションがオラクル複雑性のフル次元ネステロフアクセラレーションよりも改善したことを識別するための統一された基盤を提供する。

関連論文リスト

• Decomposed Diffusion Sampler for Accelerating Large-Scale Inverse Problems [64.29491112653905]
  本稿では, 拡散サンプリング法とクリロフ部分空間法を相乗的に組み合わせた, 新規で効率的な拡散サンプリング手法を提案する。 具体的には、ツイーディの公式による分母化標本における接空間がクリロフ部分空間を成すならば、その分母化データによるCGは、接空間におけるデータの整合性更新を確実に維持する。 提案手法は,従来の最先端手法よりも80倍以上高速な推論時間を実現する。
  論文  参考訳（メタデータ） (2023-03-10T07:42:49Z)
• Adaptive Stochastic Optimisation of Nonconvex Composite Objectives [2.1700203922407493]
  一般化された複合ミラー降下アルゴリズムの一群を提案し,解析する。 適応的なステップサイズでは、提案アルゴリズムは問題の事前知識を必要とせずに収束する。 決定集合の低次元構造を高次元問題に活用する。
  論文  参考訳（メタデータ） (2022-11-21T18:31:43Z)
• Proximal Subgradient Norm Minimization of ISTA and FISTA [8.261388753972234]
  反復収縮保持アルゴリズムのクラスに対する2乗近位次数ノルムは逆2乗率で収束することを示す。 また、高速反復収縮保持アルゴリズム (FISTA) のクラスに対する2乗次次数次ノルムが、逆立方レートで収束するように加速されることも示している。
  論文  参考訳（メタデータ） (2022-11-03T06:50:19Z)
• Dynamics of Stochastic Momentum Methods on Large-scale, Quadratic Models [0.2741266294612776]
  我々は高次元ランダム最小二乗問題に対して運動量を持つ勾配アルゴリズムのクラスを解析する。 固定運動量パラメータを持つ(小バッチ)運動量では,ステップサイズを正確に調整した場合,SGDよりも実際の性能向上は得られないことを示す。 非強凸条件では、運動量を用いてSGDよりも大きな改善が得られる。
  論文  参考訳（メタデータ） (2021-06-07T15:08:24Z)
• Acceleration Methods [57.202881673406324]
  まず2次最適化問題を用いて加速法を2つ導入する。 我々は、ネステロフの精巧な研究から始まる運動量法を詳細に論じる。 我々は、ほぼ最適な収束率に達するための一連の簡単な手法である再起動スキームを議論することで結論付ける。
  論文  参考訳（メタデータ） (2021-01-23T17:58:25Z)
• Accelerated Message Passing for Entropy-Regularized MAP Inference [89.15658822319928]
  離散値のランダムフィールドにおけるMAP推論の最大化は、機械学習の基本的な問題である。 この問題の難しさから、特殊メッセージパッシングアルゴリズムの導出には線形プログラミング(LP)緩和が一般的である。 古典的加速勾配の根底にある手法を活用することにより,これらのアルゴリズムを高速化するランダム化手法を提案する。
  論文  参考訳（メタデータ） (2020-07-01T18:43:32Z)
• IDEAL: Inexact DEcentralized Accelerated Augmented Lagrangian Method [64.15649345392822]
  本稿では,局所関数が滑らかで凸な分散最適化環境下での原始的手法設計のためのフレームワークを提案する。 提案手法は,加速ラグランジアン法により誘導されるサブプロブレム列を概ね解いたものである。 加速度勾配降下と組み合わせることで,収束速度が最適で,最近導出された下界と一致した新しい原始アルゴリズムが得られる。
  論文  参考訳（メタデータ） (2020-06-11T18:49:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。