論文の概要: On Asymptotic Linear Convergence of Projected Gradient Descent for Constrained Least Squares

• arxiv url: http://arxiv.org/abs/2112.11760v1
• Date: Wed, 22 Dec 2021 09:49:51 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-23 16:28:54.295354
• Title: On Asymptotic Linear Convergence of Projected Gradient Descent for Constrained Least Squares
• Title（参考訳）: 制約付き最小方形に対する投射勾配の漸近線形収束について
• Authors: Trung Vu and Raviv Raich
• Abstract要約: この写本は、制約最小二乗の文脈における射影勾配降下の解析のための統一的な枠組みを提示する。 本稿では,PGDの収束解析のレシピを提示し,このレシピを4つの基本的な問題に応用して実証する。
• 参考スコア（独自算出の注目度）: 22.851500417035947
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many recent problems in signal processing and machine learning such as compressed sensing, image restoration, matrix/tensor recovery, and non-negative matrix factorization can be cast as constrained optimization. Projected gradient descent is a simple yet efficient method for solving such constrained optimization problems. Local convergence analysis furthers our understanding of its asymptotic behavior near the solution, offering sharper bounds on the convergence rate compared to global convergence analysis. However, local guarantees often appear scattered in problem-specific areas of machine learning and signal processing. This manuscript presents a unified framework for the local convergence analysis of projected gradient descent in the context of constrained least squares. The proposed analysis offers insights into pivotal local convergence properties such as the condition of linear convergence, the region of convergence, the exact asymptotic rate of convergence, and the bound on the number of iterations needed to reach a certain level of accuracy. To demonstrate the applicability of the proposed approach, we present a recipe for the convergence analysis of PGD and demonstrate it via a beginning-to-end application of the recipe on four fundamental problems, namely, linearly constrained least squares, sparse recovery, least squares with the unit norm constraint, and matrix completion.
• Abstract（参考訳）: 最近の信号処理や、圧縮センシング、画像復元、マトリックス/テンソル回復、非負行列分解といった機械学習における多くの問題は、制約付き最適化としてキャストできる。 射影勾配降下はそのような制約付き最適化問題を解くための単純かつ効率的な方法である。 局所収束解析は解近傍の漸近的挙動の理解をさらに深め、大域収束解析と比較して収束率の境界を鋭くする。 しかし、ローカル保証は機械学習や信号処理の特定の問題領域に散在していることが多い。 この写本は、制約最小二乗の文脈における射影勾配降下の局所収束解析のための統一的な枠組みを提示する。 提案手法は,線形収束条件,収束領域,絶対漸近収束率,一定の精度に達するために必要なイテレーション数の境界など,重要な局所収束特性に関する知見を提供する。 提案手法の適用性を示すため,提案手法はPGDの収束解析のレシピを示し,本手法の基本的な4つの問題,すなわち線形に制約された最小二乗法,スパースリカバリ,単位ノルム制約付き最小二乗法,行列補完法を応用した。

関連論文リスト

• Low-Rank Extragradient Methods for Scalable Semidefinite Optimization [0.0]
  この問題が低ランクの解を許容する高次元かつ高可算な設定に焦点をあてる。 これらの条件下では、よく知られた過次法が制約付き最適化問題の解に収束することを示す理論的結果がいくつか提示される。
  論文  参考訳（メタデータ） (2024-02-14T10:48:00Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Provably Accelerating Ill-Conditioned Low-rank Estimation via Scaled Gradient Descent, Even with Overparameterization [48.65416821017865]
  この章では、スケールドグラデーション(ScaledGD)と呼ばれる新しいアルゴリズムアプローチを紹介します。 低ランク物体の条件数に依存しない定数速度で直線的に収束する。 様々なタスクに対して、勾配降下の低い摂動コストを維持できる。
  論文  参考訳（メタデータ） (2023-10-09T21:16:57Z)
• Nonconvex Stochastic Scaled-Gradient Descent and Generalized Eigenvector Problems [98.34292831923335]
  オンライン相関解析の問題から,emphStochastic Scaled-Gradient Descent (SSD)アルゴリズムを提案する。 我々はこれらのアイデアをオンライン相関解析に適用し、局所収束率を正規性に比例した最適な1時間スケールのアルゴリズムを初めて導いた。
  論文  参考訳（メタデータ） (2021-12-29T18:46:52Z)
• On the Convergence of Stochastic Extragradient for Bilinear Games with Restarted Iteration Averaging [96.13485146617322]
  本稿では, ステップサイズが一定であるSEG法の解析を行い, 良好な収束をもたらす手法のバリエーションを示す。 平均化で拡張した場合、SEGはナッシュ平衡に確実に収束し、スケジュールされた再起動手順を組み込むことで、その速度が確実に加速されることを証明した。
  論文  参考訳（メタデータ） (2021-06-30T17:51:36Z)
• Exact Linear Convergence Rate Analysis for Low-Rank Symmetric Matrix Completion via Gradient Descent [22.851500417035947]
  因数分解に基づく勾配降下は、因数分解行列の完備化を解くためのスケーラブルで効率的なアルゴリズムである。 勾配勾配降下は, 地球自然問題の解を推定するために, 高速収束を楽しむことを示す。
  論文  参考訳（メタデータ） (2021-02-04T03:41:54Z)
• Asymptotic convergence rate of Dropout on shallow linear neural networks [0.0]
  本研究では, 微小線形ニューラルネットワークに適用する場合に, ドロップアウトとドロップコネクションによって誘導される目的関数の収束度を解析する。 我々は、勾配流の局所収束証明と、そのデータ、レート確率、NNの幅に依存する速度のバウンダリを得る。
  論文  参考訳（メタデータ） (2020-12-01T19:02:37Z)
• Iterative Pre-Conditioning for Expediting the Gradient-Descent Method: The Distributed Linear Least-Squares Problem [0.966840768820136]
  本稿では,サーバエージェントネットワークにおけるマルチエージェント線形最小二乗問題について考察する。 エージェントの目標は、個々のローカルデータポイントを共有することなく、すべてのエージェントが保持する集合データポイントに最適に適合する線形モデルを計算することである。 本稿では,データ点の条件付けによる劣化効果を緩和する反復的プレコンディショニング手法を提案する。
  論文  参考訳（メタデータ） (2020-08-06T20:01:18Z)
• Conditional gradient methods for stochastically constrained convex minimization [54.53786593679331]
  構造凸最適化問題に対する条件勾配に基づく2つの新しい解法を提案する。 私たちのフレームワークの最も重要な特徴は、各イテレーションで制約のサブセットだけが処理されることです。 提案アルゴリズムは, 条件勾配のステップとともに, 分散の低減と平滑化に頼り, 厳密な収束保証を伴っている。
  論文  参考訳（メタデータ） (2020-07-07T21:26:35Z)
• Optimization of Graph Total Variation via Active-Set-based Combinatorial Reconditioning [48.42916680063503]
  本稿では,この問題クラスにおける近位アルゴリズムの適応型事前条件付け手法を提案する。 不活性エッジのネスト・フォレスト分解により局所収束速度が保証されることを示す。 この結果から,局所収束解析は近似アルゴリズムにおける可変指標選択の指針となることが示唆された。
  論文  参考訳（メタデータ） (2020-02-27T16:33:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。