論文の概要: On the Convergence Rate of Projected Gradient Descent for a
Back-Projection based Objective
- arxiv url: http://arxiv.org/abs/2005.00959v3
- Date: Sun, 8 Aug 2021 12:40:58 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-07 06:05:18.811987
- Title: On the Convergence Rate of Projected Gradient Descent for a
Back-Projection based Objective
- Title（参考訳）: バックプロジェクションに基づく目標に対する投影勾配降下の収束速度について
- Authors: Tom Tirer, Raja Giryes
- Abstract要約: 我々は、最小二乗(LS)の代替として、バックプロジェクションに基づく忠実度項を考える。
LS項ではなくBP項を用いることで最適化アルゴリズムの繰り返しを少なくすることを示す。
- 参考スコア（独自算出の注目度）: 58.33065918353532
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Ill-posed linear inverse problems appear in many scientific setups, and are
typically addressed by solving optimization problems, which are composed of
data fidelity and prior terms. Recently, several works have considered a
back-projection (BP) based fidelity term as an alternative to the common least
squares (LS), and demonstrated excellent results for popular inverse problems.
These works have also empirically shown that using the BP term, rather than the
LS term, requires fewer iterations of optimization algorithms. In this paper,
we examine the convergence rate of the projected gradient descent (PGD)
algorithm for the BP objective. Our analysis allows to identify an inherent
source for its faster convergence compared to using the LS objective, while
making only mild assumptions. We also analyze the more general proximal
gradient method under a relaxed contraction condition on the proximal mapping
of the prior. This analysis further highlights the advantage of BP when the
linear measurement operator is badly conditioned. Numerical experiments with
both $\ell_1$-norm and GAN-based priors corroborate our theoretical results.
- Abstract（参考訳）: Ill-posed linear inverse problem は多くの科学的設定に現れ、典型的にはデータ忠実度と事前項からなる最適化問題によって解決される。
近年、いくつかの研究が最小二乗(LS)の代替としてバックプロジェクション(BP)に基づく忠実度項を検討し、一般的な逆問題に対して優れた結果を示した。
これらの研究はまた、ls項よりもbp項を用いる方が最適化アルゴリズムの反復を少なくできることを示した。
本稿では,bp目的の投影勾配降下(pgd)アルゴリズムの収束率について検討する。
本分析により,ls目的よりも収束速度が速い固有源を同定できるとともに,軽度な仮定のみを行うことができる。
また,より一般的な近位勾配法を,前者の近位写像上の緩和収縮条件下で解析した。
この分析は、線形測定演算子がひどい条件下にある場合のBPの利点をさらに強調する。
$\ell_1$-norm と GAN-based priors の2つの数値実験は、我々の理論結果を裏付けるものである。
関連論文リスト
- Generalized Eigenvalue Problems with Generative Priors [23.711322973038897]
一般化固有値問題(GEP)は、科学と工学の様々な分野に適用できる。
我々はGEPを生成的先行下で研究し、基礎となる一般化固有ベクトルがリプシッツ連続生成モデルの範囲内にあることを仮定する。
本稿では,最適解を近似するために,PRFM (Projected Rayleigh Flow Method) と呼ばれる反復アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-11-02T18:16:07Z) - Differentially Private Optimization with Sparse Gradients [60.853074897282625]
微分プライベート(DP)最適化問題を個人勾配の空間性の下で検討する。
これに基づいて、スパース勾配の凸最適化にほぼ最適な速度で純粋および近似DPアルゴリズムを得る。
論文 参考訳（メタデータ） (2024-04-16T20:01:10Z) - Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。
最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
論文 参考訳（メタデータ） (2023-10-20T12:45:12Z) - Asymptotically Unbiased Instance-wise Regularized Partial AUC
Optimization: Theory and Algorithm [101.44676036551537]
One-way partial AUC (OPAUC) と Two-way partial AUC (TPAUC) はバイナリ分類器の平均性能を測定する。
既存の手法のほとんどはPAUCをほぼ最適化するしかなく、制御不能なバイアスにつながる。
本稿では,分散ロバスト最適化AUCによるPAUC問題の簡易化について述べる。
論文 参考訳（メタデータ） (2022-10-08T08:26:22Z) - A general sample complexity analysis of vanilla policy gradient [101.16957584135767]
政策勾配(PG)は、最も一般的な強化学習(RL)問題の1つである。
PG軌道の「バニラ」理論的理解は、RL問題を解く最も一般的な方法の1つである。
論文 参考訳（メタデータ） (2021-07-23T19:38:17Z) - The Role of Momentum Parameters in the Optimal Convergence of Adaptive
Polyak's Heavy-ball Methods [12.93796690939018]
適応型Polyak's Heavy-ball (HB) 法は最適な個人収束率を$O(frac1sqrtt)$とする。
新しい解析では,hb運動量とその時間的変動が凸最適化の高速化にどのように役立つかを示す。
論文 参考訳（メタデータ） (2021-02-15T02:57:14Z) - Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box
Optimization Framework [100.36569795440889]
この作業は、一階情報を必要としない零次最適化(ZO)の反復である。
座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
論文 参考訳（メタデータ） (2020-12-21T17:29:58Z) - Wasserstein-based Projections with Applications to Inverse Problems [25.517805029337254]
問題は、ノイズ測定の収集から信号ギャップを回復することである。
最近のPlug-and-Playでは、データ駆動型デノイザによる最適化手法の解析正則化のための演算子を置き換えることが提案されている。
真データの多様体からサンプルを入力として取り出し、この多様体への射影作用素の近似を出力する新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-08-05T15:58:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。