論文の概要: Stochastic Orthogonal Regularization for deep projective priors
- arxiv url: http://arxiv.org/abs/2505.13078v1
- Date: Mon, 19 May 2025 13:12:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-20 14:57:11.604082
- Title: Stochastic Orthogonal Regularization for deep projective priors
- Title（参考訳）: 深部射影前兆に対する確率直交正規化法
- Authors: Ali Joundi, Yann Traonmilin, Alasdair Newson,
- Abstract要約: 本稿では,GPGDアルゴリズムに焦点をあてる。
ニューラルネットワークは、画像などの複雑なデータをモデル化する未知の低次元集合への投影を可能にする。
- 参考スコア（独自算出の注目度）: 2.990411348977783
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Many crucial tasks of image processing and computer vision are formulated as inverse problems. Thus, it is of great importance to design fast and robust algorithms to solve these problems. In this paper, we focus on generalized projected gradient descent (GPGD) algorithms where generalized projections are realized with learned neural networks and provide state-of-the-art results for imaging inverse problems. Indeed, neural networks allow for projections onto unknown low-dimensional sets that model complex data, such as images. We call these projections deep projective priors. In generic settings, when the orthogonal projection onto a lowdimensional model set is used, it has been shown, under a restricted isometry assumption, that the corresponding orthogonal PGD converges with a linear rate, yielding near-optimal convergence (within the class of GPGD methods) in the classical case of sparse recovery. However, for deep projective priors trained with classical mean squared error losses, there is little guarantee that the hypotheses for linear convergence are satisfied. In this paper, we propose a stochastic orthogonal regularization of the training loss for deep projective priors. This regularization is motivated by our theoretical results: a sufficiently good approximation of the orthogonal projection guarantees linear stable recovery with performance close to orthogonal PGD. We show experimentally, using two different deep projective priors (based on autoencoders and on denoising networks), that our stochastic orthogonal regularization yields projections that improve convergence speed and robustness of GPGD in challenging inverse problem settings, in accordance with our theoretical findings.
- Abstract（参考訳）: 画像処理とコンピュータビジョンの多くの重要なタスクは逆問題として定式化されている。
したがって、これらの問題を解決するために、高速で堅牢なアルゴリズムを設計することが非常に重要である。
本稿では,学習ニューラルネットワークを用いて一般化射影を実現できる一般化射影勾配降下法(GPGD)に着目し,逆問題の画像化のための最先端結果を提供する。
実際、ニューラルネットワークは、画像などの複雑なデータをモデル化する未知の低次元集合への投影を可能にする。
これらの予測を、深く投影的な前兆と呼びます。
一般的な設定では、低次元のモデル集合への直交射影が用いられるとき、制限等方性仮定の下で、対応する直交 PGD が線型速度に収束し、スパース回復の古典的な場合において(GPGD のクラスの)準最適収束をもたらすことが示されている。
しかし、古典的な平均二乗誤差損失で訓練された深い射影事前に対しては、線形収束の仮説が満たされているという保証はほとんどない。
本稿では,深部投射前におけるトレーニング損失の確率的直交正規化を提案する。
この正規化は、直交射影の十分な近似により、直交PGDに近い性能で線形安定回復が保証されるという理論的な結果によって動機付けられている。
実験では,2つの異なる深い投影先(オートエンコーダとデノナイジングネットワークに基づく)を用いて,我々の確率的直交正規化が,逆問題設定に挑戦する際のGPGDの収束速度と頑健性を改善するプロジェクションを生成することを示す。
関連論文リスト
- Error Feedback under $(L_0,L_1)$-Smoothness: Normalization and Momentum [56.37522020675243]
機械学習の幅広い問題にまたがる正規化誤差フィードバックアルゴリズムに対する収束の最初の証明を提供する。
提案手法では,許容可能なステップサイズが大きくなったため,新しい正規化エラーフィードバックアルゴリズムは,各種タスクにおける非正規化エラーよりも優れていた。
論文 参考訳（メタデータ） (2024-10-22T10:19:27Z) - Space-Variant Total Variation boosted by learning techniques in few-view tomographic imaging [0.0]
本稿では,未決定の線形逆問題に対する空間変動正規化モデルの開発に焦点をあてる。
提案モデルの主な目的は,ディノベーションと細部・縁の保存のバランスを良くすることである。
畳み込みニューラルネットワークは、トレーニングにおいて弾性損失関数を用いて、基底真理像とその勾配を近似するように設計されている。
論文 参考訳（メタデータ） (2024-04-25T08:58:41Z) - Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。
最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
論文 参考訳（メタデータ） (2023-10-20T12:45:12Z) - Equivariance Regularization for Image Reconstruction [5.025654873456756]
不完全な測定条件下での画像逆問題に対する構造適応正則化手法を提案する。
この正規化スキームは、測定の物理学における同変構造を利用して、逆問題の不当な位置を緩和する。
提案手法は,古典的な一階最適化アルゴリズムとともに,プラグ・アンド・プレイ方式で適用することができる。
論文 参考訳（メタデータ） (2022-02-10T14:38:08Z) - Robust lEarned Shrinkage-Thresholding (REST): Robust unrolling for
sparse recover [87.28082715343896]
我々は、モデルミス特定を前進させるのに堅牢な逆問題を解決するためのディープニューラルネットワークについて検討する。
我々は,アルゴリズムの展開手法を根底にある回復問題のロバストバージョンに適用することにより,新しい堅牢なディープニューラルネットワークアーキテクチャを設計する。
提案したRESTネットワークは,圧縮センシングとレーダイメージングの両問題において,最先端のモデルベースおよびデータ駆動アルゴリズムを上回る性能を示す。
論文 参考訳（メタデータ） (2021-10-20T06:15:45Z) - Path Regularization: A Convexity and Sparsity Inducing Regularization
for Parallel ReLU Networks [75.33431791218302]
本稿では,ディープニューラルネットワークのトレーニング問題について検討し,最適化環境に隠された凸性を明らかにするための解析的アプローチを提案する。
我々は、標準のディープ・ネットワークとResNetを特別なケースとして含む、ディープ・パラレルなReLUネットワークアーキテクチャについて検討する。
論文 参考訳（メタデータ） (2021-10-18T18:00:36Z) - Regularization via deep generative models: an analysis point of view [8.818465117061205]
本稿では, イメージングにおける逆問題(例えば, デブロアリングやインペインティング)を, 深部生成ニューラルネットワークを用いて正則化する新しい手法を提案する。
多くの場合、我々の技術はパフォーマンスの明確な改善を実現し、より堅牢であるように思える。
論文 参考訳（メタデータ） (2021-01-21T15:04:57Z) - Learned convex regularizers for inverse problems [3.294199808987679]
本稿では,逆問題に対する正規化器として,データ適応型入力ニューラルネットワーク(ICNN)を学習することを提案する。
パラメータ空間における単調な誤差を反復で減少させる部分次アルゴリズムの存在を実証する。
提案した凸正則化器は, 逆問題に対する最先端のデータ駆動技術に対して, 少なくとも競争力があり, 時には優位であることを示す。
論文 参考訳（メタデータ） (2020-08-06T18:58:35Z) - On the Convergence Rate of Projected Gradient Descent for a
Back-Projection based Objective [58.33065918353532]
我々は、最小二乗(LS)の代替として、バックプロジェクションに基づく忠実度項を考える。
LS項ではなくBP項を用いることで最適化アルゴリズムの繰り返しを少なくすることを示す。
論文 参考訳（メタデータ） (2020-05-03T00:58:23Z) - Revisiting Initialization of Neural Networks [72.24615341588846]
ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。
Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
論文 参考訳（メタデータ） (2020-04-20T18:12:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。