論文の概要: MAP Estimation with Denoisers: Convergence Rates and Guarantees
- arxiv url: http://arxiv.org/abs/2507.15397v2
- Date: Thu, 14 Aug 2025 14:59:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-15 13:42:23.44202
- Title: MAP Estimation with Denoisers: Convergence Rates and Guarantees
- Title(参考訳): デノイザを用いたMAP推定:収束率と保証
- Authors: Scott Pesme, Giacomo Meanti, Michael Arbel, Julien Mairal,
- Abstract要約: 簡単なアルゴリズムは、前の$p$の対数共共役仮定の下で近似演算子に収束することを示す。
このアルゴリズムは, 滑らかな近位対象の勾配勾配として解釈できることを示す。
- 参考スコア(独自算出の注目度): 37.88502562012743
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Denoiser models have become powerful tools for inverse problems, enabling the use of pretrained networks to approximate the score of a smoothed prior distribution. These models are often used in heuristic iterative schemes aimed at solving Maximum a Posteriori (MAP) optimisation problems, where the proximal operator of the negative log-prior plays a central role. In practice, this operator is intractable, and practitioners plug in a pretrained denoiser as a surrogate-despite the lack of general theoretical justification for this substitution. In this work, we show that a simple algorithm, closely related to several used in practice, provably converges to the proximal operator under a log-concavity assumption on the prior $p$. We show that this algorithm can be interpreted as a gradient descent on smoothed proximal objectives. Our analysis thus provides a theoretical foundation for a class of empirically successful but previously heuristic methods.
- Abstract(参考訳): Denoiserモデルは逆問題のための強力なツールとなり、事前訓練されたネットワークを使うことで、スムーズな事前分布のスコアを近似することができる。
これらのモデルは、負の対数原理の近作用素が中心的な役割を果たすような、極大なポストエリオーリ(MAP)最適化問題を解くことを目的としたヒューリスティックな反復スキームでしばしば用いられる。
実際には、このオペレータは難解であり、実践者は、この置換に対する一般的な理論的正当化が欠如しているにもかかわらず、事前訓練されたデノイザーを代理としてプラグインする。
そこで本研究では,従来の$p$の対数共共振仮定の下で,実際に用いられる数に密接に関連した単純なアルゴリズムが,確実に近位演算子に収束することを示す。
このアルゴリズムは, 滑らかな近位対象の勾配勾配として解釈できることを示す。
我々の分析は、経験的に成功したが以前はヒューリスティックな手法のクラスの理論的基盤を提供する。
関連論文リスト
- Why Heuristic Weighting Works: A Theoretical Analysis of Denoising Score Matching [7.800608181419997]
重み付け関数は 正式な正当性を持たずに スコアマッチングの損失を
本研究では,ヘテロサスティック性が聴取スコアマッチング目的の固有の性質であることを実証する。
この知見は、一般化された任意の順序の採点損失に対する最適重み付け関数の原理的導出につながる。
論文 参考訳(メタデータ) (2025-08-03T05:35:20Z) - Self-Boost via Optimal Retraining: An Analysis via Approximate Message Passing [58.52119063742121]
独自の予測と潜在的にノイズの多いラベルを使ってモデルをトレーニングすることは、モデルパフォーマンスを改善するためのよく知られた戦略である。
本稿では,モデルの予測と提供ラベルを最適に組み合わせる方法について論じる。
我々の主な貢献は、現在のモデルの予測と与えられたラベルを組み合わせたベイズ最適集約関数の導出である。
論文 参考訳(メタデータ) (2025-05-21T07:16:44Z) - Error Feedback under $(L_0,L_1)$-Smoothness: Normalization and Momentum [56.37522020675243]
機械学習の幅広い問題にまたがる正規化誤差フィードバックアルゴリズムに対する収束の最初の証明を提供する。
提案手法では,許容可能なステップサイズが大きくなったため,新しい正規化エラーフィードバックアルゴリズムは,各種タスクにおける非正規化エラーよりも優れていた。
論文 参考訳(メタデータ) (2024-10-22T10:19:27Z) - Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。
最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
論文 参考訳(メタデータ) (2023-10-20T12:45:12Z) - Conjugated Discrete Distributions for Distributional Reinforcement
Learning [0.0]
最も成功した方法の1つは、非決定論的プロセスがある場合、最適なポリシーを得られないことを示します。
我々は、分散強化学習が、この状況を完全に改善するのに役立つと論じている。
論文 参考訳(メタデータ) (2021-12-14T14:14:49Z) - Beyond variance reduction: Understanding the true impact of baselines on
policy optimization [24.09670734037029]
学習力学は損失関数の曲率と勾配推定の雑音によって制御されることを示す。
我々は,少なくとも包帯問題では,曲率や雑音が学習力学を説明するのに十分でないことを示す理論的結果を示す。
論文 参考訳(メタデータ) (2020-08-31T17:52:09Z) - Wasserstein-based Projections with Applications to Inverse Problems [25.517805029337254]
問題は、ノイズ測定の収集から信号ギャップを回復することである。
最近のPlug-and-Playでは、データ駆動型デノイザによる最適化手法の解析正則化のための演算子を置き換えることが提案されている。
真データの多様体からサンプルを入力として取り出し、この多様体への射影作用素の近似を出力する新しいアルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-08-05T15:58:55Z) - Approximation Algorithms for Sparse Principal Component Analysis [57.5357874512594]
主成分分析(PCA)は、機械学習と統計学において広く使われている次元削減手法である。
スパース主成分分析(Sparse principal Component Analysis)と呼ばれる,スパース主成分負荷を求める様々な手法が提案されている。
本研究では,SPCA問題に対するしきい値の精度,時間,近似アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-06-23T04:25:36Z) - On the Convergence Rate of Projected Gradient Descent for a
Back-Projection based Objective [58.33065918353532]
我々は、最小二乗(LS)の代替として、バックプロジェクションに基づく忠実度項を考える。
LS項ではなくBP項を用いることで最適化アルゴリズムの繰り返しを少なくすることを示す。
論文 参考訳(メタデータ) (2020-05-03T00:58:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。