論文の概要: Stein's unbiased risk estimate and Hyvärinen's score matching

• arxiv url: http://arxiv.org/abs/2502.20123v2
• Date: Wed, 24 Sep 2025 03:35:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-25 16:23:42.142278
• Title: Stein's unbiased risk estimate and Hyvärinen's score matching
• Title（参考訳）: Stein's unbiased risk estimates and Hyvärinen's score matching
• Authors: Sulagna Ghosh, Nikolaos Ignatiadis, Frederic Koehler, Amber Lee,
• Abstract要約: 経験的ベイズでは、主なアプローチは非パラメトリック最大推定(NPMLE)である。 私たちの設定では、Hyv"arinen氏の暗黙のSMは、統計学からの別の古典的アイデアと等価です。
• 参考スコア（独自算出の注目度）: 9.035498732406039
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Given a collection of observed signals corrupted with Gaussian noise, how can we learn to optimally denoise them? This fundamental problem arises in both empirical Bayes and generative modeling. In empirical Bayes, the predominant approach is via nonparametric maximum likelihood estimation (NPMLE), while in generative modeling, score matching (SM) methods have proven very successful. In our setting, Hyv\"arinen's implicit SM is equivalent to another classical idea from statistics -- Stein's Unbiased Risk Estimate (SURE). Revisiting SURE minimization, we establish, for the first time, that SURE achieves nearly parametric rates of convergence of the regret in the classical empirical Bayes setting with homoscedastic noise. We also prove that SURE-training can achieve fast rates of convergence to the oracle denoiser in a commonly studied misspecified model. In contrast, the NPMLE may not even converge to the oracle denoiser under misspecification of the class of signal distributions. We show how to practically implement our method in settings involving heteroscedasticity and side-information, such as in an application to the estimation of economic mobility in the Opportunity Atlas. Our empirical results demonstrate the superior performance of SURE-training over NPMLE under misspecification. Collectively, our findings advance SURE/SM as a strong alternative to the NPMLE for empirical Bayes problems in both theory and practice.
• Abstract（参考訳）: ガウスノイズで劣化した観測信号の集合を考えると、どのように最適にノイズを分解するかを学ぶことができるのか? この根本的な問題は経験的ベイズと生成的モデリングの両方で生じる。 経験的ベイズでは、非パラメトリック最大推定(NPMLE)が主流であるが、生成モデルではスコアマッチング(SM)法は非常に成功した。 私たちの設定では、Hyv\"arinen氏の暗黙のSMは、統計学からの別の古典的アイデア、すなわちStein氏の"Unbiased Risk Estimate"(SURE)と等価です。 SURE の最小化を再考した結果,SURE は古典的経験的ベイズにおける相似雑音による後悔の収束のほぼパラメトリックな速度を初めて達成した。 また、SUREトレーニングは、一般に研究されている不特定モデルにおいて、オラクル・デノイザーへの収束速度を高速に達成できることを示す。 対照的に、NPMLEは信号分布の分類の誤特定の下で、オラクル・デノイザーに収束することができない。 本稿では,不均質度と側情報を含む設定において,オポチュニティアトラスの経済移動度推定への応用など,我々の手法を実際に実装する方法を示す。 実験の結果,NPMLEよりもSURE訓練が優れていることが示された。 以上の結果から,SURE/SMは理論と実践の両面で経験的ベイズ問題に対するNPMLEの強力な代替品として進歩した。

関連論文リスト

• Estimation of discrete distributions in relative entropy, and the deviations of the missing mass [3.4265828682659705]
  我々は、相対エントロピーで測定された精度で、I.d.サンプルから有限アルファベット上の分布を推定する問題について検討する。 最適なリスク境界が知られているが、高い確率保証は十分に理解されていない。
  論文  参考訳（メタデータ） (2025-04-30T16:47:10Z)
• Towards Self-Supervised Covariance Estimation in Deep Heteroscedastic Regression [102.24287051757469]
  深部異方性回帰における自己教師付き共分散推定について検討する。 正規分布の間の2-ワッサーシュタイン距離の上界を導出する。 幅広い合成データセットと実データセットに対する実験により、提案された2-ワッサーシュタインと擬似ラベルアノテーションが結合した結果、計算的に安価で正確な深部ヘテロ代用回帰が導かれることが示された。
  論文  参考訳（メタデータ） (2025-02-14T22:37:11Z)
• Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
  本報告では,明示的な次元の一般スコアミスマッチ拡散サンプリング器を用いた最初の性能保証について述べる。 その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。 この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
  論文  参考訳（メタデータ） (2024-10-17T16:42:12Z)
• Contextual Optimization under Covariate Shift: A Robust Approach by Intersecting Wasserstein Balls [18.047245099229325]
  2つのワッサーシュタイン球の交叉によって設定されたあいまいさを利用する分布的ロバストなアプローチを提案する。 提案したモデルの強烈な経験的性能を実証する。
  論文  参考訳（メタデータ） (2024-06-04T15:46:41Z)
• Collaborative Heterogeneous Causal Inference Beyond Meta-analysis [68.4474531911361]
  異種データを用いた因果推論のための協調的逆確率スコア推定器を提案する。 異質性の増加に伴うメタアナリシスに基づく手法に対して,本手法は有意な改善を示した。
  論文  参考訳（メタデータ） (2024-04-24T09:04:36Z)
• An analysis of the noise schedule for score-based generative models [7.180235086275926]
  スコアベース生成モデル(SGM)は、目標からのノイズ摂動サンプルのみを用いてスコア関数を学習することにより、目標データ分布を推定することを目的としている。 近年の文献では、ターゲットと推定分布の誤差を評価し、KL(Kulback-Leibler)の発散とワッサーシュタイン距離を通じて生成品質を測ることに重点を置いている。 対象と推定分布のKL分散の上限を時間依存ノイズスケジュールによって明確に設定する。
  論文  参考訳（メタデータ） (2024-02-07T08:24:35Z)
• On diffusion-based generative models and their error bounds: The log-concave case with full convergence estimates [5.13323375365494]
  我々は,強い対数対数データの下での拡散に基づく生成モデルの収束挙動を理論的に保証する。 スコア推定に使用される関数のクラスは、スコア関数上のリプシッツネスの仮定を避けるために、リプシッツ連続関数からなる。 この手法はサンプリングアルゴリズムにおいて最もよく知られた収束率をもたらす。
  論文  参考訳（メタデータ） (2023-11-22T18:40:45Z)
• TIC-TAC: A Framework for Improved Covariance Estimation in Deep Heteroscedastic Regression [109.69084997173196]
  奥行き回帰は、予測分布の平均と共分散を負の対数類似度を用いて共同最適化する。 近年の研究では, 共分散推定に伴う課題により, 準最適収束が生じる可能性が示唆されている。 1)予測共分散は予測平均のランダム性を真に捉えているか? その結果, TICは共分散を正確に学習するだけでなく, 負の対数類似性の収束性の向上も促進することがわかった。
  論文  参考訳（メタデータ） (2023-10-29T09:54:03Z)
• Statistical Estimation Under Distribution Shift: Wasserstein Perturbations and Minimax Theory [24.540342159350015]
  我々はWasserstein分布シフトに注目し、各データポイントがわずかに摂動する可能性がある。 データポイント間の独立あるいは協調的な関節シフトである摂動について検討する。 位置推定,線形回帰,非パラメトリック密度推定など,いくつかの重要な統計問題を解析する。
  論文  参考訳（メタデータ） (2023-08-03T16:19:40Z)
• Statistically Optimal Generative Modeling with Maximum Deviation from the Empirical Distribution [2.1146241717926664]
  本稿では, 左非可逆なプッシュフォワード写像に制約されたワッサーシュタインGANが, 複製を回避し, 経験的分布から著しく逸脱する分布を生成することを示す。 我々の最も重要な寄与は、生成分布と経験的分布の間のワッサーシュタイン-1距離の有限サンプル下界を与える。 また、生成分布と真のデータ生成との距離に有限サンプル上限を確立する。
  論文  参考訳（メタデータ） (2023-07-31T06:11:57Z)
• Variational Refinement for Importance Sampling Using the Forward Kullback-Leibler Divergence [77.06203118175335]
  変分推論(VI)はベイズ推論における正確なサンプリングの代替として人気がある。 重要度サンプリング(IS)は、ベイズ近似推論手順の推定を微調整し、偏りを逸脱するためにしばしば用いられる。 近似ベイズ推論のための最適化手法とサンプリング手法の新たな組み合わせを提案する。
  論文  参考訳（メタデータ） (2021-06-30T11:00:24Z)
• Generative Modeling with Denoising Auto-Encoders and Langevin Sampling [88.83704353627554]
  DAEとDSMの両方がスムーズな人口密度のスコアを推定することを示した。 次に、この結果をarXiv:1907.05600のホモトピー法に適用し、その経験的成功を理論的に正当化する。
  論文  参考訳（メタデータ） (2020-01-31T23:50:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。