論文の概要: Distributional Shrinkage I: Universal Denoisers in Multi-Dimensions
- arxiv url: http://arxiv.org/abs/2511.09500v1
- Date: Thu, 13 Nov 2025 01:58:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-13 22:34:54.598243
- Title: Distributional Shrinkage I: Universal Denoisers in Multi-Dimensions
- Title(参考訳): 分散収縮 I: マルチ次元におけるユニバーサルデノイザー
- Authors: Tengyuan Liang,
- Abstract要約: 広帯域の信号や雑音の分布に依存しないユニバーサルデノイザを提案し,解析する。
最適輸送理論にインスパイアされた提案デノイザは,モンゲ・アンペア方程式を高次精度で近似するのに最適である。
- 参考スコア(独自算出の注目度): 6.878547831852429
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We revisit the problem of denoising from noisy measurements where only the noise level is known, not the noise distribution. In multi-dimensions, independent noise $Z$ corrupts the signal $X$, resulting in the noisy measurement $Y = X + σZ$, where $σ\in (0, 1)$ is a known noise level. Our goal is to recover the underlying signal distribution $P_X$ from denoising $P_Y$. We propose and analyze universal denoisers that are agnostic to a wide range of signal and noise distributions. Our distributional denoisers offer order-of-magnitude improvements over the Bayes-optimal denoiser derived from Tweedie's formula, if the focus is on the entire distribution $P_X$ rather than on individual realizations of $X$. Our denoisers shrink $P_Y$ toward $P_X$ optimally, achieving $O(σ^4)$ and $O(σ^6)$ accuracy in matching generalized moments and density functions. Inspired by optimal transport theory, the proposed denoisers are optimal in approximating the Monge-Ampère equation with higher-order accuracy, and can be implemented efficiently via score matching. Let $q$ represent the density of $P_Y$; for optimal distributional denoising, we recommend replacing the Bayes-optimal denoiser, \[ \mathbf{T}^*(y) = y + σ^2 \nabla \log q(y), \] with denoisers exhibiting less aggressive distributional shrinkage, \[ \mathbf{T}_1(y) = y + \frac{σ^2}{2} \nabla \log q(y), \] \[ \mathbf{T}_2(y) = y + \frac{σ^2}{2} \nabla \log q(y) - \frac{σ^4}{8} \nabla \left( \frac{1}{2} \| \nabla \log q(y) \|^2 + \nabla \cdot \nabla \log q(y) \right) . \]
- Abstract(参考訳): ノイズレベルのみが知られ、ノイズ分布が分かっていないようなノイズ測定からノイズを除去する問題を再考する。
多次元の場合、独立ノイズ$Z$は信号$X$を破損させ、ノイズ測定$Y = X + σZ$となり、$σ\in (0, 1)$は既知の雑音レベルとなる。
私たちのゴールは、P_Y$を denoising から$P_X$を回収することです。
広帯域の信号や雑音の分布に依存しないユニバーサルデノイザを提案し,解析する。
分布デノイザは、Tweedieの公式から導かれるベイズ最適デノイザに対して、個々の実現ではなく分布全体の$P_X$に焦点をあてる場合、オーダー・オブ・マグニチュードの改善を提供する。
我々のデノイザは$P_Y$を$P_X$に最適に縮め、一般化モーメントと密度関数のマッチングにおける$O(σ^4)$と$O(σ^6)$の精度を達成する。
最適輸送理論に着想を得て,モンジェ=アンペール方程式を高次精度で近似するのに最適であり,スコアマッチングにより効率的に実装することができる。
例えば、$q$ を$P_Y$ の密度を表すとすると、ベイズ最適デノイザーは \[ \mathbf{T}^*(y) = y + σ^2 \nabla \log q(y), \] を、より攻撃的な分布収縮を示すデノイザーに置き換えることを推奨する: \[ \mathbf{T}_1(y) = y + \frac{σ^2}{2} \nabla \log q(y), \] \[ \mathbf{T}_2(y) = y + \frac{σ^2} \nabla \log q(y) - \frac{σ^2} \nabla \log q(y) - \frac{σ^4}{8} \nabla \left(1}{2} \nabla \log q(y) \right) である。
\]
関連論文リスト
- Stochastic Bilevel Optimization with Heavy-Tailed Noise [27.792016944321627]
本稿では,低次問題を強く凸し,高次問題を非定常雑音レベルとするスムーズな二段階最適化について考察する。
論文 参考訳(メタデータ) (2025-09-18T13:37:40Z) - Sign Operator for Coping with Heavy-Tailed Noise in Non-Convex Optimization: High Probability Bounds Under $(L_0, L_1)$-Smoothness [74.18546828528298]
SignSGD with Majority Votingは,Kappakappakappa-1right,Kappakappakappa-1right,Kappakappakappa-1right,Kappakappakappa-1right,Kappaka ppakappa-1right,Kappakappakappa-1right,Kappakappakappa-1right,Kappakappakappa-1right,Kappakappakappa -1right,Kappakappakappa-1right,Kappakappakappa-1right,Kappakappappapa-1right,Kappaを用いて,複雑性の全範囲で堅牢に動作することを示す。
論文 参考訳(メタデータ) (2025-02-11T19:54:11Z) - Mirror Descent Algorithms with Nearly Dimension-Independent Rates for
Differentially-Private Stochastic Saddle-Point Problems [6.431793114484429]
多面体設定における微分プライベートなサドル点の問題を解くために、$sqrtlog(d)/sqrtn + log(d)/[nvarepsilon]2/5$を提案する。
我々のアルゴリズムは、一定の成功率で$sqrtlog(d)/sqrtn + log(d)/[nvarepsilon]2/5$に達することを示す。
論文 参考訳(メタデータ) (2024-03-05T12:28:00Z) - Some Constructions of Private, Efficient, and Optimal $K$-Norm and Elliptic Gaussian Noise [54.34628844260993]
微分プライベートな計算は、しばしば$d$次元統計学の感度に束縛されて始まる。
純粋な微分プライバシーのために、$K$-normメカニズムは統計学の感度空間に合わせた規範を用いてこのアプローチを改善することができる。
本稿では,総和,数,投票の単純な統計量について両問題を解く。
論文 参考訳(メタデータ) (2023-09-27T17:09:36Z) - $L^1$ Estimation: On the Optimality of Linear Estimators [64.76492306585168]
この研究は、条件中央値の線型性を誘導する$X$上の唯一の先行分布がガウス分布であることを示している。
特に、条件分布 $P_X|Y=y$ がすべての$y$に対して対称であるなら、$X$ はガウス分布に従う必要がある。
論文 参考訳(メタデータ) (2023-09-17T01:45:13Z) - Noise Stability Optimization for Finding Flat Minima: A Hessian-based Regularization Approach [18.009376840944284]
本稿では,ヘッセン損失行列を効果的に正規化できるアルゴリズムを提案する。
提案手法は,CLIPとチェーン・オブ・ファインチューニングデータセットの事前学習における一般化の改善に有効である。
論文 参考訳(メタデータ) (2023-06-14T14:58:36Z) - Random quantum circuits transform local noise into global white noise [118.18170052022323]
低忠実度状態におけるノイズランダム量子回路の測定結果の分布について検討する。
十分に弱くユニタリな局所雑音に対して、一般的なノイズ回路インスタンスの出力分布$p_textnoisy$間の相関(線形クロスエントロピーベンチマークで測定)は指数関数的に減少する。
ノイズが不整合であれば、出力分布は、正確に同じ速度で均一分布の$p_textunif$に近づく。
論文 参考訳(メタデータ) (2021-11-29T19:26:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。