論文の概要: Precise Performance of Linear Denoisers in the Proportional Regime

• arxiv url: http://arxiv.org/abs/2603.18483v1
• Date: Thu, 19 Mar 2026 04:37:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-20 17:19:05.958549
• Title: Precise Performance of Linear Denoisers in the Proportional Regime
• Title（参考訳）: 正規正規化における線形デノイザーの高精度化
• Authors: Reza Ghane, Danil Akhtiamov, Babak Hassibi,
• Abstract要約: データ自体からリニアなdenoiser$mathbfW$をトレーニングします。 我々の数値シミュレーションは、多くのシナリオにおいて、我々のデノイザが経験的ウィナーフィルタよりも優れていることを示している。
• 参考スコア（独自算出の注目度）: 14.991382702354924
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In the present paper we study the performance of linear denoisers for noisy data of the form $\mathbf{x} + \mathbf{z}$, where $\mathbf{x} \in \mathbb{R}^d$ is the desired data with zero mean and unknown covariance $\mathbfΣ$, and $\mathbf{z} \sim \mathcal{N}(0, \mathbfΣ_{\mathbf{z}})$ is additive noise. Since the covariance $\mathbfΣ$ is not known, the standard Wiener filter cannot be employed for denoising. Instead we assume we are given samples $\mathbf{x}_1,\dots,\mathbf{x}_n \in \mathbb{R}^d$ from the true distribution. A standard approach would then be to estimate $\mathbfΣ$ from the samples and use it to construct an ``empirical" Wiener filter. However, in this paper, motivated by the denoising step in diffusion models, we take a different approach whereby we train a linear denoiser $\mathbf{W}$ from the data itself. In particular, we synthetically construct noisy samples $\hat{\mathbf{x}}_i$ of the data by injecting the samples with Gaussian noise with covariance $\mathbfΣ_1 \neq \mathbfΣ_{\mathbf{z}}$ and find the best $\mathbf{W}$ that approximates $\mathbf{W}\hat{\mathbf{x}}_i \approx \mathbf{x}_i$ in a least-squares sense. In the proportional regime $\frac{n}{d} \rightarrow κ> 1$ we use the {\it Convex Gaussian Min-Max Theorem (CGMT)} to analytically find the closed form expression for the generalization error of the denoiser obtained from this process. Using this expression one can optimize over $\mathbfΣ_1$ to find the best possible denoiser. Our numerical simulations show that our denoiser outperforms the ``empirical" Wiener filter in many scenarios and approaches the optimal Wiener filter as $κ\rightarrow\infty$.
• Abstract（参考訳）: 本論では, 雑音データに対して, $\mathbf{x} + \mathbf{z}$, ここで, $\mathbf{x} \in \mathbb{R}^d$ は平均がゼロで未知の共分散を持つ所望のデータであり, $\mathbf{z} \sim \mathcal{N}(0, \mathbfΣmathbf{z}})$ は加法ノイズである。 共分散$\mathbfΣ$は知られていないので、標準のWienerフィルタは denoising には使用できない。 代わりに、真分布からサンプル $\mathbf{x}_1,\dots,\mathbf{x}_n \in \mathbb{R}^d$ が与えられると仮定する。 標準的なアプローチは、サンプルから$\mathbfΣ$を推定し、それを `empirical" Wienerフィルタを構築することである。 しかし,拡散モデルにおけるデノイングのステップに動機づけられた本論文では,データ自体から線形デノイザ$\mathbf{W}$をトレーニングする別のアプローチをとる。 特に、サンプルを共分散$\mathbfΣ_1 \neq \mathbfΣ_{\mathbf{z}}$でガウス雑音で注入することで、データのノイズのあるサンプル$\hat{\mathbf{x}}_i$を合成し、最小二乗意味で$\mathbf{W}\hat{\mathbf{x}}_i \approx \mathbf{x}_i$を近似する最良の$\mathbf{W}$を求める。 比例的レギュレーション $\frac{n}{d} \rightarrow κ> 1$ では、この過程から得られるデノイザーの一般化誤差に対する閉形式式を解析的に見つけるために、ガウスのMin-Max Theorem (CGMT) を用いる。 この式を使えば$\mathbfΣ_1$を最適化して、最高のデノイザを見つけることができる。 我々の数値シミュレーションは、多くのシナリオにおいて「経験的」なウィーナーフィルタよりも優れており、最適なウィーナーフィルタに$κ\rightarrow\infty$としてアプローチしていることを示している。

関連論文リスト

• A Black-Box Debiasing Framework for Conditional Sampling [18.132736654624058]
  条件付きサンプリングはベイズ統計学および生成モデルにおける基本的な課題である。 本稿では,このようなナイーブなプラグインアプローチの精度を向上させるブラックボックスデバイアス方式を提案する。
  論文  参考訳（メタデータ） (2025-10-13T07:11:27Z)
• Information-Computation Tradeoffs for Noiseless Linear Regression with Oblivious Contamination [65.37519531362157]
  このタスクに対する効率的な統計的クエリアルゴリズムは、VSTATの複雑さを少なくとも$tildeOmega(d1/2/alpha2)$で要求する。
  論文  参考訳（メタデータ） (2025-10-12T15:42:44Z)
• Outsourced diffusion sampling: Efficient posterior inference in latent spaces of generative models [65.71506381302815]
  本稿では、$p(mathbfxmidmathbfy) propto p_theta(mathbfx)$ という形式の後続分布からサンプリングするコストを償却する。 多くのモデルや制約に対して、後部ノイズ空間はデータ空間よりも滑らかであり、償却推論により適している。
  論文  参考訳（メタデータ） (2025-02-10T19:49:54Z)
• Sample and Computationally Efficient Robust Learning of Gaussian Single-Index Models [37.42736399673992]
  シングルインデックスモデル (SIM) は $sigma(mathbfwast cdot mathbfx)$ という形式の関数であり、$sigma: mathbbR to mathbbR$ は既知のリンク関数であり、$mathbfwast$ は隠れ単位ベクトルである。 適切な学習者が$L2$-error of $O(mathrmOPT)+epsilon$。
  論文  参考訳（メタデータ） (2024-11-08T17:10:38Z)
• Provably learning a multi-head attention layer [55.2904547651831]
  マルチヘッドアテンション層は、従来のフィードフォワードモデルとは分離したトランスフォーマーアーキテクチャの重要な構成要素の1つである。 本研究では,ランダムな例から多面的注意層を実証的に学習する研究を開始する。 最悪の場合、$m$に対する指数的依存は避けられないことを示す。
  論文  参考訳（メタデータ） (2024-02-06T15:39:09Z)
• Sample Complexity Bounds for Learning High-dimensional Simplices in Noisy Regimes [5.526935605535376]
  ノイズの多いサンプルから単純さを学習するために、サンプルの複雑さが結びついているのがわかります。 我々は、$mathrmSNRgeOmegaleft(K1/2right)$ である限り、ノイズのないシステムのサンプルの複雑さは、ノイズのないケースのそれと同じ順序であることを示す。
  論文  参考訳（メタデータ） (2022-09-09T23:35:25Z)
• Learning a Single Neuron with Adversarial Label Noise via Gradient Descent [50.659479930171585]
  モノトン活性化に対する $mathbfxmapstosigma(mathbfwcdotmathbfx)$ の関数について検討する。 学習者の目標は仮説ベクトル $mathbfw$ that $F(mathbbw)=C, epsilon$ を高い確率で出力することである。
  論文  参考訳（メタデータ） (2022-06-17T17:55:43Z)
• Multimeasurement Generative Models [7.502947376736449]
  我々は、密度$p_X$ in $mathbbRd$を未知分布からサンプリングする問題を学習とサンプリングの問題を$p_mathbfY$ in $mathbbRMd$とする。
  論文  参考訳（メタデータ） (2021-12-18T02:11:36Z)
• Random matrices in service of ML footprint: ternary random features with no performance loss [55.30329197651178]
  我々は、$bf K$ の固有スペクトルが$bf w$ の i.d. 成分の分布とは独立であることを示す。 3次ランダム特徴(TRF)と呼ばれる新しいランダム手法を提案する。 提案したランダムな特徴の計算には乗算が不要であり、古典的なランダムな特徴に比べてストレージに$b$のコストがかかる。
  論文  参考訳（メタデータ） (2021-10-05T09:33:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。