論文の概要: Why the noise model matters: A performance gap in learned regularization

• arxiv url: http://arxiv.org/abs/2510.12521v1
• Date: Tue, 14 Oct 2025 13:44:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-15 19:02:32.337204
• Title: Why the noise model matters: A performance gap in learned regularization
• Title（参考訳）: なぜノイズモデルが重要か:学習正規化における性能差
• Authors: Sebastian Banert, Christoph Brauer, Dirk Lorenz, Lionel Tondji,
• Abstract要約: ノイズモデルが明示的に学習されていない場合、異なるタイプの正規化が異なる結果をもたらすことを示す。 本研究は,データ駆動型正規化におけるノイズ統計の正確なモデリングやコラーニングの意義を明らかにするものである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This article addresses the challenge of learning effective regularizers for linear inverse problems. We analyze and compare several types of learned variational regularization against the theoretical benchmark of the optimal affine reconstruction, i.e. the best possible affine linear map for minimizing the mean squared error. It is known that this optimal reconstruction can be achieved using Tikhonov regularization, but this requires precise knowledge of the noise covariance to properly weight the data fidelity term. However, in many practical applications, noise statistics are unknown. We therefore investigate the performance of regularization methods learned without access to this noise information, focusing on Tikhonov, Lavrentiev, and quadratic regularization. Our theoretical analysis and numerical experiments demonstrate that for non-white noise, a performance gap emerges between these methods and the optimal affine reconstruction. Furthermore, we show that these different types of regularization yield distinct results, highlighting that the choice of regularizer structure is critical when the noise model is not explicitly learned. Our findings underscore the significant value of accurately modeling or co-learning noise statistics in data-driven regularization.
• Abstract（参考訳）: 本稿では,線形逆問題に対する効果的な正則化器の学習の課題について論じる。 平均二乗誤差を最小化するための最適アフィン線形写像である最適アフィン再構成の理論的ベンチマークに対して、学習された数種類の変分正規化を解析・比較する。 この最適再構成は、Tikhonov正則化を用いて達成できることが知られているが、データの忠実度項を適切に重み付けするためには、ノイズ共分散の正確な知識が必要である。 しかし、多くの実用的応用において、ノイズ統計は未知数である。 そこで我々は,このノイズ情報にアクセスせずに学習した正規化手法の性能について,Tikhonov,Lavrentiev,および二次正規化に着目して検討した。 理論的解析と数値実験により,非白色雑音に対して,これらの手法と最適アフィン再構成の間に性能ギャップが生じることが示された。 さらに、これらの異なるタイプの正規化が異なる結果をもたらすことを示し、ノイズモデルが明示的に学習されない場合、正規化器構造の選択が重要であることを強調した。 本研究は,データ駆動型正規化におけるノイズ統計の正確なモデリングやコラーニングの意義を明らかにするものである。

関連論文リスト

• Why Heuristic Weighting Works: A Theoretical Analysis of Denoising Score Matching [7.800608181419997]
  重み付け関数は 正式な正当性を持たずに スコアマッチングの損失を 本研究では,ヘテロサスティック性が聴取スコアマッチング目的の固有の性質であることを実証する。 この知見は、一般化された任意の順序の採点損失に対する最適重み付け関数の原理的導出につながる。
  論文  参考訳（メタデータ） (2025-08-03T05:35:20Z)
• Information limits and Thouless-Anderson-Palmer equations for spiked matrix models with structured noise [19.496063739638924]
  構造スパイクモデルに対するベイズ推定の飽和問題を考える。 適応的なThouless-Anderson-Palmer方程式の理論にインスパイアされた効率的なアルゴリズムを用いて、統計的限界を予測する方法を示す。
  論文  参考訳（メタデータ） (2024-05-31T16:38:35Z)
• Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
  異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。 本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-06T14:49:59Z)
• Optimizing the Noise in Self-Supervised Learning: from Importance Sampling to Noise-Contrastive Estimation [80.07065346699005]
  GAN(Generative Adversarial Networks)のように、最適な雑音分布はデータ分布に等しくなると広く想定されている。 我々は、この自己教師型タスクをエネルギーベースモデルの推定問題として基礎づけるノイズ・コントラスト推定に目を向ける。 本研究は, 最適雑音のサンプリングは困難であり, 効率性の向上は, データに匹敵する雑音分布を選択することに比べ, 緩やかに行うことができると結論付けた。
  論文  参考訳（メタデータ） (2023-01-23T19:57:58Z)
• The Optimal Noise in Noise-Contrastive Learning Is Not What You Think [80.07065346699005]
  この仮定から逸脱すると、実際により良い統計的推定結果が得られることが示される。 特に、最適な雑音分布は、データと異なり、また、別の家族からさえも異なる。
  論文  参考訳（メタデータ） (2022-03-02T13:59:20Z)
• A Priori Denoising Strategies for Sparse Identification of Nonlinear Dynamical Systems: A Comparative Study [68.8204255655161]
  本研究では, 局所的およびグローバルな平滑化手法の性能と, 状態測定値の偏差について検討・比較する。 一般に,測度データセット全体を用いたグローバルな手法は,局所点の周辺に隣接するデータサブセットを用いる局所的手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-01-29T23:31:25Z)
• Optimizing Information-theoretical Generalization Bounds via Anisotropic Noise in SGLD [73.55632827932101]
  SGLDにおけるノイズ構造を操作することにより,情報理論の一般化を最適化する。 低経験的リスクを保証するために制約を課すことで、最適なノイズ共分散が期待される勾配共分散の平方根であることを証明する。
  論文  参考訳（メタデータ） (2021-10-26T15:02:27Z)
• On the Role of Entropy-based Loss for Learning Causal Structures with Continuous Optimization [27.613220411996025]
  因果構造学習問題を最小二乗損失を用いた連続最適化問題として定式化する。 ガウス雑音の仮定に違反すると因果方向の同定が妨げられることを示す。 より一般的なエントロピーに基づく損失は、任意の雑音分布下での確率スコアと理論的に一致している。
  論文  参考訳（メタデータ） (2021-06-05T08:29:51Z)
• Density Fixing: Simple yet Effective Regularization Method based on the Class Prior [2.3859169601259347]
  本稿では,教師付き・半教師付き学習によく用いられる密度固定法という正規化手法の枠組みを提案する。 提案手法は,モデルの事前分布や発生頻度を近似させることで,一般化性能を向上させる。
  論文  参考訳（メタデータ） (2020-07-08T04:58:22Z)
• Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
  経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。 分散による離散乗法雑音のパラメータによく現れることを示す。 最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
  論文  参考訳（メタデータ） (2020-06-11T09:58:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。