論文の概要: On the Effect of Regularization on Nonparametric Mean-Variance Regression

• arxiv url: http://arxiv.org/abs/2511.22004v1
• Date: Thu, 27 Nov 2025 01:09:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-01 19:47:55.345206
• Title: On the Effect of Regularization on Nonparametric Mean-Variance Regression
• Title（参考訳）: 非パラメトリック平均変動回帰に対する正規化の効果について
• Authors: Eliot Wong-Toi, Alex Boyd, Vincent Fortuin, Stephan Mandt,
• Abstract要約: 実験結果と一致して観測された相転移を捉える統計場理論フレームワークを開発した。 UCIデータセットと大規模ClimSimデータセットの実験は、堅牢な校正性能を示し、予測の不確実性を効果的に定量化している。
• 参考スコア（独自算出の注目度）: 22.758981850171548
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Uncertainty quantification is vital for decision-making and risk assessment in machine learning. Mean-variance regression models, which predict both a mean and residual noise for each data point, provide a simple approach to uncertainty quantification. However, overparameterized mean-variance models struggle with signal-to-noise ambiguity, deciding whether prediction targets should be attributed to signal (mean) or noise (variance). At one extreme, models fit all training targets perfectly with zero residual noise, while at the other, they provide constant, uninformative predictions and explain the targets as noise. We observe a sharp phase transition between these extremes, driven by model regularization. Empirical studies with varying regularization levels illustrate this transition, revealing substantial variability across repeated runs. To explain this behavior, we develop a statistical field theory framework, which captures the observed phase transition in alignment with experimental results. This analysis reduces the regularization hyperparameter search space from two dimensions to one, significantly lowering computational costs. Experiments on UCI datasets and the large-scale ClimSim dataset demonstrate robust calibration performance, effectively quantifying predictive uncertainty.
• Abstract（参考訳）: 不確実性定量化は、機械学習における意思決定とリスク評価に不可欠である。 各データポイントの平均ノイズと残留ノイズの両方を予測する平均分散回帰モデルは、不確実性定量化への簡単なアプローチを提供する。 しかし、過パラメータ化平均分散モデルは信号と雑音のあいまいさに苦慮し、予測対象が信号(平均)かノイズ(分散)に起因するかどうかを決定する。 極端に言えば、モデルはすべてのトレーニング対象をゼロ残差ノイズに完全に適合させるが、他方では、一定の非形式的予測を提供し、ターゲットをノイズとして説明する。 モデル正規化によって駆動されるこれらの極端間の急激な相転移を観察する。 様々な正規化レベルを持つ実証的研究は、この遷移を示し、反復的な実行におけるかなりの変動を明らかにしている。 この振る舞いを説明するために,観測された相転移を実験結果に合わせる統計場理論フレームワークを開発した。 この解析により、正規化ハイパーパラメータ探索空間を2次元から1次元に減らし、計算コストを大幅に削減する。 UCIデータセットと大規模ClimSimデータセットの実験は、堅牢な校正性能を示し、予測の不確実性を効果的に定量化している。

関連論文リスト

• Effective Causal Discovery under Identifiable Heteroscedastic Noise Model [45.98718860540588]
  因果DAG学習は、最近精度と効率の両面で有望な性能を達成した。 本稿では,変数間のノイズ分散の変動を考慮したDAG学習のための新しい定式化を提案する。 次に、最適化の難しさに対処する効果的な2相反復DAG学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-12-20T08:51:58Z)
• Selective Nonparametric Regression via Testing [54.20569354303575]
  本研究では,所定の点における条件分散の値に関する仮説を検証し,留置手順を開発する。 既存の手法とは異なり、提案手法は分散自体の値だけでなく、対応する分散予測器の不確実性についても考慮することができる。
  論文  参考訳（メタデータ） (2023-09-28T13:04:11Z)
• Quantifying predictive uncertainty of aphasia severity in stroke patients with sparse heteroscedastic Bayesian high-dimensional regression [47.1405366895538]
  高次元データに対する疎線型回帰法は、通常、残留物が一定の分散を持つと仮定するが、これは実際には破ることができる。 本稿では,ヘテロセダスティック分割経験的ベイズ期待条件最大化アルゴリズムを用いて,高次元ヘテロセダスティック線形回帰モデルを推定する。
  論文  参考訳（メタデータ） (2023-09-15T22:06:29Z)
• Understanding Pathologies of Deep Heteroskedastic Regression [25.509884677111344]
  ヘテロスケダスティックモデルは各データポイントの平均ノイズと残留ノイズの両方を予測する。 極端に言えば、これらのモデルはすべてのトレーニングデータを完璧に適合させ、残音を完全に排除する。 他方では、一定で非形式的な平均を予測しながら残音を過度に補正する。 中間地盤の欠如を観察し, モデル正則化強度に依存する相転移を示唆した。
  論文  参考訳（メタデータ） (2023-06-29T06:31:27Z)
• Variational Imbalanced Regression: Fair Uncertainty Quantification via Probabilistic Smoothing [11.291393872745951]
  既存の回帰モデルは、ラベル分布が不均衡である場合、精度と不確実性の推定の両方において不足する傾向にある。 変分不均衡回帰(VIR)と呼ばれる確率的深層学習モデルを提案する。 VIRは不均衡回帰において良好に機能するが、自然に副産物として妥当な不確かさを推定する。
  論文  参考訳（メタデータ） (2023-06-11T06:27:06Z)
• Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
  経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。 分散による離散乗法雑音のパラメータによく現れることを示す。 最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
  論文  参考訳（メタデータ） (2020-06-11T09:58:01Z)
• Balance-Subsampled Stable Prediction [55.13512328954456]
  本稿では, 分数分解設計理論に基づく新しいバランスサブサンプル安定予測法を提案する。 設計理論解析により,提案手法は分布シフトによって誘導される予測器間の共起効果を低減できることを示した。 合成および実世界の両方のデータセットに関する数値実験により、BSSPアルゴリズムは未知のテストデータ間で安定した予測を行うためのベースライン法を著しく上回っていることが示された。
  論文  参考訳（メタデータ） (2020-06-08T07:01:38Z)
• Stable Prediction with Model Misspecification and Agnostic Distribution Shift [41.26323389341987]
  機械学習アルゴリズムでは、2つの主要な仮定が性能を保証するために必要である。 1つは、トレーニングデータと同じ分布からテストデータが引き出され、もう1つは、モデルが正しく指定されていることである。 モデルのミススペクテーションの下では、トレーニングデータとテストデータの間の分布シフトは、パラメータ推定の不正確さと未知のテストデータ間の予測の不安定性をもたらす。 可変デコリレーション正規化器と重み付き回帰モデルとを協調的に最適化する新しいDecororrelated Weighting Regression (DWR)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-01-31T08:56:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。