論文の概要: Faithful Heteroscedastic Regression with Neural Networks

• arxiv url: http://arxiv.org/abs/2212.09184v1
• Date: Sun, 18 Dec 2022 22:34:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-20 15:17:48.741052
• Title: Faithful Heteroscedastic Regression with Neural Networks
• Title（参考訳）: ニューラルネットワークを用いたFhiithful Heteroscedastic Regression
• Authors: Andrew Stirn, Hans-Hermann Wessels, Megan Schertzer, Laura Pereira, Neville E. Sanjana, David A. Knowles
• Abstract要約: パラメータマップにニューラルネットワークを使用するパラメトリックメソッドは、データ内の複雑な関係をキャプチャすることができる。 ヘテロスセダティックなモデルを生成するために最適化に2つの簡単な修正を加え、ホモスセダティックなモデルとほぼ同等の精度で推定する。 提案手法は,等しくフレキシブルな平均値のみのモデルの精度を維持しつつ,クラスごとの分散キャリブレーションも提供する。
• 参考スコア（独自算出の注目度）: 2.2835610890984164
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Heteroscedastic regression models a Gaussian variable's mean and variance as a function of covariates. Parametric methods that employ neural networks for these parameter maps can capture complex relationships in the data. Yet, optimizing network parameters via log likelihood gradients can yield suboptimal mean and uncalibrated variance estimates. Current solutions side-step this optimization problem with surrogate objectives or Bayesian treatments. Instead, we make two simple modifications to optimization. Notably, their combination produces a heteroscedastic model with mean estimates that are provably as accurate as those from its homoscedastic counterpart (i.e.~fitting the mean under squared error loss). For a wide variety of network and task complexities, we find that mean estimates from existing heteroscedastic solutions can be significantly less accurate than those from an equivalently expressive mean-only model. Our approach provably retains the accuracy of an equally flexible mean-only model while also offering best-in-class variance calibration. Lastly, we show how to leverage our method to recover the underlying heteroscedastic noise variance.
• Abstract（参考訳）: ヘテロシデスティック回帰は、ガウス変数の平均と共変量の関数としての分散をモデル化する。 これらのパラメータマップにニューラルネットワークを使用するパラメトリックメソッドは、データ内の複雑な関係を捉えることができる。 しかし、対数確率勾配によるネットワークパラメータの最適化は、最適下限平均と非校正分散推定をもたらす。 現在のソリューションでは、この最適化問題を代理目的やベイズ処理で横取りしている。 代わりに、最適化に2つの簡単な修正を加えます。 特に、それらの組み合わせは、平均推定値がホモスセダティックモデルと同等に正確である(すなわち、平均値が二乗誤差損失に収まる)ヘテロスセダティックモデルを生成する。 様々なネットワークとタスクの複雑さに対して、既存のヘテロシデスティックな解からの平均推定は、同等に表現力のある平均のみのモデルよりはるかに精度が低いことが判明した。 我々のアプローチは、等しく柔軟な平均のみのモデルの精度を維持しつつ、クラス内分散キャリブレーションも提供します。 最後に,提案手法を応用して,基礎となるヘテロシステアシスノイズの分散を回復する方法を示す。

関連論文リスト

• Variational Bayesian surrogate modelling with application to robust design optimisation [0.9626666671366836]
  サロゲートモデルは複雑な計算モデルに対して素早く評価できる近似を提供する。 入力の不確かさと次元減少を伴う統計的代理を構築するためのベイズ推定について考察する。 コスト関数がモデル出力の平均および標準偏差の重み付け和に依存するような本質的で頑健な構造最適化問題を示す。
  論文  参考訳（メタデータ） (2024-04-23T09:22:35Z)
• Structured Radial Basis Function Network: Modelling Diversity for Multiple Hypotheses Prediction [51.82628081279621]
  多重モード回帰は非定常過程の予測や分布の複雑な混合において重要である。 構造的放射基底関数ネットワークは回帰問題に対する複数の仮説予測器のアンサンブルとして提示される。 この構造モデルにより, このテッセルレーションを効率よく補間し, 複数の仮説対象分布を近似することが可能であることが証明された。
  論文  参考訳（メタデータ） (2023-09-02T01:27:53Z)
• A probabilistic, data-driven closure model for RANS simulations with aleatoric, model uncertainty [1.8416014644193066]
  本稿では,レノルズ平均Navier-Stokes (RANS) シミュレーションのためのデータ駆動閉包モデルを提案する。 パラメトリック閉包が不十分な問題領域内の領域を特定するために,完全ベイズ的定式化と余剰誘導先行法を組み合わせて提案する。
  論文  参考訳（メタデータ） (2023-07-05T16:53:31Z)
• Equivariance Discovery by Learned Parameter-Sharing [153.41877129746223]
  データから解釈可能な等価性を発見する方法について検討する。 具体的には、モデルのパラメータ共有方式に対する最適化問題として、この発見プロセスを定式化する。 また,ガウスデータの手法を理論的に解析し,研究された発見スキームとオラクルスキームの間の平均2乗ギャップを限定する。
  論文  参考訳（メタデータ） (2022-04-07T17:59:19Z)
• Training on Test Data with Bayesian Adaptation for Covariate Shift [96.3250517412545]
  ディープニューラルネットワークは、信頼できない不確実性推定で不正確な予測を行うことが多い。 分布シフトの下でのラベルなし入力とモデルパラメータとの明確に定義された関係を提供するベイズモデルを導出する。 本手法は精度と不確実性の両方を向上することを示す。
  論文  参考訳（メタデータ） (2021-09-27T01:09:08Z)
• Variational Inference with NoFAS: Normalizing Flow with Adaptive Surrogate for Computationally Expensive Models [7.217783736464403]
  マルコフ連鎖モンテカルロのようなサンプリングに基づくアプローチの使用は、それぞれの可能性評価が計算的に高価であるときに難解になる可能性がある。 変分推論と正規化フローを組み合わせた新しいアプローチは、潜在変数空間の次元と線形にしか成長しない計算コストによって特徴づけられる。 本稿では,ニューラルネットワークサロゲートモデルの正規化フローパラメータと重みを代わりに更新する最適化戦略である,適応サロゲートを用いた正規化フロー(NoFAS)を提案する。
  論文  参考訳（メタデータ） (2021-08-28T14:31:45Z)
• Sampling-free Variational Inference for Neural Networks with Multiplicative Activation Noise [51.080620762639434]
  サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。 提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
  論文  参考訳（メタデータ） (2021-03-15T16:16:18Z)
• Learning Invariances in Neural Networks [51.20867785006147]
  ネットワークパラメータや拡張パラメータに関して,拡張性よりも分布をパラメータ化し,トレーニング損失を同時に最適化する方法を示す。 画像分類,回帰,セグメンテーション,分子特性予測における不均一性の正確なセットと範囲を,拡張の広い空間から復元することができる。
  論文  参考訳（メタデータ） (2020-10-22T17:18:48Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)
• Variational Variance: Simple, Reliable, Calibrated Heteroscedastic Noise Variance Parameterization [3.553493344868413]
  本稿では,予測平均と分散キャリブレーションを検証し,予測分布が有意義なデータを生成する能力を評価するための批評を提案する。 ヘテロセダスティックな分散を多変量に処理するためには、これらのPPCを通過させるために分散を十分に規則化する必要がある。
  論文  参考訳（メタデータ） (2020-06-08T19:58:35Z)
• Amortized variance reduction for doubly stochastic objectives [17.064916635597417]
  複素確率モデルにおける近似推論は二重目的関数の最適化を必要とする。 現在のアプローチでは、ミニバッチがサンプリング性にどのように影響するかを考慮せず、結果として準最適分散が減少する。 本稿では,認識ネットワークを用いて各ミニバッチに対して最適な制御変数を安価に近似する手法を提案する。
  論文  参考訳（メタデータ） (2020-03-09T13:23:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。