論文の概要: Bayesian Inference for Consistent Predictions in Overparameterized Nonlinear Regression
- arxiv url: http://arxiv.org/abs/2404.04498v1
- Date: Sat, 6 Apr 2024 04:22:48 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-09 20:58:47.866744
- Title: Bayesian Inference for Consistent Predictions in Overparameterized Nonlinear Regression
- Title(参考訳): 過パラメータ化非線形回帰における一貫性予測に対するベイズ推論
- Authors: Tomoya Wakayama,
- Abstract要約: 我々は、データ固有のスペクトル構造に基づいて、適応前の手法を拡張する。
リプシッツ連続活性化関数を持つ単一ニューロンモデルに対する後部収縮を確立する。
提案手法は数値シミュレーションと実データアプリケーションを用いて検証する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The remarkable generalization performance of overparameterized models has challenged the conventional wisdom of statistical learning theory. While recent theoretical studies have shed light on this behavior in linear models or nonlinear classifiers, a comprehensive understanding of overparameterization in nonlinear regression remains lacking. This paper explores the predictive properties of overparameterized nonlinear regression within the Bayesian framework, extending the methodology of adaptive prior based on the intrinsic spectral structure of the data. We establish posterior contraction for single-neuron models with Lipschitz continuous activation functions and for generalized linear models, demonstrating that our approach achieves consistent predictions in the overparameterized regime. Moreover, our Bayesian framework allows for uncertainty estimation of the predictions. The proposed method is validated through numerical simulations and a real data application, showcasing its ability to achieve accurate predictions and reliable uncertainty estimates. Our work advances the theoretical understanding of the blessing of overparameterization and offers a principled Bayesian approach for prediction in large nonlinear models.
- Abstract(参考訳): 過パラメータ化モデルの顕著な一般化性能は、従来の統計学習理論の知恵に挑戦している。
最近の理論的研究は、線形モデルや非線形分類器におけるこの挙動に光を当てているが、非線形回帰における過度パラメータ化の包括的理解はいまだに欠けている。
本稿では,ベイズフレームワーク内での過パラメータ化非線形回帰の予測特性について検討し,本質的なスペクトル構造に基づく適応前の手法を拡張した。
我々は、リプシッツ連続活性化関数を持つ単一ニューロンモデルと一般化線形モデルに対する後部収縮を確立し、我々のアプローチが過パラメータ化された状態において一貫した予測を達成できることを実証した。
さらに、ベイジアン・フレームワークは予測の不確実性の推定を可能にする。
提案手法は数値シミュレーションと実データアプリケーションを用いて検証し,精度の高い予測と信頼性の高い不確実性推定を行う能力を示す。
我々の研究は、過パラメータ化の祝福に関する理論的理解を前進させ、大きな非線形モデルにおける予測に対する原理化されたベイズ的アプローチを提供する。
関連論文リスト
- Deep Non-Parametric Time Series Forecaster [19.800783133682955]
提案手法は, 予測分布のパラメトリック形式を仮定せず, 学習可能な戦略に従って実験分布からサンプリングして予測を生成する。
提案手法のグローバルバージョンを開発し,複数の時系列にまたがる情報を活用することで,サンプリング戦略を自動的に学習する。
論文 参考訳(メタデータ) (2023-12-22T12:46:30Z) - A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。
オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
論文 参考訳(メタデータ) (2023-11-13T01:48:08Z) - Selective Nonparametric Regression via Testing [54.20569354303575]
本研究では,所定の点における条件分散の値に関する仮説を検証し,留置手順を開発する。
既存の手法とは異なり、提案手法は分散自体の値だけでなく、対応する分散予測器の不確実性についても考慮することができる。
論文 参考訳(メタデータ) (2023-09-28T13:04:11Z) - Bayesian Analysis for Over-parameterized Linear Model without Sparsity [8.1585306387285]
本研究では,データ共分散行列の固有ベクトルに依存する事前分布を用いたベイズ的手法を提案する。
また、導出した後続推定の収縮率も提供し、後続分布のガウス近似を計算した。
これらの結果は,データスペクトルを処理し,非スパースな高次元パラメータを推定できるベイズ的手法が実現可能であることを示唆している。
論文 参考訳(メタデータ) (2023-05-25T06:07:47Z) - Time varying regression with hidden linear dynamics [74.9914602730208]
線形力学系に従って未知のパラメータが進化することを前提とした時間変化線形回帰モデルを再検討する。
反対に、基礎となる力学が安定である場合、このモデルのパラメータは2つの通常の最小二乗推定と組み合わせることで、データから推定できることが示される。
論文 参考訳(メタデータ) (2021-12-29T23:37:06Z) - Uncertainty estimation under model misspecification in neural network
regression [3.2622301272834524]
モデル選択が不確実性評価に与える影響について検討する。
モデルミスセグメンテーションでは,アレータリック不確実性は適切に捉えられていない。
論文 参考訳(メタデータ) (2021-11-23T10:18:41Z) - Dense Uncertainty Estimation [62.23555922631451]
本稿では,ニューラルネットワークと不確実性推定手法について検討し,正確な決定論的予測と確実性推定の両方を実現する。
本研究では,アンサンブルに基づく手法と生成モデルに基づく手法の2つの不確実性推定法について検討し,それらの長所と短所を,完全/半端/弱度に制御されたフレームワークを用いて説明する。
論文 参考訳(メタデータ) (2021-10-13T01:23:48Z) - DEUP: Direct Epistemic Uncertainty Prediction [56.087230230128185]
認識の不確実性は、学習者の知識の欠如によるサンプル外の予測エラーの一部である。
一般化誤差の予測を学習し, aleatoric uncertaintyの推定を減算することで, 認識的不確かさを直接推定する原理的アプローチを提案する。
論文 参考訳(メタデータ) (2021-02-16T23:50:35Z) - Assumption-lean inference for generalised linear model parameters [0.0]
主効果推定と効果修正推定の非パラメトリックな定義を提案する。
これらのモデルが正しく指定されたとき、一般化された線形モデルにおける標準の主効果と効果の修正パラメータに還元される。
これらの推定値に対する仮定リーン推論を実現する。
論文 参考訳(メタデータ) (2020-06-15T13:49:48Z) - Efficient Ensemble Model Generation for Uncertainty Estimation with
Bayesian Approximation in Segmentation [74.06904875527556]
アンサンブルセグメンテーションモデルを構築するための汎用的で効率的なセグメンテーションフレームワークを提案する。
提案手法では,層選択法を用いて効率よくアンサンブルモデルを生成することができる。
また,新たな画素単位の不確実性損失を考案し,予測性能を向上する。
論文 参考訳(メタデータ) (2020-05-21T16:08:38Z) - Equivariant online predictions of non-stationary time series [0.0]
モデル不特定条件下での統計的手法の理論的予測特性を解析する。
ランダムウォーク・ダイナミック・リニア・モデル(ランダムウォーク・ダイナミック・リニア・モデル)の特定のクラスが、正確なミニマックス予測密度を生成することを示す。
論文 参考訳(メタデータ) (2019-11-20T01:46:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。