論文の概要: Bayesian Inference for Consistent Predictions in Overparameterized Nonlinear Regression
- arxiv url: http://arxiv.org/abs/2404.04498v1
- Date: Sat, 6 Apr 2024 04:22:48 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-09 20:58:47.866744
- Title: Bayesian Inference for Consistent Predictions in Overparameterized Nonlinear Regression
- Title（参考訳）: 過パラメータ化非線形回帰における一貫性予測に対するベイズ推論
- Authors: Tomoya Wakayama,
- Abstract要約: 我々は、データ固有のスペクトル構造に基づいて、適応前の手法を拡張する。
リプシッツ連続活性化関数を持つ単一ニューロンモデルに対する後部収縮を確立する。
提案手法は数値シミュレーションと実データアプリケーションを用いて検証する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The remarkable generalization performance of overparameterized models has challenged the conventional wisdom of statistical learning theory. While recent theoretical studies have shed light on this behavior in linear models or nonlinear classifiers, a comprehensive understanding of overparameterization in nonlinear regression remains lacking. This paper explores the predictive properties of overparameterized nonlinear regression within the Bayesian framework, extending the methodology of adaptive prior based on the intrinsic spectral structure of the data. We establish posterior contraction for single-neuron models with Lipschitz continuous activation functions and for generalized linear models, demonstrating that our approach achieves consistent predictions in the overparameterized regime. Moreover, our Bayesian framework allows for uncertainty estimation of the predictions. The proposed method is validated through numerical simulations and a real data application, showcasing its ability to achieve accurate predictions and reliable uncertainty estimates. Our work advances the theoretical understanding of the blessing of overparameterization and offers a principled Bayesian approach for prediction in large nonlinear models.
- Abstract（参考訳）: 過パラメータ化モデルの顕著な一般化性能は、従来の統計学習理論の知恵に挑戦している。
最近の理論的研究は、線形モデルや非線形分類器におけるこの挙動に光を当てているが、非線形回帰における過度パラメータ化の包括的理解はいまだに欠けている。
本稿では,ベイズフレームワーク内での過パラメータ化非線形回帰の予測特性について検討し,本質的なスペクトル構造に基づく適応前の手法を拡張した。
我々は、リプシッツ連続活性化関数を持つ単一ニューロンモデルと一般化線形モデルに対する後部収縮を確立し、我々のアプローチが過パラメータ化された状態において一貫した予測を達成できることを実証した。
さらに、ベイジアン・フレームワークは予測の不確実性の推定を可能にする。
提案手法は数値シミュレーションと実データアプリケーションを用いて検証し,精度の高い予測と信頼性の高い不確実性推定を行う能力を示す。
我々の研究は、過パラメータ化の祝福に関する理論的理解を前進させ、大きな非線形モデルにおける予測に対する原理化されたベイズ的アプローチを提供する。
関連論文リスト
- Progression: an extrapolation principle for regression [0.0]
本稿では,新しい統計外挿原理を提案する。
これは、予測器とトレーニング予測器のサンプルの境界における応答との単純な関係を仮定する。
我々の半パラメトリック法である進行法は、この外挿原理を活用し、トレーニングデータ範囲を超えた近似誤差の保証を提供する。
論文 参考訳（メタデータ） (2024-10-30T17:29:51Z) - Mixture of partially linear experts [0.0]
非線形関係を捉えるために不特定関数を組み込んだ部分線形構造を提案する。
軽度条件下では,提案モデルの同定可能性を確立し,実用的な推定アルゴリズムを導入する。
論文 参考訳（メタデータ） (2024-05-05T12:10:37Z) - A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。
オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
論文 参考訳（メタデータ） (2023-11-13T01:48:08Z) - Selective Nonparametric Regression via Testing [54.20569354303575]
本研究では,所定の点における条件分散の値に関する仮説を検証し,留置手順を開発する。
既存の手法とは異なり、提案手法は分散自体の値だけでなく、対応する分散予測器の不確実性についても考慮することができる。
論文 参考訳（メタデータ） (2023-09-28T13:04:11Z) - Advancing Counterfactual Inference through Nonlinear Quantile Regression [77.28323341329461]
ニューラルネットワークで実装された効率的かつ効果的な対実的推論のためのフレームワークを提案する。
提案手法は、推定された反事実結果から見つからないデータまでを一般化する能力を高める。
複数のデータセットで実施した実証実験の結果は、我々の理論的な主張に対する説得力のある支持を提供する。
論文 参考訳（メタデータ） (2023-06-09T08:30:51Z) - Bayesian Analysis for Over-parameterized Linear Model without Sparsity [8.1585306387285]
本研究では,データ共分散行列の固有ベクトルに依存する事前分布を用いたベイズ的手法を提案する。
また、導出した後続推定の収縮率も提供し、後続分布のガウス近似を計算した。
これらの結果は,データスペクトルを処理し,非スパースな高次元パラメータを推定できるベイズ的手法が実現可能であることを示唆している。
論文 参考訳（メタデータ） (2023-05-25T06:07:47Z) - Time varying regression with hidden linear dynamics [74.9914602730208]
線形力学系に従って未知のパラメータが進化することを前提とした時間変化線形回帰モデルを再検討する。
反対に、基礎となる力学が安定である場合、このモデルのパラメータは2つの通常の最小二乗推定と組み合わせることで、データから推定できることが示される。
論文 参考訳（メタデータ） (2021-12-29T23:37:06Z) - Hessian Eigenspectra of More Realistic Nonlinear Models [73.31363313577941]
私たちは、非線形モデルの広いファミリーのためのヘッセン固有スペクトルの言語的特徴付けを行います。
我々の分析は、より複雑な機械学習モデルで観察される多くの顕著な特徴の起源を特定するために一歩前進する。
論文 参考訳（メタデータ） (2021-03-02T06:59:52Z) - Weight-of-evidence 2.0 with shrinkage and spline-binning [3.925373521409752]
分類予測器を変換するための形式化、データ駆動、強力な方法を提案する。
我々は,重み付け手法を拡張し,縮尺推定器を用いて比例を推定することを提案する。
本稿では,提案手法の有効性を示す詐欺検出セットにおける一連の実験結果を示す。
論文 参考訳（メタデータ） (2021-01-05T13:13:16Z) - Assumption-lean inference for generalised linear model parameters [0.0]
主効果推定と効果修正推定の非パラメトリックな定義を提案する。
これらのモデルが正しく指定されたとき、一般化された線形モデルにおける標準の主効果と効果の修正パラメータに還元される。
これらの推定値に対する仮定リーン推論を実現する。
論文 参考訳（メタデータ） (2020-06-15T13:49:48Z) - Efficient Ensemble Model Generation for Uncertainty Estimation with
Bayesian Approximation in Segmentation [74.06904875527556]
アンサンブルセグメンテーションモデルを構築するための汎用的で効率的なセグメンテーションフレームワークを提案する。
提案手法では,層選択法を用いて効率よくアンサンブルモデルを生成することができる。
また,新たな画素単位の不確実性損失を考案し,予測性能を向上する。
論文 参考訳（メタデータ） (2020-05-21T16:08:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。