論文の概要: Bayesian Inference for Consistent Predictions in Overparameterized Nonlinear Regression
- arxiv url: http://arxiv.org/abs/2404.04498v2
- Date: Sat, 15 Jun 2024 06:58:56 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-19 05:07:34.972502
- Title: Bayesian Inference for Consistent Predictions in Overparameterized Nonlinear Regression
- Title（参考訳）: 過パラメータ化非線形回帰における一貫性予測に対するベイズ推論
- Authors: Tomoya Wakayama,
- Abstract要約: 本研究では,ベイズフレームワークにおける過パラメータ化非線形回帰の予測特性について検討した。
リプシッツ連続活性化関数を持つ一般化線形および単一ニューロンモデルに対して後部収縮が成立する。
提案手法は数値シミュレーションと実データアプリケーションを用いて検証した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The remarkable generalization performance of large-scale models has been challenging the conventional wisdom of the statistical learning theory. Although recent theoretical studies have shed light on this behavior in linear models and nonlinear classifiers, a comprehensive understanding of overparameterization in nonlinear regression models is still lacking. This study explores the predictive properties of overparameterized nonlinear regression within the Bayesian framework, extending the methodology of the adaptive prior considering the intrinsic spectral structure of the data. Posterior contraction is established for generalized linear and single-neuron models with Lipschitz continuous activation functions, demonstrating the consistency in the predictions of the proposed approach. Moreover, the Bayesian framework enables uncertainty estimation of the predictions. The proposed method was validated via numerical simulations and a real data application, showing its ability to achieve accurate predictions and reliable uncertainty estimates. This work provides a theoretical understanding of the advantages of overparameterization and a principled Bayesian approach to large nonlinear models.
- Abstract（参考訳）: 大規模モデルの顕著な一般化性能は、統計学習理論の従来の知恵に挑戦してきた。
最近の理論的研究は、線形モデルや非線形分類器におけるこの挙動に光を当てているが、非線形回帰モデルにおける過度パラメータ化の包括的理解はいまだに欠けている。
本研究では,ベイズフレームワーク内での過パラメータ化非線形回帰の予測特性について検討し,本質的なスペクトル構造を考慮した適応の方法論を拡張した。
リプシッツ連続活性化関数を持つ一般化線形および単一ニューロンモデルに対して後部収縮が確立され、提案手法の予測における整合性を示す。
さらに、ベイズフレームワークは予測の不確実性の推定を可能にする。
提案手法は数値シミュレーションと実データアプリケーションを用いて検証し,精度の高い予測と確実な不確実性推定を実現する能力を示した。
この研究は、過パラメータ化の利点と大きな非線形モデルに対する原理化されたベイズ的アプローチに関する理論的理解を提供する。
関連論文リスト
- Progression: an extrapolation principle for regression [0.0]
本稿では,新しい統計外挿原理を提案する。
これは、予測器とトレーニング予測器のサンプルの境界における応答との単純な関係を仮定する。
我々の半パラメトリック法である進行法は、この外挿原理を活用し、トレーニングデータ範囲を超えた近似誤差の保証を提供する。
論文 参考訳（メタデータ） (2024-10-30T17:29:51Z) - Mixture of partially linear experts [0.0]
非線形関係を捉えるために不特定関数を組み込んだ部分線形構造を提案する。
軽度条件下では,提案モデルの同定可能性を確立し,実用的な推定アルゴリズムを導入する。
論文 参考訳（メタデータ） (2024-05-05T12:10:37Z) - A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。
オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
論文 参考訳（メタデータ） (2023-11-13T01:48:08Z) - Selective Nonparametric Regression via Testing [54.20569354303575]
本研究では,所定の点における条件分散の値に関する仮説を検証し,留置手順を開発する。
既存の手法とは異なり、提案手法は分散自体の値だけでなく、対応する分散予測器の不確実性についても考慮することができる。
論文 参考訳（メタデータ） (2023-09-28T13:04:11Z) - Advancing Counterfactual Inference through Nonlinear Quantile Regression [77.28323341329461]
ニューラルネットワークで実装された効率的かつ効果的な対実的推論のためのフレームワークを提案する。
提案手法は、推定された反事実結果から見つからないデータまでを一般化する能力を高める。
複数のデータセットで実施した実証実験の結果は、我々の理論的な主張に対する説得力のある支持を提供する。
論文 参考訳（メタデータ） (2023-06-09T08:30:51Z) - Bayesian Analysis for Over-parameterized Linear Model without Sparsity [8.1585306387285]
本研究では,データ共分散行列の固有ベクトルに依存する事前分布を用いたベイズ的手法を提案する。
また、導出した後続推定の収縮率も提供し、後続分布のガウス近似を計算した。
これらの結果は,データスペクトルを処理し,非スパースな高次元パラメータを推定できるベイズ的手法が実現可能であることを示唆している。
論文 参考訳（メタデータ） (2023-05-25T06:07:47Z) - Time varying regression with hidden linear dynamics [74.9914602730208]
線形力学系に従って未知のパラメータが進化することを前提とした時間変化線形回帰モデルを再検討する。
反対に、基礎となる力学が安定である場合、このモデルのパラメータは2つの通常の最小二乗推定と組み合わせることで、データから推定できることが示される。
論文 参考訳（メタデータ） (2021-12-29T23:37:06Z) - Hessian Eigenspectra of More Realistic Nonlinear Models [73.31363313577941]
私たちは、非線形モデルの広いファミリーのためのヘッセン固有スペクトルの言語的特徴付けを行います。
我々の分析は、より複雑な機械学習モデルで観察される多くの顕著な特徴の起源を特定するために一歩前進する。
論文 参考訳（メタデータ） (2021-03-02T06:59:52Z) - Weight-of-evidence 2.0 with shrinkage and spline-binning [3.925373521409752]
分類予測器を変換するための形式化、データ駆動、強力な方法を提案する。
我々は,重み付け手法を拡張し,縮尺推定器を用いて比例を推定することを提案する。
本稿では,提案手法の有効性を示す詐欺検出セットにおける一連の実験結果を示す。
論文 参考訳（メタデータ） (2021-01-05T13:13:16Z) - Assumption-lean inference for generalised linear model parameters [0.0]
主効果推定と効果修正推定の非パラメトリックな定義を提案する。
これらのモデルが正しく指定されたとき、一般化された線形モデルにおける標準の主効果と効果の修正パラメータに還元される。
これらの推定値に対する仮定リーン推論を実現する。
論文 参考訳（メタデータ） (2020-06-15T13:49:48Z) - Efficient Ensemble Model Generation for Uncertainty Estimation with
Bayesian Approximation in Segmentation [74.06904875527556]
アンサンブルセグメンテーションモデルを構築するための汎用的で効率的なセグメンテーションフレームワークを提案する。
提案手法では,層選択法を用いて効率よくアンサンブルモデルを生成することができる。
また,新たな画素単位の不確実性損失を考案し,予測性能を向上する。
論文 参考訳（メタデータ） (2020-05-21T16:08:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。