論文の概要: Performance of Bayesian linear regression in a model with mismatch
- arxiv url: http://arxiv.org/abs/2107.06936v1
- Date: Wed, 14 Jul 2021 18:50:13 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-17 06:06:10.035920
- Title: Performance of Bayesian linear regression in a model with mismatch
- Title（参考訳）: ミスマッチモデルにおけるベイズ線形回帰の性能
- Authors: Jean Barbier, Wei-Kuo Chen, Dmitry Panchenko, and Manuel S\'aenz
- Abstract要約: 本研究では,ガウス先行の対数対数対のベイズ分布の平均値から得られる推定器の性能を解析した。
この推論モデルは、スピングラスにおけるガードナーモデルのバージョンとして記述することができる。
- 参考スコア（独自算出の注目度）: 8.60118148262922
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: For a model of high-dimensional linear regression with random design, we
analyze the performance of an estimator given by the mean of a log-concave
Bayesian posterior distribution with gaussian prior. The model is mismatched in
the following sense: like the model assumed by the statistician, the
labels-generating process is linear in the input data, but both the classifier
ground-truth prior and gaussian noise variance are unknown to her. This
inference model can be rephrased as a version of the Gardner model in spin
glasses and, using the cavity method, we provide fixed point equations for
various overlap order parameters, yielding in particular an expression for the
mean-square reconstruction error on the classifier (under an assumption of
uniqueness of solutions). As a direct corollary we obtain an expression for the
free energy. Similar models have already been studied by Shcherbina and Tirozzi
and by Talagrand, but our arguments are more straightforward and some
assumptions are relaxed. An interesting consequence of our analysis is that in
the random design setting of ridge regression, the performance of the posterior
mean is independent of the noise variance (or "temperature") assumed by the
statistician, and matches the one of the usual (zero temperature) ridge
estimator.
- Abstract（参考訳）: ランダムな設計による高次元線形回帰モデルについて,ガウス前駆体を用いた対数凸ベイズ分布の平均による推定器の性能を解析した。
統計学者が仮定したモデルと同様に、ラベル生成過程は入力データ内で線形であるが、分類器の接頭辞とガウス雑音のばらつきは彼女にとって未知である。
この推論モデルは、スピングラスにおけるガードナーモデルのバージョンとして再現することができ、キャビティ法を用いて様々な重なり次パラメータに対する不動点方程式を提供し、特に(解の特異性の仮定の下で)分類器上の平均二乗再構成誤差の式を与える。
直接系として、自由エネルギーを表す式を得る。
同様のモデルはシュチェルビナやティロツィ、タラグランドによって既に研究されているが、我々の議論はより単純であり、いくつかの仮定は緩和されている。
解析結果の興味深い結果は、リッジ回帰のランダムな設計設定において、後部平均の性能が統計学者が仮定したノイズ分散(または「温度」)とは無関係であり、通常の(零温度)リッジ推定器と一致することである。
関連論文リスト
- von Mises Quasi-Processes for Bayesian Circular Regression [57.88921637944379]
円値ランダム関数上の表現的および解釈可能な分布の族を探索する。
結果の確率モデルは、統計物理学における連続スピンモデルと関係を持つ。
後続推論のために、高速マルコフ連鎖モンテカルロサンプリングに寄与するストラトノビッチのような拡張を導入する。
論文 参考訳（メタデータ） (2024-06-19T01:57:21Z) - Scaling and renormalization in high-dimensional regression [72.59731158970894]
本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。
本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
論文 参考訳（メタデータ） (2024-05-01T15:59:00Z) - High-dimensional analysis of ridge regression for non-identically distributed data with a variance profile [0.0]
線形回帰に対する尾根推定器の予測リスクを分散プロファイルを用いて検討した。
ある種の分散プロファイルについては、よく知られた二重降下現象の出現に注目した。
また、独立分散データと同一分散データの標準設定で存在する類似点と相違点についても検討する。
論文 参考訳（メタデータ） (2024-03-29T14:24:49Z) - A probabilistic, data-driven closure model for RANS simulations with aleatoric, model uncertainty [1.8416014644193066]
本稿では,レノルズ平均Navier-Stokes (RANS) シミュレーションのためのデータ駆動閉包モデルを提案する。
パラメトリック閉包が不十分な問題領域内の領域を特定するために,完全ベイズ的定式化と余剰誘導先行法を組み合わせて提案する。
論文 参考訳（メタデータ） (2023-07-05T16:53:31Z) - Engression: Extrapolation through the Lens of Distributional Regression [2.519266955671697]
我々は、エングレースと呼ばれるニューラルネットワークに基づく分布回帰手法を提案する。
エングレスモデル(engression model)は、適合した条件分布からサンプリングできるという意味で生成され、高次元結果にも適している。
一方、最小二乗法や量子回帰法のような従来の回帰手法は、同じ仮定の下では不十分である。
論文 参考訳（メタデータ） (2023-07-03T08:19:00Z) - High-dimensional analysis of double descent for linear regression with
random projections [0.0]
ランダムな投影数が異なる線形回帰問題を考察し、固定された予測問題に対する二重降下曲線を確実に示す。
まず、リッジ回帰推定器を考察し、非パラメトリック統計学の古典的概念を用いて先行結果を再解釈する。
次に、最小ノルム最小二乗の一般化性能(バイアスと分散の観点から)の同値をランダムな射影に適合させ、二重降下現象の単純な表現を与える。
論文 参考訳（メタデータ） (2023-03-02T15:58:09Z) - Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。
条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。
提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
論文 参考訳（メタデータ） (2022-11-30T05:33:29Z) - Efficient Truncated Linear Regression with Unknown Noise Variance [26.870279729431328]
雑音のばらつきが不明な場合に, 線形回帰の計算的, 統計的に効率的な推定器を提案する。
提案手法は, トランキャット標本の負の類似度に対して, プロジェクテッド・グラディエント・ディフレッシュを効果的に実装することに基づく。
論文 参考訳（メタデータ） (2022-08-25T12:17:37Z) - Uncertainty Inspired RGB-D Saliency Detection [70.50583438784571]
本稿では,データラベリングプロセスから学習することで,RGB-D値検出の不確実性を利用した最初のフレームワークを提案する。
そこで本研究では,確率的RGB-Dサリエンシ検出を実現するために,サリエンシデータラベリングプロセスにインスパイアされた生成アーキテクチャを提案する。
6つの挑戦的RGB-Dベンチマークデータセットの結果から,サリエンシマップの分布を学習する際のアプローチの優れた性能が示された。
論文 参考訳（メタデータ） (2020-09-07T13:01:45Z) - Nonparametric Score Estimators [49.42469547970041]
未知分布によって生成されたサンプルの集合からスコアを推定することは確率モデルの推論と学習における基本的なタスクである。
正規化非パラメトリック回帰の枠組みの下で、これらの推定器の統一的なビューを提供する。
カールフリーカーネルと高速収束による計算効果を享受する反復正規化に基づくスコア推定器を提案する。
論文 参考訳（メタデータ） (2020-05-20T15:01:03Z) - SUMO: Unbiased Estimation of Log Marginal Probability for Latent
Variable Models [80.22609163316459]
無限級数のランダム化トランケーションに基づく潜在変数モデルに対して、ログ境界確率の非バイアス推定器とその勾配を導入する。
推定器を用いてトレーニングしたモデルは、同じ平均計算コストに対して、標準的な重要度サンプリングに基づくアプローチよりも優れたテストセット確率を与えることを示す。
論文 参考訳（メタデータ） (2020-04-01T11:49:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。