論文の概要: Bayesian Analysis for Over-parameterized Linear Model via Effective Spectra

• arxiv url: http://arxiv.org/abs/2305.15754v3
• Date: Mon, 05 May 2025 13:41:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-07 14:45:08.829298
• Title: Bayesian Analysis for Over-parameterized Linear Model via Effective Spectra
• Title（参考訳）: 有効スペクトルを用いた過パラメータ線形モデルのベイズ解析
• Authors: Tomoya Wakayama, Masaaki Imaizumi,
• Abstract要約: 我々は,データ適応型ガウス前処理を導入し,その環境次元よりもデータ固有の複雑さを目標とした。 我々は、スペクトルの質量が予測誤差境界にどのように影響するかを明らかにするために、対応する後部分布の収縮率を確立する。 ベイジアン法は,非スパース,高次元の設定において,データのスペクトル情報を利用した推定に有効であることを示す。
• 参考スコア（独自算出の注目度）: 6.9060054915724
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In high-dimensional Bayesian statistics, various methods have been developed, including prior distributions that induce parameter sparsity to handle many parameters. Yet, these approaches often overlook the rich spectral structure of the covariate matrix, which can be crucial when true signals are not sparse. To address this gap, we introduce a data-adaptive Gaussian prior whose covariance is aligned with the leading eigenvectors of the sample covariance. This prior design targets the data's intrinsic complexity rather than its ambient dimension by concentrating the parameter search along principal data directions. We establish contraction rates of the corresponding posterior distribution, which reveal how the mass in the spectrum affects the prediction error bounds. Furthermore, we derive a truncated Gaussian approximation to the posterior (i.e., a Bernstein-von Mises-type result), which allows for uncertainty quantification with a reduced computational burden. Our findings demonstrate that Bayesian methods leveraging spectral information of the data are effective for estimation in non-sparse, high-dimensional settings.
• Abstract（参考訳）: 高次元ベイズ統計学において、多くのパラメータを扱うためにパラメータの空間性を誘導する事前分布を含む様々な手法が開発されている。 しかし、これらのアプローチはしばしば共変量行列の豊富なスペクトル構造を見落とし、真の信号がスパースでない場合は決定的に重要である。 このギャップに対処するために、サンプル共分散の先頭固有ベクトルと共分散が整合したデータ適応型ガウス事前を導入する。 この以前の設計は、主データ方向に沿ってパラメータ探索を集中させることにより、その周囲次元よりもデータ固有の複雑さを目標としていた。 我々は、スペクトルの質量が予測誤差境界にどのように影響するかを明らかにするために、対応する後部分布の収縮率を確立する。 さらに、計算負担を減らした不確実な定量化を可能にするようなガウス近似を後部(すなわちベルンシュタイン・ヴォン・ミゼス型結果)に導出する。 ベイジアン法は,非スパース,高次元の設定において,データのスペクトル情報を利用した推定に有効であることを示す。

関連論文リスト

• Total Uncertainty Quantification in Inverse PDE Solutions Obtained with Reduced-Order Deep Learning Surrogate Models [50.90868087591973]
  機械学習サロゲートモデルを用いて得られた逆PDE解の総不確かさを近似したベイズ近似法を提案する。 非線型拡散方程式に対する反復的アンサンブルスムーズおよび深層アンサンブル法との比較により,提案手法を検証した。
  論文  参考訳（メタデータ） (2024-08-20T19:06:02Z)
• Inflationary Flows: Calibrated Bayesian Inference with Diffusion-Based Models [0.0]
  本稿では,拡散モデルを用いてベイズ推定を行う方法を示す。 本稿では,新しいノイズスケジュールを用いて,標準的なDBMトレーニングを通じてそのようなマップを学習する方法を示す。 その結果は、低次元の潜在空間上で一意に定義される非常に表現性の高い生成モデルのクラスである。
  論文  参考訳（メタデータ） (2024-07-11T19:58:19Z)
• Multivariate root-n-consistent smoothing parameter free matching estimators and estimators of inverse density weighted expectations [51.000851088730684]
  我々は、パラメトリックな$sqrt n $-rateで収束する、最も近い隣人の新しい修正とマッチング推定器を開発する。 我々は,非パラメトリック関数推定器は含まないこと,特に標本サイズ依存パラメータの平滑化には依存していないことを強調する。
  論文  参考訳（メタデータ） (2024-07-11T13:28:34Z)
• Diffusion posterior sampling for simulation-based inference in tall data settings [53.17563688225137]
  シミュレーションベース推論(SBI)は、入力パラメータを所定の観測に関連付ける後部分布を近似することができる。 本研究では、モデルのパラメータをより正確に推測するために、複数の観測値が利用できる、背の高いデータ拡張について考察する。 提案手法を,最近提案した各種数値実験の競合手法と比較し,数値安定性と計算コストの観点から,その優位性を実証した。
  論文  参考訳（メタデータ） (2024-04-11T09:23:36Z)
• Bayesian Inference for Consistent Predictions in Overparameterized Nonlinear Regression [0.0]
  本研究では,ベイズフレームワークにおける過パラメータ化非線形回帰の予測特性について検討した。 リプシッツ連続活性化関数を持つ一般化線形および単一ニューロンモデルに対して後部収縮が成立する。 提案手法は数値シミュレーションと実データアプリケーションを用いて検証した。
  論文  参考訳（メタデータ） (2024-04-06T04:22:48Z)
• Spectral Estimators for Structured Generalized Linear Models via Approximate Message Passing [28.91482208876914]
  本研究では,高次元一般化線形モデルにおけるパラメータ推定の問題について考察する。 広く使われているにもかかわらず、厳密なパフォーマンス特性とデータ前処理の原則が、構造化されていない設計でのみ利用可能である。
  論文  参考訳（メタデータ） (2023-08-28T11:49:23Z)
• Sparse Horseshoe Estimation via Expectation-Maximisation [2.1485350418225244]
  パラメータのMAP推定を計算するための新しい予測最大化(EM)手法を提案する。 我々のアプローチの特に強みは、M-ステップは前者の形式にのみ依存し、それは可能性の形式とは独立であるということである。 シミュレーションおよび実データを用いて行った実験では、我々の手法は最先端のスパース推定法に匹敵する、あるいは優れている。
  論文  参考訳（メタデータ） (2022-11-07T00:43:26Z)
• Sparse high-dimensional linear regression with a partitioned empirical Bayes ECM algorithm [62.997667081978825]
  疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。 パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。 提案手法はRパッケージプローブに実装されている。
  論文  参考訳（メタデータ） (2022-09-16T19:15:50Z)
• A likelihood approach to nonparametric estimation of a singular distribution using deep generative models [4.329951775163721]
  深部生成モデルを用いた特異分布の非パラメトリック推定の可能性について検討する。 我々は、インスタンスノイズでデータを摂動することで、新しい効果的な解が存在することを証明した。 また、より深い生成モデルにより効率的に推定できる分布のクラスを特徴付ける。
  論文  参考訳（メタデータ） (2021-05-09T23:13:58Z)
• Efficient Ensemble Model Generation for Uncertainty Estimation with Bayesian Approximation in Segmentation [74.06904875527556]
  アンサンブルセグメンテーションモデルを構築するための汎用的で効率的なセグメンテーションフレームワークを提案する。 提案手法では,層選択法を用いて効率よくアンサンブルモデルを生成することができる。 また,新たな画素単位の不確実性損失を考案し,予測性能を向上する。
  論文  参考訳（メタデータ） (2020-05-21T16:08:38Z)
• Nonparametric Score Estimators [49.42469547970041]
  未知分布によって生成されたサンプルの集合からスコアを推定することは確率モデルの推論と学習における基本的なタスクである。 正規化非パラメトリック回帰の枠組みの下で、これらの推定器の統一的なビューを提供する。 カールフリーカーネルと高速収束による計算効果を享受する反復正規化に基づくスコア推定器を提案する。
  論文  参考訳（メタデータ） (2020-05-20T15:01:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。