論文の概要: Bayesian Analysis for Over-parameterized Linear Model without Sparsity

• arxiv url: http://arxiv.org/abs/2305.15754v1
• Date: Thu, 25 May 2023 06:07:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-26 17:05:42.806093
• Title: Bayesian Analysis for Over-parameterized Linear Model without Sparsity
• Title（参考訳）: 疎性のない過パラメータ線形モデルのベイズ解析
• Authors: Tomoya Wakayama, Masaaki Imaizumi
• Abstract要約: 本稿では,データ共分散行列の固有ベクトルに先行依存するベイズ的手法を提案するが,パラメータの空間性は引き起こさない。 また, 導出した後続分布の縮約速度も提供し, 後続分布のガウス近似の切り詰めた近似法を開発した。 結果は、データのスペクトルを処理し、非スパースな高次元を推定できるベイズ的手法が可能であることを示唆している。
• 参考スコア（独自算出の注目度）: 5.68558935178946
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In high-dimensional Bayesian statistics, several methods have been developed, including many prior distributions that lead to the sparsity of estimated parameters. However, such priors have limitations in handling the spectral eigenvector structure of data, and as a result, they are ill-suited for analyzing over-parameterized models (high-dimensional linear models that do not assume sparsity) that have been developed in recent years. This paper introduces a Bayesian approach that uses a prior dependent on the eigenvectors of data covariance matrices, but does not induce the sparsity of parameters. We also provide contraction rates of derived posterior distributions and develop a truncated Gaussian approximation of the posterior distribution. The former demonstrates the efficiency of posterior estimation, while the latter enables quantification of parameter uncertainty using a Bernstein-von Mises-type approach. These results indicate that any Bayesian method that can handle the spectrum of data and estimate non-sparse high dimensions would be possible.
• Abstract（参考訳）: 高次元ベイズ統計では、推定パラメータのスパース性につながる多くの事前分布を含むいくつかの方法が開発されている。 しかし、そのような先行はデータのスペクトル固有ベクトル構造を扱うのに限界があり、結果として近年開発された過パラメータモデル(空間を仮定しない高次元線形モデル)を分析するのに不適である。 本稿では,データ共分散行列の固有ベクトルに先行依存するベイズ的手法を提案するが,パラメータの空間性は引き起こさない。 また, 導出した後続分布の縮約速度も提供し, 後続分布のガウス近似の切り詰めた近似法を開発した。 前者は後方推定の効率を示し,後者はbernstein-von mises型アプローチによるパラメータ不確かさの定量化を可能にする。 これらの結果は、データのスペクトルを処理し、非スパース高次元を推定できるベイズ的手法が可能であることを示唆している。

関連論文リスト

• Total Uncertainty Quantification in Inverse PDE Solutions Obtained with Reduced-Order Deep Learning Surrogate Models [50.90868087591973]
  機械学習サロゲートモデルを用いて得られた逆PDE解の総不確かさを近似したベイズ近似法を提案する。 非線型拡散方程式に対する反復的アンサンブルスムーズおよび深層アンサンブル法との比較により,提案手法を検証した。
  論文  参考訳（メタデータ） (2024-08-20T19:06:02Z)
• Inflationary Flows: Calibrated Bayesian Inference with Diffusion-Based Models [0.0]
  本稿では,拡散モデルを用いてベイズ推定を行う方法を示す。 本稿では,新しいノイズスケジュールを用いて,標準的なDBMトレーニングを通じてそのようなマップを学習する方法を示す。 その結果は、低次元の潜在空間上で一意に定義される非常に表現性の高い生成モデルのクラスである。
  論文  参考訳（メタデータ） (2024-07-11T19:58:19Z)
• Multivariate root-n-consistent smoothing parameter free matching estimators and estimators of inverse density weighted expectations [51.000851088730684]
  我々は、パラメトリックな$sqrt n $-rateで収束する、最も近い隣人の新しい修正とマッチング推定器を開発する。 我々は,非パラメトリック関数推定器は含まないこと,特に標本サイズ依存パラメータの平滑化には依存していないことを強調する。
  論文  参考訳（メタデータ） (2024-07-11T13:28:34Z)
• Diffusion posterior sampling for simulation-based inference in tall data settings [53.17563688225137]
  シミュレーションベース推論(SBI)は、入力パラメータを所定の観測に関連付ける後部分布を近似することができる。 本研究では、モデルのパラメータをより正確に推測するために、複数の観測値が利用できる、背の高いデータ拡張について考察する。 提案手法を,最近提案した各種数値実験の競合手法と比較し,数値安定性と計算コストの観点から,その優位性を実証した。
  論文  参考訳（メタデータ） (2024-04-11T09:23:36Z)
• Bayesian Inference for Consistent Predictions in Overparameterized Nonlinear Regression [0.0]
  本研究では,ベイズフレームワークにおける過パラメータ化非線形回帰の予測特性について検討した。 リプシッツ連続活性化関数を持つ一般化線形および単一ニューロンモデルに対して後部収縮が成立する。 提案手法は数値シミュレーションと実データアプリケーションを用いて検証した。
  論文  参考訳（メタデータ） (2024-04-06T04:22:48Z)
• Spectral Estimators for Structured Generalized Linear Models via Approximate Message Passing [28.91482208876914]
  本研究では,高次元一般化線形モデルにおけるパラメータ推定の問題について考察する。 広く使われているにもかかわらず、厳密なパフォーマンス特性とデータ前処理の原則が、構造化されていない設計でのみ利用可能である。
  論文  参考訳（メタデータ） (2023-08-28T11:49:23Z)
• Sparse Horseshoe Estimation via Expectation-Maximisation [2.1485350418225244]
  パラメータのMAP推定を計算するための新しい予測最大化(EM)手法を提案する。 我々のアプローチの特に強みは、M-ステップは前者の形式にのみ依存し、それは可能性の形式とは独立であるということである。 シミュレーションおよび実データを用いて行った実験では、我々の手法は最先端のスパース推定法に匹敵する、あるいは優れている。
  論文  参考訳（メタデータ） (2022-11-07T00:43:26Z)
• Sparse high-dimensional linear regression with a partitioned empirical Bayes ECM algorithm [62.997667081978825]
  疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。 パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。 提案手法はRパッケージプローブに実装されている。
  論文  参考訳（メタデータ） (2022-09-16T19:15:50Z)
• A likelihood approach to nonparametric estimation of a singular distribution using deep generative models [4.329951775163721]
  深部生成モデルを用いた特異分布の非パラメトリック推定の可能性について検討する。 我々は、インスタンスノイズでデータを摂動することで、新しい効果的な解が存在することを証明した。 また、より深い生成モデルにより効率的に推定できる分布のクラスを特徴付ける。
  論文  参考訳（メタデータ） (2021-05-09T23:13:58Z)
• Efficient Ensemble Model Generation for Uncertainty Estimation with Bayesian Approximation in Segmentation [74.06904875527556]
  アンサンブルセグメンテーションモデルを構築するための汎用的で効率的なセグメンテーションフレームワークを提案する。 提案手法では,層選択法を用いて効率よくアンサンブルモデルを生成することができる。 また,新たな画素単位の不確実性損失を考案し,予測性能を向上する。
  論文  参考訳（メタデータ） (2020-05-21T16:08:38Z)
• Nonparametric Score Estimators [49.42469547970041]
  未知分布によって生成されたサンプルの集合からスコアを推定することは確率モデルの推論と学習における基本的なタスクである。 正規化非パラメトリック回帰の枠組みの下で、これらの推定器の統一的なビューを提供する。 カールフリーカーネルと高速収束による計算効果を享受する反復正規化に基づくスコア推定器を提案する。
  論文  参考訳（メタデータ） (2020-05-20T15:01:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。