論文の概要: Bayesian Analysis for Over-parameterized Linear Model without Sparsity
- arxiv url: http://arxiv.org/abs/2305.15754v2
- Date: Wed, 13 Mar 2024 12:29:18 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-14 18:57:06.887794
- Title: Bayesian Analysis for Over-parameterized Linear Model without Sparsity
- Title(参考訳): 疎性のない過パラメータ線形モデルのベイズ解析
- Authors: Tomoya Wakayama, Masaaki Imaizumi
- Abstract要約: 本研究では,データ共分散行列の固有ベクトルに依存する事前分布を用いたベイズ的手法を提案する。
また、導出した後続推定の収縮率も提供し、後続分布のガウス近似を計算した。
これらの結果は,データスペクトルを処理し,非スパースな高次元パラメータを推定できるベイズ的手法が実現可能であることを示唆している。
- 参考スコア(独自算出の注目度): 8.1585306387285
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the field of high-dimensional Bayesian statistics, a plethora of
methodologies have been developed, including various prior distributions that
result in parameter sparsity. However, such priors exhibit limitations in
handling the spectral eigenvector structure of data, rendering estimations less
effective for analyzing the over-parameterized models (high-dimensional linear
models that do not assume sparsity) developed in recent years. This study
introduces a Bayesian approach that employs a prior distribution dependent on
the eigenvectors of data covariance matrices without inducing parameter
sparsity. We also provide contraction rates of the derived posterior estimation
and develop a truncated Gaussian approximation of the posterior distribution.
The former demonstrates the efficiency of posterior estimation, whereas the
latter facilitates the uncertainty quantification of parameters via a
Bernstein--von Mises-type approach. These findings suggest that Bayesian
methods capable of handling data spectra and estimating non-sparse
high-dimensional parameters are feasible.
- Abstract(参考訳): 高次元ベイズ統計学の分野では、パラメータの空間性をもたらす様々な先行分布を含む多くの方法論が開発されている。
しかし、これらの先行は、データのスペクトル固有ベクトル構造を扱う際の限界を示し、近年発達した過パラメータモデル(空間性を前提としない高次元線形モデル)を分析するのに効果が低い。
本研究では,データ共分散行列の固有ベクトルに依存する事前分布を用いたベイズ的手法を提案する。
また、導出した後続推定の収縮率も提供し、後続分布のガウス近似を計算した。
前者は後続推定の効率性を示し、後者はベルンシュタイン-ヴォン・ミセス型アプローチによるパラメータの不確かさの定量化を促進する。
これらの結果は,データスペクトルを処理し,非スパースな高次元パラメータを推定できるベイズ的手法が実現可能であることを示唆している。
関連論文リスト
- Spectral Estimators for Structured Generalized Linear Models via
Approximate Message Passing [31.58736590532443]
一般化線形モデルによる観測からパラメータ推定の問題を考える。
スペクトル法は単純だが効果的な推定法である。
我々は、所望のスペクトル推定器と一致する固定点を持つ近似メッセージパッシングに基づく新しい戦略を開発する。
論文 参考訳(メタデータ) (2023-08-28T11:49:23Z) - Provably Efficient Bayesian Optimization with Unbiased Gaussian Process
Hyperparameter Estimation [52.035894372374756]
目的関数の大域的最適値にサブ線形収束できる新しいBO法を提案する。
本手法では,BOプロセスにランダムなデータポイントを追加するために,マルチアームバンディット法 (EXP3) を用いる。
提案手法は, 様々な合成および実世界の問題に対して, 既存の手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2023-06-12T03:35:45Z) - Prior Density Learning in Variational Bayesian Phylogenetic Parameters
Inference [1.03590082373586]
本稿では,勾配に基づく手法とニューラルネットワークに基づくパラメータ化を用いて,それらのパラメータを学習することで,先行密度の剛性を緩和する手法を提案する。
実験の結果, 分岐長と進化モデルパラメータを推定する上で, 提案手法は強力であることが示唆された。
論文 参考訳(メタデータ) (2023-02-06T01:29:15Z) - Sparse Horseshoe Estimation via Expectation-Maximisation [2.1485350418225244]
パラメータのMAP推定を計算するための新しい予測最大化(EM)手法を提案する。
我々のアプローチの特に強みは、M-ステップは前者の形式にのみ依存し、それは可能性の形式とは独立であるということである。
シミュレーションおよび実データを用いて行った実験では、我々の手法は最先端のスパース推定法に匹敵する、あるいは優れている。
論文 参考訳(メタデータ) (2022-11-07T00:43:26Z) - Sparse high-dimensional linear regression with a partitioned empirical
Bayes ECM algorithm [62.997667081978825]
疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。
パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。
提案手法はRパッケージプローブに実装されている。
論文 参考訳(メタデータ) (2022-09-16T19:15:50Z) - Time varying regression with hidden linear dynamics [74.9914602730208]
線形力学系に従って未知のパラメータが進化することを前提とした時間変化線形回帰モデルを再検討する。
反対に、基礎となる力学が安定である場合、このモデルのパラメータは2つの通常の最小二乗推定と組み合わせることで、データから推定できることが示される。
論文 参考訳(メタデータ) (2021-12-29T23:37:06Z) - Divergence Frontiers for Generative Models: Sample Complexity,
Quantization Level, and Frontier Integral [58.434753643798224]
多様性フロンティアは生成モデルの評価フレームワークとして提案されている。
分岐フロンティアのプラグイン推定器のサンプル複雑性の非漸近的境界を確立する。
また,スムーズな分布推定器の統計的性能を調べることにより,分散フロンティアの枠組みも強化する。
論文 参考訳(メタデータ) (2021-06-15T06:26:25Z) - A likelihood approach to nonparametric estimation of a singular
distribution using deep generative models [4.329951775163721]
深部生成モデルを用いた特異分布の非パラメトリック推定の可能性について検討する。
我々は、インスタンスノイズでデータを摂動することで、新しい効果的な解が存在することを証明した。
また、より深い生成モデルにより効率的に推定できる分布のクラスを特徴付ける。
論文 参考訳(メタデータ) (2021-05-09T23:13:58Z) - Efficient Ensemble Model Generation for Uncertainty Estimation with
Bayesian Approximation in Segmentation [74.06904875527556]
アンサンブルセグメンテーションモデルを構築するための汎用的で効率的なセグメンテーションフレームワークを提案する。
提案手法では,層選択法を用いて効率よくアンサンブルモデルを生成することができる。
また,新たな画素単位の不確実性損失を考案し,予測性能を向上する。
論文 参考訳(メタデータ) (2020-05-21T16:08:38Z) - Nonparametric Score Estimators [49.42469547970041]
未知分布によって生成されたサンプルの集合からスコアを推定することは確率モデルの推論と学習における基本的なタスクである。
正規化非パラメトリック回帰の枠組みの下で、これらの推定器の統一的なビューを提供する。
カールフリーカーネルと高速収束による計算効果を享受する反復正規化に基づくスコア推定器を提案する。
論文 参考訳(メタデータ) (2020-05-20T15:01:03Z) - Maximum likelihood estimation and uncertainty quantification for
Gaussian process approximation of deterministic functions [10.319367855067476]
本稿は、ガウス過程の回帰の文脈において、ノイズのないデータセットを用いた最初の理論的分析の1つを提供する。
本稿では,スケールパラメータのみの最大推定がガウス過程モデルの不特定に対する顕著な適応をもたらすことを示す。
論文 参考訳(メタデータ) (2020-01-29T17:20:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。