論文の概要: Bayesian Analysis for Over-parameterized Linear Model without Sparsity
- arxiv url: http://arxiv.org/abs/2305.15754v1
- Date: Thu, 25 May 2023 06:07:47 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-26 17:05:42.806093
- Title: Bayesian Analysis for Over-parameterized Linear Model without Sparsity
- Title(参考訳): 疎性のない過パラメータ線形モデルのベイズ解析
- Authors: Tomoya Wakayama, Masaaki Imaizumi
- Abstract要約: 本稿では,データ共分散行列の固有ベクトルに先行依存するベイズ的手法を提案するが,パラメータの空間性は引き起こさない。
また, 導出した後続分布の縮約速度も提供し, 後続分布のガウス近似の切り詰めた近似法を開発した。
結果は、データのスペクトルを処理し、非スパースな高次元を推定できるベイズ的手法が可能であることを示唆している。
- 参考スコア(独自算出の注目度): 5.68558935178946
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In high-dimensional Bayesian statistics, several methods have been developed,
including many prior distributions that lead to the sparsity of estimated
parameters. However, such priors have limitations in handling the spectral
eigenvector structure of data, and as a result, they are ill-suited for
analyzing over-parameterized models (high-dimensional linear models that do not
assume sparsity) that have been developed in recent years. This paper
introduces a Bayesian approach that uses a prior dependent on the eigenvectors
of data covariance matrices, but does not induce the sparsity of parameters. We
also provide contraction rates of derived posterior distributions and develop a
truncated Gaussian approximation of the posterior distribution. The former
demonstrates the efficiency of posterior estimation, while the latter enables
quantification of parameter uncertainty using a Bernstein-von Mises-type
approach. These results indicate that any Bayesian method that can handle the
spectrum of data and estimate non-sparse high dimensions would be possible.
- Abstract(参考訳): 高次元ベイズ統計では、推定パラメータのスパース性につながる多くの事前分布を含むいくつかの方法が開発されている。
しかし、そのような先行はデータのスペクトル固有ベクトル構造を扱うのに限界があり、結果として近年開発された過パラメータモデル(空間を仮定しない高次元線形モデル)を分析するのに不適である。
本稿では,データ共分散行列の固有ベクトルに先行依存するベイズ的手法を提案するが,パラメータの空間性は引き起こさない。
また, 導出した後続分布の縮約速度も提供し, 後続分布のガウス近似の切り詰めた近似法を開発した。
前者は後方推定の効率を示し,後者はbernstein-von mises型アプローチによるパラメータ不確かさの定量化を可能にする。
これらの結果は、データのスペクトルを処理し、非スパース高次元を推定できるベイズ的手法が可能であることを示唆している。
関連論文リスト
- Bayesian Inference for Consistent Predictions in Overparameterized Nonlinear Regression [0.0]
我々は、データ固有のスペクトル構造に基づいて、適応前の手法を拡張する。
リプシッツ連続活性化関数を持つ単一ニューロンモデルに対する後部収縮を確立する。
提案手法は数値シミュレーションと実データアプリケーションを用いて検証する。
論文 参考訳(メタデータ) (2024-04-06T04:22:48Z) - Provably Efficient Bayesian Optimization with Unbiased Gaussian Process
Hyperparameter Estimation [52.035894372374756]
目的関数の大域的最適値にサブ線形収束できる新しいBO法を提案する。
本手法では,BOプロセスにランダムなデータポイントを追加するために,マルチアームバンディット法 (EXP3) を用いる。
提案手法は, 様々な合成および実世界の問題に対して, 既存の手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2023-06-12T03:35:45Z) - Prior Density Learning in Variational Bayesian Phylogenetic Parameters
Inference [1.03590082373586]
本稿では,勾配に基づく手法とニューラルネットワークに基づくパラメータ化を用いて,それらのパラメータを学習することで,先行密度の剛性を緩和する手法を提案する。
実験の結果, 分岐長と進化モデルパラメータを推定する上で, 提案手法は強力であることが示唆された。
論文 参考訳(メタデータ) (2023-02-06T01:29:15Z) - Sparse Horseshoe Estimation via Expectation-Maximisation [2.1485350418225244]
パラメータのMAP推定を計算するための新しい予測最大化(EM)手法を提案する。
我々のアプローチの特に強みは、M-ステップは前者の形式にのみ依存し、それは可能性の形式とは独立であるということである。
シミュレーションおよび実データを用いて行った実験では、我々の手法は最先端のスパース推定法に匹敵する、あるいは優れている。
論文 参考訳(メタデータ) (2022-11-07T00:43:26Z) - Sparse high-dimensional linear regression with a partitioned empirical
Bayes ECM algorithm [62.997667081978825]
疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。
パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。
提案手法はRパッケージプローブに実装されている。
論文 参考訳(メタデータ) (2022-09-16T19:15:50Z) - Time varying regression with hidden linear dynamics [74.9914602730208]
線形力学系に従って未知のパラメータが進化することを前提とした時間変化線形回帰モデルを再検討する。
反対に、基礎となる力学が安定である場合、このモデルのパラメータは2つの通常の最小二乗推定と組み合わせることで、データから推定できることが示される。
論文 参考訳(メタデータ) (2021-12-29T23:37:06Z) - Divergence Frontiers for Generative Models: Sample Complexity,
Quantization Level, and Frontier Integral [58.434753643798224]
多様性フロンティアは生成モデルの評価フレームワークとして提案されている。
分岐フロンティアのプラグイン推定器のサンプル複雑性の非漸近的境界を確立する。
また,スムーズな分布推定器の統計的性能を調べることにより,分散フロンティアの枠組みも強化する。
論文 参考訳(メタデータ) (2021-06-15T06:26:25Z) - A likelihood approach to nonparametric estimation of a singular
distribution using deep generative models [4.329951775163721]
深部生成モデルを用いた特異分布の非パラメトリック推定の可能性について検討する。
我々は、インスタンスノイズでデータを摂動することで、新しい効果的な解が存在することを証明した。
また、より深い生成モデルにより効率的に推定できる分布のクラスを特徴付ける。
論文 参考訳(メタデータ) (2021-05-09T23:13:58Z) - Efficient Ensemble Model Generation for Uncertainty Estimation with
Bayesian Approximation in Segmentation [74.06904875527556]
アンサンブルセグメンテーションモデルを構築するための汎用的で効率的なセグメンテーションフレームワークを提案する。
提案手法では,層選択法を用いて効率よくアンサンブルモデルを生成することができる。
また,新たな画素単位の不確実性損失を考案し,予測性能を向上する。
論文 参考訳(メタデータ) (2020-05-21T16:08:38Z) - Nonparametric Score Estimators [49.42469547970041]
未知分布によって生成されたサンプルの集合からスコアを推定することは確率モデルの推論と学習における基本的なタスクである。
正規化非パラメトリック回帰の枠組みの下で、これらの推定器の統一的なビューを提供する。
カールフリーカーネルと高速収束による計算効果を享受する反復正規化に基づくスコア推定器を提案する。
論文 参考訳(メタデータ) (2020-05-20T15:01:03Z) - Maximum likelihood estimation and uncertainty quantification for
Gaussian process approximation of deterministic functions [10.319367855067476]
本稿は、ガウス過程の回帰の文脈において、ノイズのないデータセットを用いた最初の理論的分析の1つを提供する。
本稿では,スケールパラメータのみの最大推定がガウス過程モデルの不特定に対する顕著な適応をもたらすことを示す。
論文 参考訳(メタデータ) (2020-01-29T17:20:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。