論文の概要: Consistency of Empirical Bayes And Kernel Flow For Hierarchical
Parameter Estimation
- arxiv url: http://arxiv.org/abs/2005.11375v2
- Date: Tue, 16 Mar 2021 23:57:46 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-30 09:52:16.753963
- Title: Consistency of Empirical Bayes And Kernel Flow For Hierarchical
Parameter Estimation
- Title（参考訳）: 階層パラメータ推定のための経験ベイズとカーネルフローの一貫性
- Authors: Yifan Chen, Houman Owhadi, Andrew M. Stuart
- Abstract要約: 本稿では,階層的パラメータを学習する2つのパラダイムについて考察する。
一つは確率ベイズ的視点、特に経験的ベイズ的アプローチからである。
もう1つは、決定論的および近似論的視点、特にカーネルフローアルゴリズムからのものである。
- 参考スコア（独自算出の注目度）: 18.852474191260445
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Gaussian process regression has proven very powerful in statistics, machine
learning and inverse problems. A crucial aspect of the success of this
methodology, in a wide range of applications to complex and real-world
problems, is hierarchical modeling and learning of hyperparameters. The purpose
of this paper is to study two paradigms of learning hierarchical parameters:
one is from the probabilistic Bayesian perspective, in particular, the
empirical Bayes approach that has been largely used in Bayesian statistics; the
other is from the deterministic and approximation theoretic view, and in
particular the kernel flow algorithm that was proposed recently in the machine
learning literature. Analysis of their consistency in the large data limit, as
well as explicit identification of their implicit bias in parameter learning,
are established in this paper for a Mat\'ern-like model on the torus. A
particular technical challenge we overcome is the learning of the regularity
parameter in the Mat\'ern-like field, for which consistency results have been
very scarce in the spatial statistics literature. Moreover, we conduct
extensive numerical experiments beyond the Mat\'ern-like model, comparing the
two algorithms further. These experiments demonstrate learning of other
hierarchical parameters, such as amplitude and lengthscale; they also
illustrate the setting of model misspecification in which the kernel flow
approach could show superior performance to the more traditional empirical
Bayes approach.
- Abstract（参考訳）: ガウス過程の回帰は統計学、機械学習、逆問題において非常に強力であることが証明されている。
この手法の成功の重要な側面は、複雑で実世界の問題に対する幅広い応用において、ハイパーパラメータの階層的モデリングと学習である。
本研究の目的は,階層的パラメータを学習する2つのパラダイムを検討することである。1つは確率的ベイズ的観点,特にベイズ統計学で広く用いられている経験的ベイズアプローチ,もう1つは決定論的および近似的理論的視点,および特に最近機械学習文献で提唱されたカーネルフローアルゴリズムである。
本論文では,大規模データ限界におけるそれらの一貫性の解析とパラメータ学習における暗黙バイアスの明示的同定を,トーラス上のMat\'ern-likeモデルとして確立する。
我々が克服した特別な技術的課題は、空間統計学の文献において一貫性の結果が極めて少ないmat\'ern様の分野における正規性パラメータの学習である。
さらに,Mat\'ern-likeモデルを超える広範な数値実験を行い,さらに2つのアルゴリズムを比較した。
これらの実験は振幅や長さスケールなどの他の階層的パラメータの学習を実証しており、カーネルフローアプローチが従来の経験的ベイズ手法よりも優れた性能を示すモデルミススペクテーションの設定も示している。
関連論文リスト
- A sparse PAC-Bayesian approach for high-dimensional quantile prediction [0.0]
本稿では,高次元量子化予測のための確率論的機械学習手法を提案する。
擬似ベイズ的フレームワークとスケールした学生tとランゲヴィン・モンテカルロを併用して効率的な計算を行う。
その効果はシミュレーションや実世界のデータを通じて検証され、そこでは確立された頻繁な手法やベイズ的手法と競合する。
論文 参考訳（メタデータ） (2024-09-03T08:01:01Z) - Diffusion posterior sampling for simulation-based inference in tall data settings [53.17563688225137]
シミュレーションベース推論(SBI)は、入力パラメータを所定の観測に関連付ける後部分布を近似することができる。
本研究では、モデルのパラメータをより正確に推測するために、複数の観測値が利用できる、背の高いデータ拡張について考察する。
提案手法を,最近提案した各種数値実験の競合手法と比較し,数値安定性と計算コストの観点から,その優位性を実証した。
論文 参考訳（メタデータ） (2024-04-11T09:23:36Z) - A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。
オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
論文 参考訳（メタデータ） (2023-11-13T01:48:08Z) - Simulation-Based Prior Knowledge Elicitation for Parametric Bayesian Models [2.9172603864294024]
我々は、ドメインエキスパートの知識をモデルパラメータ上の対応する事前分布に変換することに注力する。
既存の適用方法における大きな課題は、モデル構造に関係なく、専門家の期待に沿う事前分布を定式化するために、これらの異なるフォーマットを効果的に活用する方法である。
本研究は,本手法が基礎となるモデル構造に大きく依存し,量子化法,モーメント法,ヒストグラム法など,様々な手法に適応可能であるという主張を裏付けるものである。
論文 参考訳（メタデータ） (2023-08-22T10:43:05Z) - MARS: Meta-Learning as Score Matching in the Function Space [79.73213540203389]
本稿では,一連の関連するデータセットから帰納バイアスを抽出する手法を提案する。
機能的ベイズニューラルネットワーク推論を用いて、前者をプロセスとみなし、関数空間で推論を行う。
本手法は,データ生成プロセスのスコア関数をメタラーニングすることにより,複雑な事前知識をシームレスに獲得し,表現することができる。
論文 参考訳（メタデータ） (2022-10-24T15:14:26Z) - On the Influence of Enforcing Model Identifiability on Learning dynamics
of Gaussian Mixture Models [14.759688428864159]
特異モデルからサブモデルを抽出する手法を提案する。
本手法はトレーニング中のモデルの識別性を強制する。
この手法がディープニューラルネットワークのようなより複雑なモデルにどのように適用できるかを示す。
論文 参考訳（メタデータ） (2022-06-17T07:50:22Z) - A Farewell to the Bias-Variance Tradeoff? An Overview of the Theory of
Overparameterized Machine Learning [37.01683478234978]
機械学習(ML)の急速な進歩は、この分野の長年のドグマに挑戦する科学的な疑問を数多く提起している。
最も重要なライドルの1つは、パラメータ化されたモデルの優れた経験的一般化である。
論文 参考訳（メタデータ） (2021-09-06T10:48:40Z) - Evaluating Sensitivity to the Stick-Breaking Prior in Bayesian
Nonparametrics [85.31247588089686]
変分ベイズ法はベイズモデルのパラメトリック的および非パラメトリック的側面に対して感性が得られることを示す。
ベイズ感度分析に対する変動的アプローチの理論的および経験的支援を提供する。
論文 参考訳（メタデータ） (2021-07-08T03:40:18Z) - Leveraging Global Parameters for Flow-based Neural Posterior Estimation [90.21090932619695]
実験観測に基づくモデルのパラメータを推定することは、科学的方法の中心である。
特に困難な設定は、モデルが強く不確定であるとき、すなわち、パラメータの異なるセットが同一の観測をもたらすときである。
本稿では,グローバルパラメータを共有する観測の補助的セットによって伝達される付加情報を利用して,その不確定性を破る手法を提案する。
論文 参考訳（メタデータ） (2021-02-12T12:23:13Z) - Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。
分散による離散乗法雑音のパラメータによく現れることを示す。
最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
論文 参考訳（メタデータ） (2020-06-11T09:58:01Z) - Real-Time Model Calibration with Deep Reinforcement Learning [4.707841918805165]
本稿では,強化学習に基づくモデルパラメータ推定のための新しいフレームワークを提案する。
提案手法を2つのモデルベース診断試験ケースで実証し, 評価した。
論文 参考訳（メタデータ） (2020-06-07T00:11:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。