論文の概要: Should We Learn Most Likely Functions or Parameters?
- arxiv url: http://arxiv.org/abs/2311.15990v1
- Date: Mon, 27 Nov 2023 16:39:55 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-28 14:15:41.276123
- Title: Should We Learn Most Likely Functions or Parameters?
- Title(参考訳): 最もよく似た関数やパラメータを学ぶべきか?
- Authors: Shikai Qiu, Tim G. J. Rudner, Sanyam Kapoor, Andrew Gordon Wilson
- Abstract要約: モデルとデータによって示唆される最も可能性の高い関数を直接推定する利点と欠点について検討する。
関数空間MAP推定は, より平坦な最小化, 一般化, オーバーフィッティングの改善につながる可能性がある。
- 参考スコア(独自算出の注目度): 51.133793272222874
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Standard regularized training procedures correspond to maximizing a posterior
distribution over parameters, known as maximum a posteriori (MAP) estimation.
However, model parameters are of interest only insomuch as they combine with
the functional form of a model to provide a function that can make good
predictions. Moreover, the most likely parameters under the parameter posterior
do not generally correspond to the most likely function induced by the
parameter posterior. In fact, we can re-parametrize a model such that any
setting of parameters can maximize the parameter posterior. As an alternative,
we investigate the benefits and drawbacks of directly estimating the most
likely function implied by the model and the data. We show that this procedure
leads to pathological solutions when using neural networks and prove conditions
under which the procedure is well-behaved, as well as a scalable approximation.
Under these conditions, we find that function-space MAP estimation can lead to
flatter minima, better generalization, and improved robustness to overfitting.
- Abstract(参考訳): 標準正規化訓練手順は、最大アフター(MAP)推定として知られるパラメータの後方分布の最大化に対応する。
しかし、モデルパラメータは、良い予測ができる関数を提供するために、モデルの機能形式と組み合わせているため、興味をそそるだけです。
さらに、パラメータ後部の最も可能性の高いパラメータは、一般にパラメータ後部によって誘導される最も可能性の高い関数に対応しない。
実際、パラメータの設定が後方のパラメータを最大化できるように、モデルを再パラメータ化することができる。
代替案として,モデルとデータに含意される最も可能性の高い関数を直接推定する利点と欠点について検討する。
この手法は,ニューラルネットワークを用いた場合の病理学的解決につながることを示し,その方法が十分に整備された条件とスケーラブルな近似を証明できることを示した。
これらの条件下では、関数空間マップの推定がより平坦な最小値となり、より一般化され、オーバーフィッティングに対するロバスト性が向上する。
関連論文リスト
- Stochastic Marginal Likelihood Gradients using Neural Tangent Kernels [78.6096486885658]
線形化されたラプラス近似に下界を導入する。
これらの境界は漸進的な最適化が可能であり、推定精度と計算複雑性とのトレードオフを可能にする。
論文 参考訳(メタデータ) (2023-06-06T19:02:57Z) - PriorCVAE: scalable MCMC parameter inference with Bayesian deep
generative modelling [12.820453440015553]
近年、可変オートエンコーダ(VAE)のような深層生成モデルを用いてGPプリエントを符号化できることが示されている。
MCMC推論において、VAEが元のプリミティブのドロップイン置換としてどのように機能するかを示す。
ODEの解を符号化するために、PresideCVAEを提案する。
論文 参考訳(メタデータ) (2023-04-09T20:23:26Z) - On the Effectiveness of Parameter-Efficient Fine-Tuning [79.6302606855302]
現在、多くの研究が、パラメータのごく一部のみを微調整し、異なるタスク間で共有されるパラメータのほとんどを保持することを提案している。
これらの手法は, いずれも細粒度モデルであり, 新たな理論的解析を行う。
我々の理論に根ざした空間性の有効性にもかかわらず、調整可能なパラメータをどう選ぶかという問題はまだ未解決のままである。
論文 参考訳(メタデータ) (2022-11-28T17:41:48Z) - Sparse Horseshoe Estimation via Expectation-Maximisation [2.1485350418225244]
パラメータのMAP推定を計算するための新しい予測最大化(EM)手法を提案する。
我々のアプローチの特に強みは、M-ステップは前者の形式にのみ依存し、それは可能性の形式とは独立であるということである。
シミュレーションおよび実データを用いて行った実験では、我々の手法は最先端のスパース推定法に匹敵する、あるいは優れている。
論文 参考訳(メタデータ) (2022-11-07T00:43:26Z) - Sparse high-dimensional linear regression with a partitioned empirical
Bayes ECM algorithm [62.997667081978825]
疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。
パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。
提案手法はRパッケージプローブに実装されている。
論文 参考訳(メタデータ) (2022-09-16T19:15:50Z) - Gaussian Process Uniform Error Bounds with Unknown Hyperparameters for
Safety-Critical Applications [71.23286211775084]
未知のハイパーパラメータを持つ設定において、ロバストなガウス過程の均一なエラー境界を導入する。
提案手法はハイパーパラメータの空間における信頼領域を計算し,モデル誤差に対する確率的上限を求める。
実験により、バニラ法やベイズ法よりもバニラ法の方がはるかに優れていることが示された。
論文 参考訳(メタデータ) (2021-09-06T17:10:01Z) - A new method for parameter estimation in probabilistic models: Minimum
probability flow [26.25482738732648]
パラメトリックモデルに適用可能なパラメータフィッティング手法として,MPF(Minimum Probability Flow)を提案する。
連続状態空間モデルとイジングスピンガラスの2つのケースでMPFを用いたパラメータ推定を実証する。
論文 参考訳(メタデータ) (2020-07-17T21:19:44Z) - Misspecification-robust likelihood-free inference in high dimensions [9.514562526751481]
本稿では,ベイズ最適化に基づく近似離散関数の確率的手法による拡張を提案する。
提案手法は,高次元パラメータ空間に対する計算スケーラビリティを,各パラメータの別個の取得関数と相違点を用いて達成する。
本手法は,100次元空間における標準例による計算効率のよい推論を成功させ,既存のモジュール化ABC法と比較した。
論文 参考訳(メタデータ) (2020-02-21T16:06:11Z) - Implicit differentiation of Lasso-type models for hyperparameter
optimization [82.73138686390514]
ラッソ型問題に適した行列逆転のない効率的な暗黙微分アルゴリズムを提案する。
提案手法は,解の空間性を利用して高次元データにスケールする。
論文 参考訳(メタデータ) (2020-02-20T18:43:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。