論文の概要: Should We Learn Most Likely Functions or Parameters?

• arxiv url: http://arxiv.org/abs/2311.15990v1
• Date: Mon, 27 Nov 2023 16:39:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-28 14:15:41.276123
• Title: Should We Learn Most Likely Functions or Parameters?
• Title（参考訳）: 最もよく似た関数やパラメータを学ぶべきか?
• Authors: Shikai Qiu, Tim G. J. Rudner, Sanyam Kapoor, Andrew Gordon Wilson
• Abstract要約: モデルとデータによって示唆される最も可能性の高い関数を直接推定する利点と欠点について検討する。 関数空間MAP推定は, より平坦な最小化, 一般化, オーバーフィッティングの改善につながる可能性がある。
• 参考スコア（独自算出の注目度）: 51.133793272222874
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Standard regularized training procedures correspond to maximizing a posterior distribution over parameters, known as maximum a posteriori (MAP) estimation. However, model parameters are of interest only insomuch as they combine with the functional form of a model to provide a function that can make good predictions. Moreover, the most likely parameters under the parameter posterior do not generally correspond to the most likely function induced by the parameter posterior. In fact, we can re-parametrize a model such that any setting of parameters can maximize the parameter posterior. As an alternative, we investigate the benefits and drawbacks of directly estimating the most likely function implied by the model and the data. We show that this procedure leads to pathological solutions when using neural networks and prove conditions under which the procedure is well-behaved, as well as a scalable approximation. Under these conditions, we find that function-space MAP estimation can lead to flatter minima, better generalization, and improved robustness to overfitting.
• Abstract（参考訳）: 標準正規化訓練手順は、最大アフター(MAP)推定として知られるパラメータの後方分布の最大化に対応する。 しかし、モデルパラメータは、良い予測ができる関数を提供するために、モデルの機能形式と組み合わせているため、興味をそそるだけです。 さらに、パラメータ後部の最も可能性の高いパラメータは、一般にパラメータ後部によって誘導される最も可能性の高い関数に対応しない。 実際、パラメータの設定が後方のパラメータを最大化できるように、モデルを再パラメータ化することができる。 代替案として,モデルとデータに含意される最も可能性の高い関数を直接推定する利点と欠点について検討する。 この手法は,ニューラルネットワークを用いた場合の病理学的解決につながることを示し,その方法が十分に整備された条件とスケーラブルな近似を証明できることを示した。 これらの条件下では、関数空間マップの推定がより平坦な最小値となり、より一般化され、オーバーフィッティングに対するロバスト性が向上する。

関連論文リスト

• Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
  凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。 このような問題は医学、物理学、機械学習で発生する。 両種類の雑音下で提案アルゴリズムの収束保証を行う。
  論文  参考訳（メタデータ） (2024-11-21T10:26:17Z)
• Scaling Exponents Across Parameterizations and Optimizers [94.54718325264218]
  本稿では,先行研究における重要な仮定を考察し,パラメータ化の新たな視点を提案する。 私たちの経験的調査には、3つの組み合わせでトレーニングされた数万のモデルが含まれています。 最高の学習率のスケーリング基準は、以前の作業の仮定から除外されることがよくあります。
  論文  参考訳（メタデータ） (2024-07-08T12:32:51Z)
• PriorCVAE: scalable MCMC parameter inference with Bayesian deep generative modelling [12.820453440015553]
  近年、可変オートエンコーダ(VAE)のような深層生成モデルを用いてGPプリエントを符号化できることが示されている。 MCMC推論において、VAEが元のプリミティブのドロップイン置換としてどのように機能するかを示す。 ODEの解を符号化するために、PresideCVAEを提案する。
  論文  参考訳（メタデータ） (2023-04-09T20:23:26Z)
• On the Effectiveness of Parameter-Efficient Fine-Tuning [79.6302606855302]
  現在、多くの研究が、パラメータのごく一部のみを微調整し、異なるタスク間で共有されるパラメータのほとんどを保持することを提案している。 これらの手法は, いずれも細粒度モデルであり, 新たな理論的解析を行う。 我々の理論に根ざした空間性の有効性にもかかわらず、調整可能なパラメータをどう選ぶかという問題はまだ未解決のままである。
  論文  参考訳（メタデータ） (2022-11-28T17:41:48Z)
• Sparse Horseshoe Estimation via Expectation-Maximisation [2.1485350418225244]
  パラメータのMAP推定を計算するための新しい予測最大化(EM)手法を提案する。 我々のアプローチの特に強みは、M-ステップは前者の形式にのみ依存し、それは可能性の形式とは独立であるということである。 シミュレーションおよび実データを用いて行った実験では、我々の手法は最先端のスパース推定法に匹敵する、あるいは優れている。
  論文  参考訳（メタデータ） (2022-11-07T00:43:26Z)
• Gaussian Process Uniform Error Bounds with Unknown Hyperparameters for Safety-Critical Applications [71.23286211775084]
  未知のハイパーパラメータを持つ設定において、ロバストなガウス過程の均一なエラー境界を導入する。 提案手法はハイパーパラメータの空間における信頼領域を計算し,モデル誤差に対する確率的上限を求める。 実験により、バニラ法やベイズ法よりもバニラ法の方がはるかに優れていることが示された。
  論文  参考訳（メタデータ） (2021-09-06T17:10:01Z)
• A new method for parameter estimation in probabilistic models: Minimum probability flow [26.25482738732648]
  パラメトリックモデルに適用可能なパラメータフィッティング手法として,MPF(Minimum Probability Flow)を提案する。 連続状態空間モデルとイジングスピンガラスの2つのケースでMPFを用いたパラメータ推定を実証する。
  論文  参考訳（メタデータ） (2020-07-17T21:19:44Z)
• Misspecification-robust likelihood-free inference in high dimensions [13.934999364767918]
  本稿では,ベイズ最適化に基づく近似離散関数の確率的手法による拡張を提案する。 提案手法は,高次元パラメータ空間に対する計算スケーラビリティを,各パラメータの別個の取得関数と相違点を用いて達成する。 本手法は,100次元空間における標準例による計算効率のよい推論を成功させ,既存のモジュール化ABC法と比較した。
  論文  参考訳（メタデータ） (2020-02-21T16:06:11Z)
• Implicit differentiation of Lasso-type models for hyperparameter optimization [82.73138686390514]
  ラッソ型問題に適した行列逆転のない効率的な暗黙微分アルゴリズムを提案する。 提案手法は,解の空間性を利用して高次元データにスケールする。
  論文  参考訳（メタデータ） (2020-02-20T18:43:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。