論文の概要: FSP-Laplace: Function-Space Priors for the Laplace Approximation in Bayesian Deep Learning
- arxiv url: http://arxiv.org/abs/2407.13711v2
- Date: Thu, 31 Oct 2024 09:58:47 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-08 20:01:00.728209
- Title: FSP-Laplace: Function-Space Priors for the Laplace Approximation in Bayesian Deep Learning
- Title（参考訳）: FSP-Laplace:ベイズ深層学習におけるラプラス近似の関数空間優先
- Authors: Tristan Cinquin, Marvin Pförtner, Vincent Fortuin, Philipp Hennig, Robert Bamler,
- Abstract要約: 我々は,ガウス過程 (GP) に先立って, 後方測度のいわゆる弱モードを求める訓練を再放送した。
GP事前を通じて、正規性や周期性のような構造的かつ解釈可能な帰納バイアスを関数空間で直接表現することができる。
我々の手法は、事前知識が豊富であるような改善された結果を提供する。
- 参考スコア（独自算出の注目度）: 34.251467374105935
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Laplace approximations are popular techniques for endowing deep networks with epistemic uncertainty estimates as they can be applied without altering the predictions of the trained network, and they scale to large models and datasets. While the choice of prior strongly affects the resulting posterior distribution, computational tractability and lack of interpretability of the weight space typically limit the Laplace approximation to isotropic Gaussian priors, which are known to cause pathological behavior as depth increases. As a remedy, we directly place a prior on function space. More precisely, since Lebesgue densities do not exist on infinite-dimensional function spaces, we recast training as finding the so-called weak mode of the posterior measure under a Gaussian process (GP) prior restricted to the space of functions representable by the neural network. Through the GP prior, one can express structured and interpretable inductive biases, such as regularity or periodicity, directly in function space, while still exploiting the implicit inductive biases that allow deep networks to generalize. After model linearization, the training objective induces a negative log-posterior density to which we apply a Laplace approximation, leveraging highly scalable methods from matrix-free linear algebra. Our method provides improved results where prior knowledge is abundant (as is the case in many scientific inference tasks). At the same time, it stays competitive for black-box supervised learning problems, where neural networks typically excel.
- Abstract（参考訳）: ラプラス近似(Laplace approximation)は、トレーニングされたネットワークの予測を変更することなく適用可能な、てんかん性不確実性推定を伴うディープネットワークを実現するための一般的な手法であり、大きなモデルやデータセットにスケールする。
事前の選択は、結果として生じる後続分布、計算的トラクタビリティ、およびウェイト空間の解釈可能性の欠如に強く影響するが、一般にラプラス近似は、深さが増加するにつれて病理的な振る舞いを引き起こすことが知られている等方ガウス事前に制限される。
救済策として、関数空間に事前を直接配置する。
より正確には、ルベーグ密度は無限次元函数空間に存在しないので、ニューラルネットワークで表現できる関数の空間に制限されるガウス過程(GP)の下で、後測度のいわゆる弱モードを見つけるようにトレーニングをリキャストする。
GP事前を通じて、正規性や周期性などの構造的かつ解釈可能な帰納バイアスを関数空間で直接表現でき、深いネットワークを一般化できる暗黙の帰納バイアスを利用することができる。
モデル線形化後、トレーニング目的は負の対数-後続密度を誘導し、ラプラス近似を適用し、行列自由線型代数からの高度にスケーラブルな手法を利用する。
本手法は,先行知識が豊富である(多くの科学的推論タスクの場合と同様に)改善された結果を提供する。
同時に、ニューラルネットワークが典型的に優れているブラックボックスの教師付き学習問題に対して、競争力を維持している。
関連論文リスト
- NeuralGF: Unsupervised Point Normal Estimation by Learning Neural
Gradient Function [55.86697795177619]
3次元点雲の正規推定は3次元幾何処理の基本的な課題である。
我々は,ニューラルネットワークが入力点雲に適合することを奨励する,ニューラルグラデーション関数の学習のための新しいパラダイムを導入する。
広範に使用されているベンチマークの優れた結果から,本手法は非指向性および指向性正常推定タスクにおいて,より正確な正規性を学習できることが示されている。
論文 参考訳（メタデータ） (2023-11-01T09:25:29Z) - Riemannian Laplace approximations for Bayesian neural networks [3.6990978741464904]
本稿では, 後円部形状に適応する簡易なパラメトリック近似後円板を提案する。
提案手法は従来のタスク間のラプラス近似よりも一貫して改善されていることを示す。
論文 参考訳（メタデータ） (2023-06-12T14:44:22Z) - Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。
ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
論文 参考訳（メタデータ） (2023-04-17T14:23:43Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳（メタデータ） (2023-03-06T18:59:13Z) - Implicit Bias in Leaky ReLU Networks Trained on High-Dimensional Data [63.34506218832164]
本研究では,ReLUを活性化した2層完全連結ニューラルネットワークにおける勾配流と勾配降下の暗黙的バイアスについて検討する。
勾配流には、均一なニューラルネットワークに対する暗黙のバイアスに関する最近の研究を活用し、リーク的に勾配流が2つ以上のランクを持つニューラルネットワークを生成することを示す。
勾配降下は, ランダムな分散が十分小さい場合, 勾配降下の1ステップでネットワークのランクが劇的に低下し, トレーニング中もランクが小さくなることを示す。
論文 参考訳（メタデータ） (2022-10-13T15:09:54Z) - Sobolev-type embeddings for neural network approximation spaces [5.863264019032882]
近似可能な速度に応じて関数を分類するニューラルネットワーク近似空間を考察する。
p$の異なる値に対して、これらの空間間の埋め込み定理を証明する。
古典函数空間の場合と同様、可積分性を高めるために「滑らかさ」(すなわち近似率)を交換できる。
論文 参考訳（メタデータ） (2021-10-28T17:11:38Z) - Learning Functional Priors and Posteriors from Data and Physics [3.537267195871802]
我々は、歴史的データを用いて時空の露光を可能にするディープニューラルネットワークに基づく新しいフレームワークを開発した。
物理インフォームド・ジェネレーティブ・アダクティブ・アダクティブ・ネットワーク(PI-GAN)を用いて機能的事前学習を行う。
第2段階では, PI-GANの潜伏空間の後方を推定するために, ハミルトニアンモンテカルロ法(HMC)を用いる。
論文 参考訳（メタデータ） (2021-06-08T03:03:24Z) - Universal scaling laws in the gradient descent training of neural
networks [10.508187462682308]
学習軌跡は,大きな訓練時間に明示的な境界によって特徴づけられることを示す。
結果は,期待される損失に基づいて訓練された大規模ネットワークの進化のスペクトル解析に基づいている。
論文 参考訳（メタデータ） (2021-05-02T16:46:38Z) - Improving predictions of Bayesian neural nets via local linearization [79.21517734364093]
ガウス・ニュートン近似は基礎となるベイズニューラルネットワーク(BNN)の局所線形化として理解されるべきである。
この線形化モデルを後部推論に使用するので、元のモデルではなく、この修正モデルを使用することも予測すべきである。
この修正された予測を"GLM predictive"と呼び、Laplace近似の共通不適合問題を効果的に解決することを示す。
論文 参考訳（メタデータ） (2020-08-19T12:35:55Z) - Revisiting Initialization of Neural Networks [72.24615341588846]
ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。
Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
論文 参考訳（メタデータ） (2020-04-20T18:12:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。