論文の概要: Accelerated Linearized Laplace Approximation for Bayesian Deep Learning

• arxiv url: http://arxiv.org/abs/2210.12642v1
• Date: Sun, 23 Oct 2022 07:49:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-25 18:23:56.471550
• Title: Accelerated Linearized Laplace Approximation for Bayesian Deep Learning
• Title（参考訳）: ベイズ深層学習のための線形ラプラス近似の高速化
• Authors: Zhijie Deng, Feng Zhou, Jun Zhu
• Abstract要約: ニューラルタンジェントカーネル(NTK)に対するNystrom近似を開発し、LLAを加速する。 我々の手法は、フォワードモード自動微分のための人気のあるディープラーニングライブラリの能力から恩恵を受ける。 私たちの方法では、視覚変換器のようなアーキテクチャまでスケールアップできます。
• 参考スコア（独自算出の注目度）: 34.81292720605279
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Laplace approximation (LA) and its linearized variant (LLA) enable effortless adaptation of pretrained deep neural networks to Bayesian neural networks. The generalized Gauss-Newton (GGN) approximation is typically introduced to improve their tractability. However, LA and LLA are still confronted with non-trivial inefficiency issues and should rely on Kronecker-factored, diagonal, or even last-layer approximate GGN matrices in practical use. These approximations are likely to harm the fidelity of learning outcomes. To tackle this issue, inspired by the connections between LLA and neural tangent kernels (NTKs), we develop a Nystrom approximation to NTKs to accelerate LLA. Our method benefits from the capability of popular deep learning libraries for forward mode automatic differentiation, and enjoys reassuring theoretical guarantees. Extensive studies reflect the merits of the proposed method in aspects of both scalability and performance. Our method can even scale up to architectures like vision transformers. We also offer valuable ablation studies to diagnose our method. Code is available at \url{https://github.com/thudzj/ELLA}.
• Abstract（参考訳）: Laplace Approximation(LA)とその線形化変種(LLA)は、事前訓練されたディープニューラルネットワークをベイズニューラルネットワークに適応させる。 一般化されたガウスニュートン(GGN)近似は典型的にそのトラクタビリティを向上させるために導入される。 しかし、la と lla は相変わらず非自明な非効率の問題に直面しており、実用上はクロネッカー分解、対角的、あるいはラスト層近似の ggn 行列に依存するべきである。 これらの近似は学習結果の忠実さを損なう可能性がある。 この問題に取り組むために,llaと神経接核(ntks)の接続に着想を得て,ntkに対するナイストロム近似を開発し,llaを加速する。 提案手法は,フォワードモード自動微分のための人気のある深層学習ライブラリの利点を生かし,理論的保証を再保証する。 広範な研究は、拡張性と性能の両面において提案手法の利点を反映している。 この手法は視覚トランスフォーマーのようなアーキテクチャまでスケールアップできます。 方法の診断に有効なアブレーション研究も提供する。 コードは \url{https://github.com/thudzj/ELLA} で入手できる。

関連論文リスト

• Optimizing Curvature Learning for Robust Hyperbolic Deep Learning in Computer Vision [3.3964154468907486]
  本稿では、一般的な学習アルゴリズムのための改良されたスキーマと、多様体の可変代表半径内への埋め込みを制約する新しい正規化手法を提案する。 提案手法は,より大規模な双曲モデルを実現するとともに,直接分類と階層的計量学習の両タスクにおいて一貫した性能向上を示す。
  論文  参考訳（メタデータ） (2024-05-22T20:30:14Z)
• Scalable Bayesian Inference in the Era of Deep Learning: From Gaussian Processes to Deep Neural Networks [0.5827521884806072]
  大規模なデータセットでトレーニングされた大規模なニューラルネットワークは、マシンラーニングの主要なパラダイムになっています。 この論文は、モデル不確実性を持つニューラルネットワークを装備するためのスケーラブルな手法を開発する。
  論文  参考訳（メタデータ） (2024-04-29T23:38:58Z)
• Approximated Likelihood Ratio: A Forward-Only and Parallel Framework for Boosting Neural Network Training [30.452060061499523]
  本稿では、勾配推定における計算およびメモリ要求を軽減するために、LR法を近似する手法を提案する。 ニューラルネットワークトレーニングにおける近似手法の有効性を実験により実証した。
  論文  参考訳（メタデータ） (2024-03-18T23:23:50Z)
• Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
  線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。 ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
  論文  参考訳（メタデータ） (2023-04-17T14:23:43Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Optimization-Based Separations for Neural Networks [57.875347246373956]
  本研究では,2層のシグモダルアクティベーションを持つディープ2ニューラルネットワークを用いて,ボールインジケータ関数を効率よく学習できることを示す。 これは最適化に基づく最初の分離結果であり、より強力なアーキテクチャの近似の利点は、実際に確実に現れる。
  論文  参考訳（メタデータ） (2021-12-04T18:07:47Z)
• Analytically Tractable Bayesian Deep Q-Learning [0.0]
  我々は時間差Q-ラーニングフレームワークを適応させ、抽出可能な近似ガウス推論(TAGI)と互換性を持たせる。 我々は,TAGIがバックプロパゲーション学習ネットワークに匹敵する性能に到達できることを実証した。
  論文  参考訳（メタデータ） (2021-06-21T13:11:52Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Fast Adaptation with Linearized Neural Networks [35.43406281230279]
  ニューラルネットワークの線形化の帰納的バイアスについて検討し,全ネットワーク関数の驚くほどよい要約であることを示した。 この発見に触発されて,これらの帰納的バイアスをネットワークのヤコビアンから設計されたカーネルを通してガウス過程に埋め込む手法を提案する。 この設定では、領域適応は不確実性推定を伴う解釈可能な後方推論の形式を取る。
  論文  参考訳（メタデータ） (2021-03-02T03:23:03Z)
• Improving predictions of Bayesian neural nets via local linearization [79.21517734364093]
  ガウス・ニュートン近似は基礎となるベイズニューラルネットワーク(BNN)の局所線形化として理解されるべきである。 この線形化モデルを後部推論に使用するので、元のモデルではなく、この修正モデルを使用することも予測すべきである。 この修正された予測を"GLM predictive"と呼び、Laplace近似の共通不適合問題を効果的に解決することを示す。
  論文  参考訳（メタデータ） (2020-08-19T12:35:55Z)
• Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
  最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。 このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
  論文  参考訳（メタデータ） (2020-03-13T13:11:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。