論文の概要: A Symmetry-Aware Exploration of Bayesian Neural Network Posteriors

• arxiv url: http://arxiv.org/abs/2310.08287v1
• Date: Thu, 12 Oct 2023 12:45:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-14 11:29:32.457747
• Title: A Symmetry-Aware Exploration of Bayesian Neural Network Posteriors
• Title（参考訳）: ベイジアンニューラルネットワーク後駆体の対称性を考慮した探索
• Authors: Olivier Laurent, Emanuel Aldea and Gianni Franchi
• Abstract要約: 現代のディープニューラルネットワーク(DNN)の重みの分布は、非常に高次元性のため、顕著に複雑である。 本稿では,BNNの後部分布を大規模に調査し,その研究を現実の視覚タスクやアーキテクチャに拡張した。
• 参考スコア（独自算出の注目度）: 5.54475507578913
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The distribution of the weights of modern deep neural networks (DNNs) - crucial for uncertainty quantification and robustness - is an eminently complex object due to its extremely high dimensionality. This paper proposes one of the first large-scale explorations of the posterior distribution of deep Bayesian Neural Networks (BNNs), expanding its study to real-world vision tasks and architectures. Specifically, we investigate the optimal approach for approximating the posterior, analyze the connection between posterior quality and uncertainty quantification, delve into the impact of modes on the posterior, and explore methods for visualizing the posterior. Moreover, we uncover weight-space symmetries as a critical aspect for understanding the posterior. To this extent, we develop an in-depth assessment of the impact of both permutation and scaling symmetries that tend to obfuscate the Bayesian posterior. While the first type of transformation is known for duplicating modes, we explore the relationship between the latter and L2 regularization, challenging previous misconceptions. Finally, to help the community improve our understanding of the Bayesian posterior, we will shortly release the first large-scale checkpoint dataset, including thousands of real-world models and our codes.
• Abstract（参考訳）: 最新のディープニューラルネットワーク(DNN)の重みの分布は、不確実性の定量化とロバスト性のため、非常に高い次元性のため、非常に複雑な物体である。 本稿では,深層ベイズ型ニューラルネットワーク(bnns)の後方分布を大規模に探索し,その研究成果を実世界の視覚課題とアーキテクチャに拡張する。 具体的には,後方を近似するための最適アプローチを検討し,後方品質と不確かさの定量化との関係を分析し,後方へのモードの影響を調べ,後方を視認する方法について検討した。 さらに,重量空間対称性を後部理解の重要な側面として明らかにした。 この範囲では,ベイズ後方を遠ざける傾向のある置換対称性とスケーリング対称性の両方の影響を深く評価する。 最初のタイプの変換は重複モードで知られているが、後者とL2正規化の関係を調べ、以前の誤解に挑戦する。 最後に、コミュニティがベイズの後部について理解を深めるために、何千もの現実世界のモデルやコードを含む、最初の大規模なチェックポイントデータセットをまもなくリリースします。

関連論文リスト

• Posterior and variational inference for deep neural networks with heavy-tailed weights [0.0]
  我々は、ネットワーク重みをランダムにサンプリングする事前分布を持つベイズフレームワークにおいて、ディープニューラルネットワークを考察する。 後部分布は, ほぼ最適のミニマックス収縮速度を達成できることを示す。 また, 実験結果の変分ベイズ版も提供し, 平均場変分近似は, ほぼ最適理論的支援の恩恵を受けていることを示した。
  論文  参考訳（メタデータ） (2024-06-05T15:24:20Z)
• Uncertainty-guided Optimal Transport in Depth Supervised Sparse-View 3D Gaussian [49.21866794516328]
  3次元ガウシアンスプラッティングは、リアルタイムな新規ビュー合成において顕著な性能を示した。 これまでのアプローチでは、3Dガウスの訓練に奥行き監視を取り入れ、オーバーフィッティングを軽減してきた。 本研究では,3次元ガウスの深度分布を可視化する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-30T03:18:30Z)
• Bayesian imaging inverse problem with SA-Roundtrip prior via HMC-pCN sampler [3.717366858126521]
  事前分布の選択は、利用可能な事前測定の重要表現学習から学習される。 SA-Roundtripは、制御されたサンプリング生成を可能にし、データの本質的な次元を識別するために、新しい深層生成前のSA-Roundtripを導入している。
  論文  参考訳（メタデータ） (2023-10-24T17:16:45Z)
• Bayesian Interpolation with Deep Linear Networks [92.1721532941863]
  ニューラルネットワークの深さ、幅、データセットサイズがモデル品質にどう影響するかを特徴付けることは、ディープラーニング理論における中心的な問題である。 線形ネットワークが無限深度で証明可能な最適予測を行うことを示す。 また、データに依存しない先行法により、広い線形ネットワークにおけるベイズ模型の証拠は無限の深さで最大化されることを示す。
  論文  参考訳（メタデータ） (2022-12-29T20:57:46Z)
• Variational Laplace Autoencoders [53.08170674326728]
  変分オートエンコーダは、遅延変数の後部を近似するために、償却推論モデルを用いる。 完全分解ガウス仮定の限定的後部表現性に対処する新しい手法を提案する。 また、深部生成モデルのトレーニングのための変分ラプラスオートエンコーダ(VLAE)という一般的なフレームワークも提示する。
  論文  参考訳（メタデータ） (2022-11-30T18:59:27Z)
• Wide Bayesian neural networks have a simple weight posterior: theory and accelerated sampling [48.94555574632823]
  再帰化は、ベイズニューラルネットワーク(BNN)の後部を、層幅が大きくなるにつれてKLがBNNに分岐する分布に変換する。 我々は,BNNを高速に混合するマルコフ連鎖モンテカルロ (MCMC) 後方サンプリングアルゴリズムを開発した。 完全接続ネットワークと残留ネットワークの双方の分離を伴わないため, 最大50倍の有効試料サイズを観測した。
  論文  参考訳（メタデータ） (2022-06-15T17:11:08Z)
• Probabilistic Mass Mapping with Neural Score Estimation [4.079848600120986]
  弱レンズ質量マッピング問題の高次元ベイズ後方の効率的なサンプリング法を提案する。 本手法の精度をシミュレーションで実証し,HST/ACS COSMOSフィールドの大量再構成に適用する。
  論文  参考訳（メタデータ） (2022-01-14T17:07:48Z)
• Deep Two-View Structure-from-Motion Revisited [83.93809929963969]
  2次元構造移動(SfM)は3次元再構成と視覚SLAMの基礎となる。 古典パイプラインの適切性を活用することで,深部2視点sfmの問題を再検討することを提案する。 本手法は,1)2つのフレーム間の密対応を予測する光フロー推定ネットワーク,2)2次元光フロー対応から相対カメラポーズを計算する正規化ポーズ推定モジュール,3)エピポーラ幾何を利用して探索空間を縮小し,密対応を洗練し,相対深度マップを推定するスケール不変深さ推定ネットワークからなる。
  論文  参考訳（メタデータ） (2021-04-01T15:31:20Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)
• Liberty or Depth: Deep Bayesian Neural Nets Do Not Need Complex Weight Posterior Approximations [40.384018112884874]
  より浅いネットワークによって引き起こされる関数空間に類似した分布を誘導できることを示す。 以上の結果から,より深いモデルにおける平均場変動推定は,構造化近似に対する実用的かつ理論的に妥当な代替手段であることが示唆された。
  論文  参考訳（メタデータ） (2020-02-10T13:11:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。