論文の概要: On Local Posterior Structure in Deep Ensembles

• arxiv url: http://arxiv.org/abs/2503.13296v1
• Date: Mon, 17 Mar 2025 15:41:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-18 12:35:36.500969
• Title: On Local Posterior Structure in Deep Ensembles
• Title（参考訳）: 深層集合における局所的後部構造について
• Authors: Mikkel Jordahn, Jonas Vestergaard Jensen, Mikkel N. Schmidt, Michael Riis Andersen,
• Abstract要約: BNN(DE)の深いアンサンブルは校正を改善することが知られている。 アンサンブルが十分に大きくなると、DESは配信内データでD-BNNを一貫して上回ります。 最後のコントリビューションとして、このトピックに関するさらなる研究を促進するために、トレーニングされたモデルの大規模なプールをオープンソースにしています。
• 参考スコア（独自算出の注目度）: 5.03927767211033
• License:
• Abstract: Bayesian Neural Networks (BNNs) often improve model calibration and predictive uncertainty quantification compared to point estimators such as maximum-a-posteriori (MAP). Similarly, deep ensembles (DEs) are also known to improve calibration, and therefore, it is natural to hypothesize that deep ensembles of BNNs (DE-BNNs) should provide even further improvements. In this work, we systematically investigate this across a number of datasets, neural network architectures, and BNN approximation methods and surprisingly find that when the ensembles grow large enough, DEs consistently outperform DE-BNNs on in-distribution data. To shine light on this observation, we conduct several sensitivity and ablation studies. Moreover, we show that even though DE-BNNs outperform DEs on out-of-distribution metrics, this comes at the cost of decreased in-distribution performance. As a final contribution, we open-source the large pool of trained models to facilitate further research on this topic.
• Abstract（参考訳）: ベイズニューラルネットワーク(BNN)は、最大姿勢推定(MAP)のような点推定器と比較して、モデル校正と予測の不確実性定量化を改善することが多い。 同様に、ディープアンサンブル(DE)もキャリブレーションを改善することで知られており、BNN(DE-BNN)のディープアンサンブルがさらなる改善をもたらすと仮定するのは当然である。 本研究では、多数のデータセット、ニューラルネットワークアーキテクチャ、BNN近似手法でこれを体系的に検討し、アンサンブルが十分に大きくなると、DESは分散データ上でD-BNNを一貫して上回ります。 この観察に光を当てるために、いくつかの感度とアブレーションの研究を行っている。 さらに、DEC-BNNは、ディストリビューションのアウト・オブ・ディストリビューションの指標でDESよりも優れていますが、これは、ディストリビューションのパフォーマンスを低下させるコストが伴います。 最後のコントリビューションとして、このトピックに関するさらなる研究を促進するために、トレーニングされたモデルの大規模なプールをオープンソースにしています。

関連論文リスト

• Tighter Bounds on the Information Bottleneck with Application to Deep Learning [6.206127662604578]
  Deep Neural Nets (DNN)は、下流タスク、目的関数、その他のパラメータによって誘導される潜在表現を学習する。 Information Bottleneck (IB)は、データモデリングのための仮説上最適なフレームワークを提供するが、しばしば難解である。 近年のDNNとIBの連携により,VAEにインスパイアされた変分法を相互情報のバウンダリ近似に適用し,敵攻撃に対するロバスト性の向上を実現している。
  論文  参考訳（メタデータ） (2024-02-12T13:24:32Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Constraining cosmological parameters from N-body simulations with Variational Bayesian Neural Networks [0.0]
  乗法正規化フロー (MNFs) はBNNのパラメータの近似後流の族である。 我々は,標準BNNとフリップアウト推定器についてMNFの比較を行った。 MNFは、変動近似によって導入されたバイアスを緩和する真の後部へのより現実的な予測分布を提供する。
  論文  参考訳（メタデータ） (2023-01-09T16:07:48Z)
• Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
  BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。 私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。 我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
  論文  参考訳（メタデータ） (2022-09-04T06:45:33Z)
• Batch-Ensemble Stochastic Neural Networks for Out-of-Distribution Detection [55.028065567756066]
  Out-of-Distribution(OOD)検出は、機械学習モデルを現実世界のアプリケーションにデプロイすることの重要性から、マシンラーニングコミュニティから注目を集めている。 本稿では,特徴量の分布をモデル化した不確実な定量化手法を提案する。 バッチアンサンブルニューラルネットワーク(BE-SNN)の構築と機能崩壊問題の克服を目的として,効率的なアンサンブル機構,すなわちバッチアンサンブルを組み込んだ。 We show that BE-SNNs yield superior performance on the Two-Moons dataset, the FashionMNIST vs MNIST dataset, FashionM。
  論文  参考訳（メタデータ） (2022-06-26T16:00:22Z)
• On the Intrinsic Structures of Spiking Neural Networks [66.57589494713515]
  近年、時間依存データやイベント駆動データを扱う大きな可能性から、SNNへの関心が高まっている。 スパイキング計算における本質的な構造の影響を総合的に調査する研究が数多く行われている。 この研究はSNNの本質的な構造を深く掘り下げ、SNNの表現性への影響を解明する。
  論文  参考訳（メタデータ） (2022-06-21T09:42:30Z)
• Searching Similarity Measure for Binarized Neural Networks [14.847148292246374]
  バイナリニューラルネットワーク(BNN)は、リソース制限されたデバイスにデプロイされる有望なモデルである。 BNNは難解な精度の劣化に悩まされ、様々な領域で適用が制限される。 遺伝的アルゴリズムに基づくBNN調整類似度尺度の自動探索手法を提案する。
  論文  参考訳（メタデータ） (2022-06-05T06:53:53Z)
• Masked Bayesian Neural Networks : Computation and Optimality [1.3649494534428745]
  そこで本稿では, 適切な複雑性を伴って, 優れた深層ニューラルネットワークを探索する, スパースベイズニューラルネットワーク(BNN)を提案する。 我々は各ノードのマスキング変数を用いて、後続分布に応じていくつかのノードをオフにし、ノードワイズDNNを生成する。 いくつかのベンチマークデータセットを解析することにより,提案したBNNが既存手法と比較してよく動作することを示す。
  論文  参考訳（メタデータ） (2022-06-02T02:59:55Z)
• A Biased Graph Neural Network Sampler with Near-Optimal Regret [57.70126763759996]
  グラフニューラルネットワーク(GNN)は、グラフおよびリレーショナルデータにディープネットワークアーキテクチャを適用する手段として登場した。 本論文では,既存の作業に基づいて,GNN近傍サンプリングをマルチアームバンディット問題として扱う。 そこで本研究では,分散を低減し,不安定かつ非限定的な支払いを回避すべく設計されたバイアスをある程度導入した報酬関数を提案する。
  論文  参考訳（メタデータ） (2021-03-01T15:55:58Z)
• S2-BNN: Bridging the Gap Between Self-Supervised Real and 1-bit Neural Networks via Guided Distribution Calibration [74.5509794733707]
  本研究では, 実数値から, 最終予測分布上のバイナリネットワークへの誘導型学習パラダイムを提案する。 提案手法は,bnn上で5.515%の絶対利得で,単純なコントラスト学習ベースラインを向上できる。 提案手法は、単純なコントラスト学習ベースラインよりも大幅に改善され、多くの主流教師付きBNN手法に匹敵する。
  論文  参考訳（メタデータ） (2021-02-17T18:59:28Z)
• Advantage of Deep Neural Networks for Estimating Functions with Singularity on Hypersurfaces [23.21591478556582]
  我々は、ディープニューラルネットワーク(DNN)が他の標準手法よりも優れている理由を説明するために、ミニマックスレート分析を開発する。 本研究では,超曲面上の特異点を持つ非滑らか関数のクラスを推定することにより,このギャップを埋めようとしている。
  論文  参考訳（メタデータ） (2020-11-04T12:51:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。