論文の概要: On the Effectiveness of Mode Exploration in Bayesian Model Averaging for Neural Networks

• arxiv url: http://arxiv.org/abs/2112.03773v1
• Date: Tue, 7 Dec 2021 15:39:37 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-08 13:50:25.415732
• Title: On the Effectiveness of Mode Exploration in Bayesian Model Averaging for Neural Networks
• Title（参考訳）: ニューラルネットワークのベイズモデル平均化におけるモード探索の有効性について
• Authors: John T. Holodnak and Allan B. Wollaber
• Abstract要約: 重み空間の局所領域を,ブライアスコア,精度,キャリブレーション誤差に対して探索するいくつかの簡単な手法について検討した。 個別モードの追加は性能を均一に向上させるが、ここで考慮した単純なモード探索法は、モード探索なしでのアンサンブルよりもほとんど、あるいは全く改善しないことを示す。
• 参考スコア（独自算出の注目度）: 1.3960152426268768
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multiple techniques for producing calibrated predictive probabilities using deep neural networks in supervised learning settings have emerged that leverage approaches to ensemble diverse solutions discovered during cyclic training or training from multiple random starting points (deep ensembles). However, only a limited amount of work has investigated the utility of exploring the local region around each diverse solution (posterior mode). Using three well-known deep architectures on the CIFAR-10 dataset, we evaluate several simple methods for exploring local regions of the weight space with respect to Brier score, accuracy, and expected calibration error. We consider both Bayesian inference techniques (variational inference and Hamiltonian Monte Carlo applied to the softmax output layer) as well as utilizing the stochastic gradient descent trajectory near optima. While adding separate modes to the ensemble uniformly improves performance, we show that the simple mode exploration methods considered here produce little to no improvement over ensembles without mode exploration.
• Abstract（参考訳）: サイクリックトレーニングや複数のランダムスタートポイント(ディープアンサンブル)から検出されたさまざまなソリューションをアンサンブルするためのアプローチを活用する、教師付き学習環境におけるディープニューラルネットワークを用いた校正予測確率の生成のための複数のテクニックが出現している。 しかし, 多様な溶液(後続モード)の周囲の局所領域を探索する有用性について, 限定的な研究しか行われていない。 CIFAR-10データセット上の3つのよく知られたディープアーキテクチャを用いて、ブライアスコア、精度、予測キャリブレーション誤差に関して重量空間の局所領域を探索するいくつかの簡単な手法を評価する。 我々はベイズ的推論手法(変分推論とハミルトニアン・モンテカルロをソフトマックス出力層に適用)とオプティマ近傍の確率勾配勾配軌道を利用する。 アンサンブルに別々のモードを追加することで性能が一様に向上する一方、ここで検討した単純なモード探索手法は、モード探索なしでアンサンブルよりもほとんど改善しないことを示す。

関連論文リスト

• Improved off-policy training of diffusion samplers [93.66433483772055]
  本研究では,非正規化密度やエネルギー関数を持つ分布からサンプルを抽出する拡散モデルの訓練問題について検討する。 シミュレーションに基づく変分法や非政治手法など,拡散構造推論手法のベンチマークを行った。 我々の結果は、過去の研究の主張に疑問を投げかけながら、既存のアルゴリズムの相対的な利点を浮き彫りにした。
  論文  参考訳（メタデータ） (2024-02-07T18:51:49Z)
• Implicit Variational Inference for High-Dimensional Posteriors [7.924706533725115]
  変分推論において、ベイズモデルの利点は、真の後続分布を正確に捉えることに依存する。 複雑な多重モーダルおよび相関後部を近似するのに適した暗黙分布を特定するニューラルサンプリング手法を提案する。 提案手法では,ニューラルネットワークを局所的に線形化することにより,暗黙分布を用いた近似推論の新たなバウンダリを導入する。
  論文  参考訳（メタデータ） (2023-10-10T14:06:56Z)
• Optimizing Solution-Samplers for Combinatorial Problems: The Landscape of Policy-Gradient Methods [52.0617030129699]
  本稿では,DeepMatching NetworksとReinforcement Learningメソッドの有効性を解析するための新しい理論フレームワークを提案する。 我々の主な貢献は、Max- and Min-Cut、Max-$k$-Bipartite-Bi、Maximum-Weight-Bipartite-Bi、Traveing Salesman Problemを含む幅広い問題である。 本分析の副産物として,バニラ降下による新たな正則化プロセスを導入し,失効する段階的な問題に対処し,悪い静止点から逃れる上で有効であることを示す理論的および実験的証拠を提供する。
  論文  参考訳（メタデータ） (2023-10-08T23:39:38Z)
• Beyond Deep Ensembles: A Large-Scale Evaluation of Bayesian Deep Learning under Distribution Shift [19.945634052291542]
  我々は、WILDSコレクションから現実のデータセットに対する最新のBDLアルゴリズムを評価し、難解な分類と回帰タスクを含む。 我々は、大規模な、畳み込み、トランスフォーマーベースのニューラルネットワークアーキテクチャにおいて、アルゴリズムを比較した。 そこで本研究では,BDLを用いた大規模事前学習モデルのシステム評価を行った。
  論文  参考訳（メタデータ） (2023-06-21T14:36:03Z)
• Classified as unknown: A novel Bayesian neural network [0.0]
  完全連結ニューラルネットワークのための効率の良いベイズ学習アルゴリズムを開発した。 多層パーセプトロンから多層パーセプトロンへの二元分類のための単一パーセプトロンのアルゴリズムを一般化する。
  論文  参考訳（メタデータ） (2023-01-31T04:27:09Z)
• Feature Space Particle Inference for Neural Network Ensembles [13.392254060510666]
  粒子ベースの推論法はベイズの観点から有望なアプローチを提供する。 特定の中間層が活性化される特徴空間における粒子の最適化を提案する。 提案手法は,各メンバーに対して,アンサンブル予測の堅牢性の向上を期待する特徴を捉えることを奨励する。
  論文  参考訳（メタデータ） (2022-06-02T09:16:26Z)
• Residual Overfit Method of Exploration [78.07532520582313]
  提案手法は,2点推定値の調整と1点オーバーフィットに基づく近似探索手法を提案する。 このアプローチは、調整されたモデルと比較して、オーバーフィットモデルが最も過度な適合を示すアクションへの探索を促進する。 ROMEを3つのデータセット上の確立されたコンテキスト的帯域幅法と比較し、最も優れたパフォーマンスの1つとみなす。
  論文  参考訳（メタデータ） (2021-10-06T17:05:33Z)
• Greedy Bayesian Posterior Approximation with Deep Ensembles [22.466176036646814]
  独立して訓練された目的の集合は、ディープラーニングにおける予測の不確実性を推定するための最先端のアプローチである。 関数空間における任意の問題に対する成分の混合に対して,本手法は部分モジュラーであることを示す。
  論文  参考訳（メタデータ） (2021-05-29T11:35:27Z)
• Learning Neural Network Subspaces [74.44457651546728]
  近年の観測は,ニューラルネットワーク最適化の展望の理解を深めている。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
  論文  参考訳（メタデータ） (2021-02-20T23:26:58Z)
• Deep Magnification-Flexible Upsampling over 3D Point Clouds [103.09504572409449]
  本稿では,高密度点雲を生成するためのエンドツーエンド学習ベースのフレームワークを提案する。 まずこの問題を明示的に定式化し、重みと高次近似誤差を判定する。 そこで我々は,高次改良とともに,統一重みとソート重みを適応的に学習する軽量ニューラルネットワークを設計する。
  論文  参考訳（メタデータ） (2020-11-25T14:00:18Z)
• Deep Shells: Unsupervised Shape Correspondence with Optimal Transport [52.646396621449]
  本稿では,3次元形状対応のための教師なし学習手法を提案する。 提案手法は,複数のデータセット上での最先端技術よりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-10-28T22:24:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。