論文の概要: Microcanonical Langevin Ensembles: Advancing the Sampling of Bayesian Neural Networks

• arxiv url: http://arxiv.org/abs/2502.06335v1
• Date: Mon, 10 Feb 2025 10:36:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-11 14:30:32.719115
• Title: Microcanonical Langevin Ensembles: Advancing the Sampling of Bayesian Neural Networks
• Title（参考訳）: マイクロカノニカルなLangevinアンサンブル:ベイズニューラルネットワークのサンプリングの改善
• Authors: Emanuel Sommer, Jakob Robnik, Giorgi Nozadze, Uros Seljak, David Rügamer,
• Abstract要約: 本稿では,最適化からの戦略を活用するアンサンブル手法と,より効率的で堅牢で予測可能なサンプリング性能を実現するためのサンプリング手法を提案する。 最先端のNo-U-Turnサンプルを用いた手法と比較して,本手法は大幅な高速化を実現している。
• 参考スコア（独自算出の注目度）: 4.8767011596635275
• License:
• Abstract: Despite recent advances, sampling-based inference for Bayesian Neural Networks (BNNs) remains a significant challenge in probabilistic deep learning. While sampling-based approaches do not require a variational distribution assumption, current state-of-the-art samplers still struggle to navigate the complex and highly multimodal posteriors of BNNs. As a consequence, sampling still requires considerably longer inference times than non-Bayesian methods even for small neural networks, despite recent advances in making software implementations more efficient. Besides the difficulty of finding high-probability regions, the time until samplers provide sufficient exploration of these areas remains unpredictable. To tackle these challenges, we introduce an ensembling approach that leverages strategies from optimization and a recently proposed sampler called Microcanonical Langevin Monte Carlo (MCLMC) for efficient, robust and predictable sampling performance. Compared to approaches based on the state-of-the-art No-U-Turn Sampler, our approach delivers substantial speedups up to an order of magnitude, while maintaining or improving predictive performance and uncertainty quantification across diverse tasks and data modalities. The suggested Microcanonical Langevin Ensembles and modifications to MCLMC additionally enhance the method's predictability in resource requirements, facilitating easier parallelization. All in all, the proposed method offers a promising direction for practical, scalable inference for BNNs.
• Abstract（参考訳）: 近年の進歩にもかかわらず、ベイズニューラルネットワーク(BNN)のサンプリングに基づく推論は、確率論的ディープラーニングにおいて重要な課題である。 サンプリングベースアプローチは、ばらつき分布の仮定を必要としないが、現在の最先端のサンプルは、BNNの複雑で高度にマルチモーダルな後部をナビゲートするのに依然として苦労している。 その結果、ソフトウェア実装をより効率的にするための最近の進歩にもかかわらず、小さなニューラルネットワークであっても、サンプリングには非ベイズ的手法よりもかなり長い推論時間が必要である。 高確率領域を見つけることの難しさに加えて、試料採取者が十分な探査を行うまでの時間は予測できないままである。 これらの課題に対処するために、最適化からの戦略を活用するアンサンブルアプローチと、Microcanonical Langevin Monte Carlo (MCLMC)と呼ばれる最近提案されたサンプルを効率よく、堅牢で予測可能なサンプリング性能のために導入する。 現状のNo-U-Turn Smplerに基づくアプローチと比較して,本手法は,様々なタスクやデータモダリティに対して,予測性能と不確実性の定量化を維持・改善しつつ,大幅な高速化を実現している。 Microcanonical Langevin Ensembles and modifieds to MCLMC also further to the method's predictability in resource requirements, help easy parallelization。 全体として、提案手法はBNNに対して実用的でスケーラブルな推論を行う上で有望な方向を提供する。

関連論文リスト

• Step-by-Step Reasoning for Math Problems via Twisted Sequential Monte Carlo [55.452453947359736]
  Twisted Sequential Monte Carlo(TSMC)に基づく新しい検証手法を提案する。 TSMCを大規模言語モデルに適用し、部分解に対する将来的な報酬を推定する。 このアプローチは、ステップワイドなヒューマンアノテーションを必要としない、より直接的なトレーニングターゲットをもたらす。
  論文  参考訳（メタデータ） (2024-10-02T18:17:54Z)
• EAS-SNN: End-to-End Adaptive Sampling and Representation for Event-based Detection with Recurrent Spiking Neural Networks [14.046487518350792]
  スパイキングニューラルネットワーク(SNN)は、スパーススパイク通信を通じてイベント駆動の操作を行う。 本稿では,Residual potential Dropout (RPD) と Spike-Aware Training (SAT) を導入する。 我々の方法では、Gen1データセットで4.4%のmAP改善が得られ、パラメータは38%減少し、3つのタイムステップしか必要としない。
  論文  参考訳（メタデータ） (2024-03-19T09:34:11Z)
• Faster Stochastic Variance Reduction Methods for Compositional MiniMax Optimization [50.10952609321302]
  合成ミニマックス最適化は、さまざまな機械学習領域において重要な課題である。 構成最小最適化の現在の方法は、最適以下の複雑さや、大きなバッチサイズに大きく依存することによって悩まされている。 本稿では,Nested STOchastic Recursive Momentum (NSTORM)と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-08-18T14:57:21Z)
• Collapsed Inference for Bayesian Deep Learning [36.1725075097107]
  本稿では,崩壊サンプルを用いたベイズモデル平均化を行う新しい崩壊予測手法を提案する。 崩壊したサンプルは、近似後部から引き出された数え切れないほど多くのモデルを表す。 提案手法は, スケーラビリティと精度のバランスをとる。
  論文  参考訳（メタデータ） (2023-06-16T08:34:42Z)
• AdaSAM: Boosting Sharpness-Aware Minimization with Adaptive Learning Rate and Momentum for Training Deep Neural Networks [76.90477930208982]
  シャープネス認識(SAM)は、ディープニューラルネットワークのトレーニングにおいて、より一般的なものにするため、広範囲に研究されている。 AdaSAMと呼ばれる適応的な学習摂動と運動量加速度をSAMに統合することはすでに検討されている。 いくつかのNLPタスクにおいて,SGD,AMS,SAMsGradと比較して,AdaSAMが優れた性能を発揮することを示す実験を行った。
  論文  参考訳（メタデータ） (2023-03-01T15:12:42Z)
• Piecewise Deterministic Markov Processes for Bayesian Neural Networks [20.865775626533434]
  現代のベイズニューラルネットワーク(BNN)の推論は、しばしば変分推論処理に依存し、独立性や後部の形態に反する仮定を示唆する。 新しいPiecewise Deterministic Markov Process (PDMP) サンプリングはサブサンプリングを許容するが、サンプリングが難しい不均一なPoisson Process (IPP) モデルを導入する。 本研究はIPPからのサンプリングのための新しい汎用的かつ適応的なスライニング手法を導入し、BNNにおける推論のためのPDMPの適用をいかに加速するかを示す。
  論文  参考訳（メタデータ） (2023-02-17T06:38:16Z)
• Data Subsampling for Bayesian Neural Networks [0.0]
  Penalty Bayesian Neural Networks - PBNNは,サブサンプルバッチデータによる可能性の評価を可能にする,新たなアルゴリズムである。 PBNNは,データサイズが小さい場合でも,予測性能が良好であることを示す。
  論文  参考訳（メタデータ） (2022-10-17T14:43:35Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Learning to Continuously Optimize Wireless Resource in a Dynamic Environment: A Bilevel Optimization Perspective [52.497514255040514]
  この研究は、データ駆動メソッドが動的環境でリソース割り当て戦略を継続的に学び、最適化することを可能にする新しいアプローチを開発しています。 学習モデルが新たなエピソードに段階的に適応できるように、連続学習の概念を無線システム設計に組み込むことを提案する。 我々の設計は、異なるデータサンプルにまたがる公平性を保証する、新しい二段階最適化定式化に基づいている。
  論文  参考訳（メタデータ） (2021-05-03T07:23:39Z)
• Rapid Risk Minimization with Bayesian Models Through Deep Learning Approximation [9.93116974480156]
  本稿では,ベイズモデル (BM) とニューラルネットワーク (NN) を組み合わせて,予測を最小限のリスクで行う手法を提案する。 私たちのアプローチは、BMのデータ効率と解釈可能性とNNの速度を組み合わせます。 テストデータセットに無視できる損失がある標準手法よりも、リスク最小限の予測をはるかに高速に達成する。
  論文  参考訳（メタデータ） (2021-03-29T15:08:25Z)
• Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
  本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。 そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。 最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
  論文  参考訳（メタデータ） (2020-03-10T03:10:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。