論文の概要: Stochastic Weight Sharing for Bayesian Neural Networks

• arxiv url: http://arxiv.org/abs/2505.17856v1
• Date: Fri, 23 May 2025 13:07:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-26 18:08:34.089695
• Title: Stochastic Weight Sharing for Bayesian Neural Networks
• Title（参考訳）: ベイズニューラルネットワークの確率的重み共有
• Authors: Moule Lin, Shuhao Guan, Weipeng Jing, Goetz Botterweck, Andrea Patane,
• Abstract要約: 2次元適応分布,ワッサーシュタイン距離推定,アルファブレンディングを用いて,BNNの低次元軟ガウス表現の振る舞いを符号化する。 提案手法は, モデルパラメータを約50倍圧縮し, モデルサイズを75倍削減すると共に, 最先端技術に匹敵する精度と不確実性を推定する。
• 参考スコア（独自算出の注目度）: 4.5521425500613475
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: While offering a principled framework for uncertainty quantification in deep learning, the employment of Bayesian Neural Networks (BNNs) is still constrained by their increased computational requirements and the convergence difficulties when training very deep, state-of-the-art architectures. In this work, we reinterpret weight-sharing quantization techniques from a stochastic perspective in the context of training and inference with Bayesian Neural Networks (BNNs). Specifically, we leverage 2D adaptive Gaussian distributions, Wasserstein distance estimations, and alpha blending to encode the stochastic behaviour of a BNN in a lower dimensional, soft Gaussian representation. Through extensive empirical investigation, we demonstrate that our approach significantly reduces the computational overhead inherent in Bayesian learning by several orders of magnitude, enabling the efficient Bayesian training of large-scale models, such as ResNet-101 and Vision Transformer (VIT). On various computer vision benchmarks including CIFAR10, CIFAR100, and ImageNet1k. Our approach compresses model parameters by approximately 50x and reduces model size by 75, while achieving accuracy and uncertainty estimations comparable to the state-of-the-art.
• Abstract（参考訳）: ディープラーニングにおける不確実性定量化のための原則的フレームワークを提供する一方で、ベイジアンニューラルネットワーク(BNN)の利用は、計算要求の増大と、非常に深く最先端のアーキテクチャを訓練する際の収束困難により、依然として制限されている。 本研究では,ベイズニューラルネットワーク(BNN)を用いたトレーニングと推論の文脈において,統計的視点から重み付け量子化手法を再解釈する。 具体的には,2次元適応ガウス分布,ワッサーシュタイン距離推定,アルファブレンディングを利用して,BNNの確率的挙動を低次元軟ガウス表現で符号化する。 本研究では,ResNet-101 や Vision Transformer (VIT) のような大規模モデルのベイズ的学習を効果的に行うことで,ベイズ的学習における計算オーバーヘッドを桁違いに削減できることを実証した。 CIFAR10、CIFAR100、ImageNet1kなどのコンピュータビジョンベンチマーク。 提案手法は, モデルパラメータを約50倍圧縮し, モデルサイズを75倍に削減し, 精度と不確実性評価を実現した。

関連論文リスト

• Probabilistic Weight Fixing: Large-scale training of neural network weight uncertainties for quantization [7.2282857478457805]
  重み共有量子化は、大規模ニューラルネットワークにおける推論中のエネルギー消費を減らす技術として登場した。 本稿では、ベイズニューラルネットワーク(BNN)に基づく確率的枠組みと、どの重みをどのクラスタ中心に移動できるかを特定する変動緩和法を提案する。 DeiT-Tiny を用いた ImageNet では,最先端の量子化手法 Top-1 の精度が 1.6% 向上した。
  論文  参考訳（メタデータ） (2023-09-24T08:04:28Z)
• Unifying Synergies between Self-supervised Learning and Dynamic Computation [53.66628188936682]
  SSLとDCのパラダイム間の相互作用に関する新しい視点を提示する。 SSL設定において、スクラッチから高密度かつゲートされたサブネットワークを同時に学習することは可能であることを示す。 密集エンコーダとゲートエンコーダの事前学習における共進化は、良好な精度と効率のトレードオフをもたらす。
  論文  参考訳（メタデータ） (2023-01-22T17:12:58Z)
• Quantization-aware Interval Bound Propagation for Training Certifiably Robust Quantized Neural Networks [58.195261590442406]
  我々は、逆向きに頑健な量子化ニューラルネットワーク(QNN)の訓練と証明の課題について検討する。 近年の研究では、浮動小数点ニューラルネットワークが量子化後の敵攻撃に対して脆弱であることが示されている。 本稿では、堅牢なQNNをトレーニングするための新しい方法であるQA-IBP(quantization-aware interval bound propagation)を提案する。
  論文  参考訳（メタデータ） (2022-11-29T13:32:38Z)
• On the optimization and pruning for Bayesian deep learning [1.0152838128195467]
  重み空間上でニューラルネットワークを学習するための適応型変分ベイズアルゴリズムを提案する。 EM-MCMCアルゴリズムにより,ワンショットで最適化とモデルプルーニングを行うことができる。 我々の密度モデルは最先端の性能に到達でき、スパースモデルは以前提案したプルーニング方式と比較して非常によく機能する。
  論文  参考訳（メタデータ） (2022-10-24T05:18:08Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Post-training Quantization for Neural Networks with Provable Guarantees [9.58246628652846]
  学習後ニューラルネットワーク量子化手法であるGPFQを,欲求経路追従機構に基づいて修正する。 単層ネットワークを定量化するためには、相対二乗誤差は本質的に重み数で線形に減衰する。
  論文  参考訳（メタデータ） (2022-01-26T18:47:38Z)
• Compact representations of convolutional neural networks via weight pruning and quantization [63.417651529192014]
  本稿では、音源符号化に基づく畳み込みニューラルネットワーク(CNN)の新しいストレージフォーマットを提案し、重み付けと量子化の両方を活用する。 我々は、全接続層で0.6%、ネットワーク全体で5.44%のスペース占有率を削減し、最低でもベースラインと同じくらいの競争力を発揮する。
  論文  参考訳（メタデータ） (2021-08-28T20:39:54Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
  本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。 そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。 最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
  論文  参考訳（メタデータ） (2020-03-10T03:10:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。