論文の概要: Bayesian Lottery Ticket Hypothesis
- arxiv url: http://arxiv.org/abs/2602.18825v1
- Date: Sat, 21 Feb 2026 12:52:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-24 17:42:02.336746
- Title: Bayesian Lottery Ticket Hypothesis
- Title（参考訳）: Bayesian Lottery Ticket仮説
- Authors: Nicholas Kuhn, Arvid Weyrauch, Lars Heyen, Achim Streit, Markus Götz, Charlotte Debus,
- Abstract要約: Lottery Ticket hypothesis (LTH)は、スパースワークの存在を示唆している。
ベイジアン宝くじの定式化について検討し,BNNと決定論的ロテリチケットを連結する手法について検討する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Bayesian neural networks (BNNs) are a useful tool for uncertainty quantification, but require substantially more computational resources than conventional neural networks. For non-Bayesian networks, the Lottery Ticket Hypothesis (LTH) posits the existence of sparse subnetworks that can train to the same or even surpassing accuracy as the original dense network. Such sparse networks can lower the demand for computational resources at inference, and during training. The existence of the LTH and corresponding sparse subnetworks in BNNs could motivate the development of sparse training algorithms and provide valuable insights into the underlying training process. Towards this end, we translate the LTH experiments to a Bayesian setting using common computer vision models. We investigate the defining characteristics of Bayesian lottery tickets, and extend our study towards a transplantation method connecting BNNs with deterministic Lottery Tickets. We generally find that the LTH holds in BNNs, and winning tickets of matching and surpassing accuracy are present independent of model size, with degradation at very high sparsities. However, the pruning strategy should rely primarily on magnitude, secondly on standard deviation. Furthermore, our results demonstrate that models rely on mask structure and weight initialization to varying degrees.
- Abstract（参考訳）: ベイズニューラルネットワーク(BNN)は不確実性定量化に有用なツールであるが、従来のニューラルネットワークよりもはるかに多くの計算資源を必要とする。
非ベイズ系ネットワークでは、Lottery Ticket hypothesis (LTH) はスパースサブネットワークの存在を示唆している。
このようなスパースネットワークは、推論やトレーニング中の計算リソースの需要を減少させる。
BNNにおけるLTHとそれに対応するスパースサブネットの存在は、スパーストレーニングアルゴリズムの開発を動機付け、基礎となるトレーニングプロセスに関する貴重な洞察を提供する可能性がある。
この目的のために、LTH実験を一般的なコンピュータビジョンモデルを用いてベイズ設定に変換する。
ベイジアン宝くじの定義特性について検討し,BNNと決定論的ロテリチケットを接続する移植法について検討した。
一般に、LTHはBNNに保持され、マッチングと精度を超越するチケットはモデルサイズとは無関係に存在し、非常に高い間隔で劣化する。
しかし、刈り取り戦略は、主にマグニチュード、第二に標準偏差に依存するべきである。
さらに, モデルがマスク構造と重量初期化に依存していることを示す。
関連論文リスト
- S$^2$NN: Sub-bit Spiking Neural Networks [53.08060832135342]
スパイキングニューラルネットワーク(SNN)は、マシンインテリジェンスにエネルギー効率のよいパラダイムを提供する。
最近のバイナリSNNの進歩にもかかわらず、大規模ネットワークではストレージと計算の要求が相当に大きい。
1ビット未満の重みを表すサブビットスパイキングニューラルネットワーク(S$2$NNs)を提案する。
論文 参考訳（メタデータ） (2025-09-29T04:17:44Z) - Masked Bayesian Neural Networks : Theoretical Guarantee and its
Posterior Inference [1.2722697496405464]
本稿では,理論特性が良好で,計算可能な新しいノードスパースBNNモデルを提案する。
我々は、真のモデルに対する後部濃度速度が、真のモデルの滑らかさに適応する最小限の最適値に近いことを証明した。
さらに,ノードスパースBNNモデルのベイズ推定を現実的に実現可能な新しいMCMCアルゴリズムを開発した。
論文 参考訳（メタデータ） (2023-05-24T06:16:11Z) - Robust Training and Verification of Implicit Neural Networks: A
Non-Euclidean Contractive Approach [64.23331120621118]
本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。
組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。
MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
論文 参考訳（メタデータ） (2022-08-08T03:13:24Z) - Dual Lottery Ticket Hypothesis [71.95937879869334]
Lottery Ticket hypothesis (LTH)は、スパースネットワークトレーニングを調査し、その能力を維持するための新しい視点を提供する。
本稿では,LTHの当選チケットをトレーニング可能なサブネットワークとして,その性能をベンチマークとして検討する。
本稿では,簡単なスパースネットワークトレーニング戦略であるランダムスパースネットワークトランスフォーメーション(RST)を提案し,DLTHを裏付ける。
論文 参考訳（メタデータ） (2022-03-08T18:06:26Z) - Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity
on Pruned Neural Networks [79.74580058178594]
目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。
本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
論文 参考訳（メタデータ） (2021-10-12T01:11:07Z) - How much pre-training is enough to discover a good subnetwork? [10.699603774240853]
刈り取られたネットワークが正常に動作するために必要となる高密度ネットワーク事前学習の量を数学的に解析する。
2層全接続ネットワーク上での勾配降下事前学習の回数の単純な理論的境界を求める。
より大きなデータセットでの実験では、プルーニングによって得られた事前トレーニングのフォアワークがうまく機能するために必要になる。
論文 参考訳（メタデータ） (2021-07-31T15:08:36Z) - S2-BNN: Bridging the Gap Between Self-Supervised Real and 1-bit Neural
Networks via Guided Distribution Calibration [74.5509794733707]
本研究では, 実数値から, 最終予測分布上のバイナリネットワークへの誘導型学習パラダイムを提案する。
提案手法は,bnn上で5.515%の絶対利得で,単純なコントラスト学習ベースラインを向上できる。
提案手法は、単純なコントラスト学習ベースラインよりも大幅に改善され、多くの主流教師付きBNN手法に匹敵する。
論文 参考訳（メタデータ） (2021-02-17T18:59:28Z) - The Lottery Ticket Hypothesis for Pre-trained BERT Networks [137.99328302234338]
自然言語処理(NLP)では、BERTのような巨大な事前学習モデルがトレーニングの標準出発点となっている。
並行して、抽選券仮説の研究により、NLPとコンピュータビジョンのモデルには、完全精度で個別にトレーニングできる小さなマッチングワークが含まれていることが示されている。
これらの観測と組み合わせて、トレーニング済みのBERTモデルにそのようなトレーニング可能なトランスファーブルワークが存在するかどうかを評価する。
論文 参考訳（メタデータ） (2020-07-23T19:35:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。