論文の概要: Analyzing Lottery Ticket Hypothesis from PAC-Bayesian Theory Perspective
- arxiv url: http://arxiv.org/abs/2205.07320v1
- Date: Sun, 15 May 2022 15:58:27 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-17 14:23:05.723406
- Title: Analyzing Lottery Ticket Hypothesis from PAC-Bayesian Theory Perspective
- Title（参考訳）: PAC-ベイズ理論の観点からのロッキーチケット仮説の解析
- Authors: Keitaro Sakamoto, Issei Sato
- Abstract要約: 我々は、PAC-ベイズ理論がLTHと一般化行動の関係を明確に理解できることを示した。
PAC-Bayesバウンダリをスパイク・アンド・スラブ分布を用いて,入賞チケットの分析を行う。
- 参考スコア（独自算出の注目度）: 25.157282476221482
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The lottery ticket hypothesis (LTH) has attracted attention because it can
explain why over-parameterized models often show high generalization ability.
It is known that when we use iterative magnitude pruning (IMP), which is an
algorithm to find sparse networks with high generalization ability that can be
trained from the initial weights independently, called winning tickets, the
initial large learning rate does not work well in deep neural networks such as
ResNet. However, since the initial large learning rate generally helps the
optimizer to converge to flatter minima, we hypothesize that the winning
tickets have relatively sharp minima, which is considered a disadvantage in
terms of generalization ability. In this paper, we confirm this hypothesis and
show that the PAC-Bayesian theory can provide an explicit understanding of the
relationship between LTH and generalization behavior. On the basis of our
experimental findings that flatness is useful for improving accuracy and
robustness to label noise and that the distance from the initial weights is
deeply involved in winning tickets, we offer the PAC-Bayes bound using a
spike-and-slab distribution to analyze winning tickets. Finally, we revisit
existing algorithms for finding winning tickets from a PAC-Bayesian perspective
and provide new insights into these methods.
- Abstract（参考訳）: ロータリーチケット仮説(LTH)が注目されているのは、過パラメータ化モデルが高一般化能力を示す理由を説明できるためである。
初歩の重みから独立して訓練できる高い一般化能力を持つスパースネットワークを見つけるためのアルゴリズムであるイテレーティブ・マグニチュード・プルーニング(imp)を用いると、最初の大きな学習レートはresnetのようなディープニューラルネットワークではうまく動作しないことが知られている。
しかし,初期の大きな学習速度は,最適化者が平らなミニマに収束するのに役立つため,勝利チケットは比較的シャープなミニマであり,一般化能力の面では不利である,という仮説を立てる。
本稿では,この仮説を検証し,pac-ベイズ理論がlthと一般化行動の関係を明確に理解できることを示す。
ラベルノイズの正確性とロバスト性の向上に平坦性が有効であり,また,初期重みからの距離が入賞チケットに深く関与していることから,入賞チケットの分析にspike-and-slab分布を用いたpac-bayesバウンドを提供する。
最後に,PAC-Bayesianの視点から優勝チケットを見つけるための既存のアルゴリズムを再検討し,これらの手法について新たな知見を提供する。
関連論文リスト
- Iterative Magnitude Pruning as a Renormalisation Group: A Study in The
Context of The Lottery Ticket Hypothesis [0.0]
この論文は、LTH(Lottery Ticket hypothesis)に焦点を当てている。
LTHは、広範なディープニューラルネットワーク(DNN)内では、より小さく、トレーニング可能な「勝利チケット」が、フルモデルに匹敵するパフォーマンスを達成することができると提案している。
LTHにおける重要なプロセスであるイテレーティブ・マグニチュード・プルーニング(IMP)は、最小限の重みを徐々に排除し、DNNにおける段階的な学習をエミュレートする。
言い換えれば、ある特定の問題に対してうまく機能する当選券が、他の同様の問題にも有効であるかどうかを確認する。
論文 参考訳（メタデータ） (2023-08-06T14:36:57Z) - Robust computation of optimal transport by $\beta$-potential
regularization [79.24513412588745]
最適輸送(OT)は、確率分布間の差を測定する機械学習分野で広く使われているツールである。
我々は、いわゆる$beta$-divergenceに付随するベータポテンシャル項でOTを正規化することを提案する。
提案アルゴリズムで計算した輸送行列は,外乱が存在する場合でも確率分布を頑健に推定するのに役立つことを実験的に実証した。
論文 参考訳（メタデータ） (2022-12-26T18:37:28Z) - Dual Lottery Ticket Hypothesis [71.95937879869334]
Lottery Ticket hypothesis (LTH)は、スパースネットワークトレーニングを調査し、その能力を維持するための新しい視点を提供する。
本稿では,LTHの当選チケットをトレーニング可能なサブネットワークとして,その性能をベンチマークとして検討する。
本稿では,簡単なスパースネットワークトレーニング戦略であるランダムスパースネットワークトランスフォーメーション(RST)を提案し,DLTHを裏付ける。
論文 参考訳（メタデータ） (2022-03-08T18:06:26Z) - Demystify Optimization and Generalization of Over-parameterized
PAC-Bayesian Learning [20.295960197612743]
PAC-Bayesianは、後部分布における仮説の重み付け平均としてトレーニングエラーを表現できる分析フレームワークである。
PAC-Bayes学習を適用すると、収束結果がカーネルリッジ回帰の解に一致することを示す。
我々はさらに、非確率的ニューラルネットワークに対するラデマッハ複雑性に基づくバウンダリを改良した、均一なPAC-ベイズ一般化バウンダリを特徴付ける。
論文 参考訳（メタデータ） (2022-02-04T03:49:11Z) - User-friendly introduction to PAC-Bayes bounds [0.6599344783327052]
統計的学習理論では、手続きの一般化能力(PAC-Bayesian あるいは PAC-Bayes bounds)を理解するために設計された一連のツールが存在する。
例えば、B. Guedj氏、F. Bach氏、P. Germain氏による"PAC-Bayesian trend and insights"というワークショップがある。
論文 参考訳（メタデータ） (2021-10-21T15:50:05Z) - Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity
on Pruned Neural Networks [79.74580058178594]
目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。
本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
論文 参考訳（メタデータ） (2021-10-12T01:11:07Z) - Semi-verified PAC Learning from the Crowd [7.594050968868919]
本研究では,クラウドソース型PAC学習におけるしきい値関数の問題点について検討する。
本稿では,Charikar等の半検証モデルを用いて,PACが基礎となる仮説クラスを大量のラベルクエリで学習可能であることを示す。
論文 参考訳（メタデータ） (2021-06-13T20:05:16Z) - Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。
ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。
本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
論文 参考訳（メタデータ） (2021-06-06T19:08:53Z) - The Elastic Lottery Ticket Hypothesis [106.79387235014379]
Lottery Ticket Hypothesisは、スパーストレーニング可能なワークスや優勝チケットの識別に注意を向けています。
そのような勝利チケットを識別する最も効果的な方法は、まだ反復マグニチュードベースのPruningです。
我々は,同じモデルファミリーの異なるネットワークから得られる当選チケットを微調整する様々な戦略を提案する。
論文 参考訳（メタデータ） (2021-03-30T17:53:45Z) - A General Framework for the Practical Disintegration of PAC-Bayesian
Bounds [2.516393111664279]
我々は、分解された境界を与えるために原性を持つ新しいPAC-ベイズ一般化境界を導入する。
我々の境界は容易に最適化でき、学習アルゴリズムの設計に使うことができる。
論文 参考訳（メタデータ） (2021-02-17T09:36:46Z) - Distance-Based Regularisation of Deep Networks for Fine-Tuning [116.71288796019809]
我々は,仮説クラスを,初期訓練前の重みを中心にした小さな球面に制約するアルゴリズムを開発した。
実験的な評価は、我々のアルゴリズムがうまく機能していることを示し、理論的な結果を裏付けるものである。
論文 参考訳（メタデータ） (2020-02-19T16:00:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。