論文の概要: Weight Expansion: A New Perspective on Dropout and Generalization

• arxiv url: http://arxiv.org/abs/2201.09209v1
• Date: Sun, 23 Jan 2022 09:03:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-25 14:35:55.177392
• Title: Weight Expansion: A New Perspective on Dropout and Generalization
• Title（参考訳）: 重量拡大:ドロップアウトと一般化の新しい展望
• Authors: Gaojie Jin, Xinping Yi, Pengfei Yang, Lijun Zhang, Sven Schewe, Xiaowei Huang
• Abstract要約: 重み拡張は,PAC-ベイジアンセッティングにおける一般化を増大させる有効な手段であることを示す。 本論では, ドロップアウトが重量拡大と重量拡大の相関性に対する広範な実証的支持をもたらすという理論的論証を提供する。 この洞察は、レギュレータとしてのドロップアウトの役割を正当化し、ウェイト展開による一般化を約束するレギュレータを識別する道を開く。
• 参考スコア（独自算出の注目度）: 30.509747769840178
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While dropout is known to be a successful regularization technique, insights into the mechanisms that lead to this success are still lacking. We introduce the concept of \emph{weight expansion}, an increase in the signed volume of a parallelotope spanned by the column or row vectors of the weight covariance matrix, and show that weight expansion is an effective means of increasing the generalization in a PAC-Bayesian setting. We provide a theoretical argument that dropout leads to weight expansion and extensive empirical support for the correlation between dropout and weight expansion. To support our hypothesis that weight expansion can be regarded as an \emph{indicator} of the enhanced generalization capability endowed by dropout, and not just as a mere by-product, we have studied other methods that achieve weight expansion (resp.\ contraction), and found that they generally lead to an increased (resp.\ decreased) generalization ability. This suggests that dropout is an attractive regularizer, because it is a computationally cheap method for obtaining weight expansion. This insight justifies the role of dropout as a regularizer, while paving the way for identifying regularizers that promise improved generalization through weight expansion.
• Abstract（参考訳）: ドロップアウトは正規化の成功技術として知られているが、この成功につながるメカニズムに関する洞察はまだ不足している。 重み共分散行列の列や行ベクトルにまたがる平行トロープの符号付き体積の増加である 'emph{weight expansion} の概念を導入し、重み拡張がPAC-ベイズ的設定における一般化を増大させる有効な手段であることを示す。 我々は,ドロップアウトが重量拡大につながるという理論的議論と,ドロップアウトと重量膨張の相関に対する広範な経験的支援を提供する。 重量拡大は、ドロップアウトによって与えられた拡張汎化能力の、単なる副生成物としてだけでなく、拡張された一般化能力の \emph{indicator} と見なすことができるという仮説を裏付けるために、重量拡大を達成する他の方法(resp)を研究した。 そして、それらが一般的に増加(resp)につながることを発見した。 一般化能力の低下)。 これは、ドロップアウトが重量拡大を得るための計算量的に安価な方法であるため、魅力的な正規化子であることを示唆している。 この洞察は、レギュラライザーとしてのドロップアウトの役割を正当化すると同時に、重量拡大による一般化を改善することを約束するレギュラライザーを特定する方法も与えている。

関連論文リスト

• A U-turn on Double Descent: Rethinking Parameter Counting in Statistical Learning [68.76846801719095]
  二重降下がいつどこで起こるのかを正確に示し、その位置が本質的に閾値 p=n に結び付けられていないことを示す。 これは二重降下と統計的直観の間の緊張を解消する。
  論文  参考訳（メタデータ） (2023-10-29T12:05:39Z)
• Heavy-Tailed Regularization of Weight Matrices in Deep Neural Networks [8.30897399932868]
  鍵となる発見は、ニューラルネットワークの一般化性能が、その重み行列のスペクトルにおける重みの程度と関連していることを示している。 重み付き正則化と呼ばれる新しい正則化手法を導入し、正則化により重み付きスペクトルを明示的に促進する。 重み付き正規化が一般化性能の点で従来の正規化技術より優れていることを実証的に示す。
  論文  参考訳（メタデータ） (2023-04-06T07:50:14Z)
• Pruning's Effect on Generalization Through the Lens of Training and Regularization [45.571895723272256]
  プルーニングによって特定の空間でのトレーニングが向上し,より密集したモデルによるトレーニング損失が向上することを示す。 また, プルーニングにより他の空間での正規化が促進され, 密度モデル上のノイズのある例による精度が低下することが判明した。
  論文  参考訳（メタデータ） (2022-10-25T03:09:34Z)
• Excited states from eigenvector continuation: the anharmonic oscillator [58.720142291102135]
  固有ベクトル継続(EC)は、多体展開のための変分再推定ツールとして、核構造と反応に大きな注目を集めている。 この研究は固有ベクトル継続法から励起状態の出現を詳細に理解することを目的としている。
  論文  参考訳（メタデータ） (2021-08-05T19:28:25Z)
• On Proximal Policy Optimization's Heavy-tailed Gradients [150.08522793940708]
  近位政策最適化による報酬関数の勾配の重み付き性質について検討した。 本稿では,標準的なppoクリッピングの効果について検討し,グラデーションの重み付けを相殺する効果があることを示した。 3つのクリッピングトリックの代替として,高次元ロバストな推定器であるGMOMをPPOに組み込むことを提案する。
  論文  参考訳（メタデータ） (2021-02-20T05:51:28Z)
• Robustness to Augmentations as a Generalization metric [0.0]
  一般化とは、目に見えないドメインを予測するモデルの能力です。 拡張に頑健なモデルは、そうでないモデルよりも一般化可能であるという概念を用いて、モデルの一般化性能を予測する手法を提案する。 提案手法は、ディープラーニングにおける一般化予測に関するNeurIPSコンペティションの最初のランナーアップソリューションであった。
  論文  参考訳（メタデータ） (2021-01-16T15:36:38Z)
• Recursive Generation of The Semi-Classical Expansion in Arbitrary Dimension [0.0]
  プロパゲータの小さな時間拡張に基づく手順を提案する。 任意の次元における量子力学的ポテンシャルに対するテクスチャンタム作用の半古典的展開を生成する。
  論文  参考訳（メタデータ） (2020-12-11T00:06:26Z)
• On the Overlooked Pitfalls of Weight Decay and How to Mitigate Them: A Gradient-Norm Perspective [90.39123717733334]
  そこで本研究では,Shduled Weight Decay (SWD) 法と呼ばれる,減量のための最初の実用的なスケジューラを提案する。 我々の実験は、SWDが実際に大きな勾配ノルムを緩和し、適応モーメント推定(Adam)の従来の定重崩壊戦略を著しく上回っていることも裏付けている。
  論文  参考訳（メタデータ） (2020-11-23T00:39:49Z)
• Untapped Potential of Data Augmentation: A Domain Generalization Viewpoint [14.360826930970765]
  本研究では,拡張に基づく手法の領域一般化の観点から考察する。 最先端の強化手法による探索は、学習された表現が訓練中に使用する歪みに対してさえ頑健でないことを示す。
  論文  参考訳（メタデータ） (2020-07-09T09:40:54Z)
• Mitigating Gender Bias Amplification in Distribution by Posterior Regularization [75.3529537096899]
  本稿では,男女差の増幅問題について,分布の観点から検討する。 後続正則化に基づくバイアス緩和手法を提案する。 私たちの研究はバイアス増幅の理解に光を当てている。
  論文  参考訳（メタデータ） (2020-05-13T11:07:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。