論文の概要: Dropout and Random Gradient Masking Are Asymptotically Equivalent in Large ResNets

• arxiv url: http://arxiv.org/abs/2607.16761v1
• Date: Sat, 18 Jul 2026 10:57:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-21 18:48:37.255608
• Title: Dropout and Random Gradient Masking Are Asymptotically Equivalent in Large ResNets
• Title（参考訳）: 大規模ResNetにおけるDropoutとRandom Gradient Maskingの漸近的等価性
• Abstract要約: DropoutとRandom Gradient Masking(RaM)は、ディープラーニングのパフォーマンス向上に使用される2つのトレーニングテクニックである。 本研究では,ResNetsにおける2つの手法の違いが,大深度および幅のダイナミックスにおいて消失することを示す。 また、これらの変種のうちいくつかの変種が同じ極限に崩壊することも示している。
• 参考スコア（独自算出の注目度）: 12.90553381788063
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Dropout and Random Gradient Masking (RaM) are two training techniques used to improve performance in deep learning. Both techniques inject randomness into the training dynamics, but in significantly different ways: dropout applies random masks to the activations in the forward pass, whereas RaM leaves the forward pass unchanged and instead masks the gradients. In particular, the noise induced by RaM in the parameter updates is unbiased, so standard explanations for the effectiveness of dropout, such as the penalization effect or the prevention of co-adaptation between neurons, do not apply to RaM. In this work, we show that the difference between the two methods disappears for ResNets in the large depth and width asymptotics: in the complete feature learning regime, they both converge to the same large-scale limiting dynamics. This asymptotic equivalence holds for several variants of dropout and RaM, including layerwise dropout as used in stochastic-depth ResNets, albeit at slower quantitative rates. In fact, we also show that several of these variants collapse to the same limit asymptotically.
• Abstract（参考訳）: DropoutとRandom Gradient Masking(RaM)は、ディープラーニングのパフォーマンス向上に使用される2つのトレーニングテクニックである。 ドロップアウトは前方パスのアクティベーションにランダムマスクを適用するが、RaMは前方パスを変更せず、代わりに勾配をマスクする。 特に、パラメータ更新におけるRaMによって引き起こされるノイズは偏りがないため、ニューロン間の協調適応の防止など、ドロップアウトの有効性に関する標準的な説明は、RaMには適用されない。 本研究では,ResNetsにおける2つの手法の差が,大きな深さと幅の漸近性において消失することを示す。 この漸近的等価性は、確率-深度ResNetsで使用されるような層別のドロップアウトを含む、いくつかの種類のドロップアウトとRaMを、より低い量率で保持する。 実際、これらの変種のうちいくつかが漸近的に同じ極限に崩壊していることも示している。

関連論文リスト

• Phase Diagram of Dropout for Two-Layer Neural Networks in the Mean-Field Regime [20.21806452403366]
  Dropoutは、勾配に基づくトレーニングの各ステップでランダムに非活性化されたユニットで構成されるニューラルネットワークのトレーニングテクニックである。 平均場スケールの2層ニューラルネットワーク上での降下による勾配降下幅の広さについて検討した。
  論文  参考訳（メタデータ） (2025-10-08T21:09:32Z)
• Both Asymptotic and Non-Asymptotic Convergence of Quasi-Hyperbolic Momentum using Increasing Batch Size [7.2620484413601325]
  モメンタム法は、もともと凸関数を持つ決定論的設定において、勾配バッチ降下(SGD)に優越する目的で導入された。 収束を達成するには、崩壊する学習率かバッチサイズの増加が必要であることを示す。
  論文  参考訳（メタデータ） (2025-06-30T06:31:30Z)
• Optimization Guarantees of Unfolded ISTA and ADMM Networks With Smooth Soft-Thresholding [57.71603937699949]
  我々は,学習エポックの数の増加とともに,ほぼゼロに近いトレーニング損失を達成するための最適化保証について検討した。 トレーニングサンプル数に対する閾値は,ネットワーク幅の増加とともに増加することを示す。
  論文  参考訳（メタデータ） (2023-09-12T13:03:47Z)
• Sparse Weight Averaging with Multiple Particles for Iterative Magnitude Pruning [16.869553861212548]
  イテレーティブ・マグニチュード・プルーニング(IMP)は、その単純さにもかかわらず、特に非常にスパースな状況において、最先端のアルゴリズムである。 Sparse Weight Averaging with Multiple Particles (SWAMP)を提案する。これはIMPの簡単な修正であり、2つのIMPソリューションのアンサンブルに匹敵する性能を実現する。
  論文  参考訳（メタデータ） (2023-05-24T08:01:49Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• GFlowOut: Dropout with Generative Flow Networks [76.59535235717631]
  モンテカルロ・ドロップアウトは近似推論の比較的安価な方法として広く利用されている。 最近の研究は、ドロップアウトマスクを潜伏変数と見なすことができ、変動推論で推測できることを示している。 GFlowOutleveragesは、最近提案されたジェネレーティブフローネットワーク(GFlowNets)の確率的フレームワークを使用して、ドロップアウトマスク上の後部分布を学習する。
  論文  参考訳（メタデータ） (2022-10-24T03:00:01Z)
• Scaling Forward Gradient With Local Losses [117.22685584919756]
  フォワード学習は、ディープニューラルネットワークを学ぶためのバックプロップに代わる生物学的に妥当な代替手段である。 重みよりも活性化に摂動を適用することにより、前方勾配のばらつきを著しく低減できることを示す。 提案手法はMNIST と CIFAR-10 のバックプロップと一致し,ImageNet 上で提案したバックプロップフリーアルゴリズムよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-10-07T03:52:27Z)
• Shaping Deep Feature Space towards Gaussian Mixture for Visual Classification [74.48695037007306]
  視覚分類のためのディープニューラルネットワークのためのガウス混合損失関数(GM)を提案する。 分類マージンと可能性正規化により、GM損失は高い分類性能と特徴分布の正確なモデリングの両方を促進する。 提案したモデルは、追加のトレーニング可能なパラメータを使わずに、簡単かつ効率的に実装できる。
  論文  参考訳（メタデータ） (2020-11-18T03:32:27Z)
• Implicit Under-Parameterization Inhibits Data-Efficient Deep Reinforcement Learning [97.28695683236981]
  さらなる勾配更新により、現在の値ネットワークの表現性が低下する。 AtariとGymのベンチマークでは、オフラインとオンラインのRL設定の両方でこの現象を実証する。
  論文  参考訳（メタデータ） (2020-10-27T17:55:16Z)
• MaxDropout: Deep Neural Network Regularization Based on Maximum Output Values [0.0]
  MaxDropoutはディープニューラルネットワークモデルのレギュレータで、著名なニューロンを除去することで教師付きで機能する。 我々は、DropoutがMaxDropoutに置き換えられた場合、既存のニューラルネットワークを改善し、ニューラルネットワークのより良い結果を提供することができることを示す。
  論文  参考訳（メタデータ） (2020-07-27T17:55:54Z)
• Dynamical mean-field theory for stochastic gradient descent in Gaussian mixture classification [25.898873960635534]
  高次元景観を分類する単一層ニューラルネットワークにおける勾配降下(SGD)の閉学習ダイナミクスを解析する。 連続次元勾配流に拡張可能なプロトタイププロセスを定義する。 フルバッチ限界では、標準勾配流を回復する。
  論文  参考訳（メタデータ） (2020-06-10T22:49:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。