論文の概要: Estimating Implicit Regularization in Deep Learning
- arxiv url: http://arxiv.org/abs/2605.05436v1
- Date: Wed, 06 May 2026 20:52:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-08 22:27:11.413787
- Title: Estimating Implicit Regularization in Deep Learning
- Title（参考訳）: 深層学習における暗黙の正規化の推定
- Abstract要約: 暗黙の正規化を経験的に見積もることができる勾配マッチング法を提案する。
我々の方法は、既知の正規化のあるネットワークで動作し、$ell$や$ell$のような一般的な明示的な罰則を回復する。
提案手法は経験的であるため,任意のネットワークにおける暗黙の正規化を処理できる。
- 参考スコア（独自算出の注目度）: 6.1492722812798215
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep learning systems are known to exhibit implicit regularization (alt. implicit bias), favoring simple solutions instead of merely minimizing the loss function. In some cases, we can analytically derive the implicit regularization -- connecting it to an equivalent penalty that augments the learning objective. However, modern deep learning systems are complex, carrying modifications to the training procedure and architecture (e.g. early stopping, minibatching, dropout) whose effects are not always directly interpretable. Although estimating the resulting implicit regularization could aid theorists in algorithm design and practitioners in interpreting their hyperparameter choices, this problem has received little direct attention. It is also tractable: regularization makes weight updates deviate from loss gradients, promising a signal for identifying implicit bias. Here we provide gradient matching methods that can be used to empirically estimate the implicit regularization. Our method works on networks with known regularization, recovering popular explicit penalties like $\ell_1$ and $\ell_2$. It also replicates known implicit effects, like the quadratic weight penalty induced by early stopping in gradient descent, demonstrating that it can be used to test theories of implicit regularization. Crucially, because our method is empirical, it can handle implicit regularization in arbitrary networks. We demonstrate this use by characterizing the effects of dropout in deep networks, showing implicit $\ell_2$ effects in this popular method. Our work shows that practitioners can use gradient matching to understand regularization in networks with implicit biases that are too complicated to derive analytically.
- Abstract（参考訳）: ディープラーニングシステムは、損失関数を最小化するのではなく、単純な解を好む暗黙の正規化(暗黙の偏見)を示すことが知られている。
いくつかのケースでは、暗黙の規則化を分析的に導き、学習目標を増大させる同等のペナルティに結び付けることができます。
しかし、現代のディープラーニングシステムは複雑で、必ずしも直接解釈できないような訓練手順やアーキテクチャの変更(早期停止、最小バッチ、ドロップアウトなど)を担っている。
結果として生じる暗黙の正規化を推定することは、アルゴリズム設計における理論家や実践者がハイパーパラメータの選択を解釈するのに役立ち得るが、この問題は直接の関心をほとんど受けていない。
正規化は減量勾配から重み更新を逸脱させ、暗黙の偏見を識別するシグナルを約束する。
ここでは、暗黙の正規化を経験的に見積もることができる勾配マッチング法を提案する。
我々の手法は、既知の正規化を伴うネットワークで動作し、$\ell_1$ や $\ell_2$ のような一般的な明示的な罰則を回復する。
また、勾配降下の早期停止によって引き起こされる2次重みのペナルティのような既知の暗黙の効果を再現し、暗黙の正則化の理論をテストするのに使用できることを示した。
重要なことに,本手法は経験的であるため,任意のネットワークにおける暗黙の正規化を処理できる。
この使用法は,ディープネットワークにおけるドロップアウトの効果を特徴付け,この手法で暗黙的な$\ell_2$効果を示す。
我々の研究は、実践者が勾配マッチングを使用して、分析的に導出するには複雑すぎる暗黙のバイアスを持つネットワークの正規化を理解することができることを示している。
関連論文リスト
- Fairness is Not Flat: Geometric Phase Transitions Against Shortcut Learning [45.88028371034407]
本稿では,ショートカット学習を緩和するための幾何学的テクスタ事前手法を提案する。
ゼロ隠れ層(N=1$)のトポロジカルオーディターを配置することにより、人間の介入なしに勾配を独占する特徴を数学的に分離する。
論文 参考訳（メタデータ） (2026-04-13T16:40:26Z) - ALBAR: Adversarial Learning approach to mitigate Biases in Action Recognition [52.537021302246664]
行動認識モデルは、しばしば背景バイアス(背景の手がかりに基づく行動の推測)と前景バイアス(主題の外観に依存する)に悩まされる。
本稿では,前景や背景のバイアスを,バイアス特性の専門知識を必要とせずに軽減する,新たな対人訓練手法であるALBARを提案する。
我々は,提案手法を確立された背景と前景のバイアスプロトコル上で評価し,新しい最先端のバイアスプロトコルを設定し,HMDB51では12%以上のデバイアス性能を向上した。
論文 参考訳（メタデータ） (2025-01-31T20:47:06Z) - Implicit Regularization Leads to Benign Overfitting for Sparse Linear
Regression [16.551664358490658]
ディープラーニングでは、しばしばトレーニングプロセスは補間子(トレーニング損失0のソリューション)を見つけるが、テスト損失は依然として低い。
良性オーバーフィッティングの一般的なメカニズムは暗黙の正則化であり、そこでは、トレーニングプロセスが補間子にさらなる特性をもたらす。
勾配勾配勾配による新モデルの訓練は, ほぼ最適試験損失を伴う補間器に導かれることを示す。
論文 参考訳（メタデータ） (2023-02-01T05:41:41Z) - Implicit regularization of dropout [3.42658286826597]
一般的な正規化手法であるドロップアウトが、ニューラルネットワークトレーニング中に優れた一般化ソリューションを実現するのにどのように役立つかを理解することが重要である。
本研究では,一連の実験によって検証されたドロップアウトの暗黙の正則化の理論的導出について述べる。
降下によるトレーニングは、標準勾配降下訓練と比較して、より平坦な最小限のニューラルネットワークに導かれることを実験的に見出した。
論文 参考訳（メタデータ） (2022-07-13T04:09:14Z) - DR3: Value-Based Deep Reinforcement Learning Requires Explicit
Regularization [125.5448293005647]
教師付き学習で見られるSGDの暗黙的な正則化効果が、オフラインの深いRLでは有害である可能性について論じる。
我々の理論的解析は、暗黙正則化の既存のモデルが時間差分学習に適用された場合、導出正規化器は退化解を好むことを示している。
我々は、この暗黙的正則化の望ましくない効果に対処する、DR3と呼ばれる単純で効果的な明示的正則化器を提案する。
論文 参考訳（メタデータ） (2021-12-09T06:01:01Z) - Fast Gradient Non-sign Methods [67.56549792690706]
Fast Gradient Non-sign Method (FGNM) は一般的なルーチンであり、グラデーションベースの攻撃において従来の$sign$操作をシームレスに置き換えることができる。
我々の手法は、textbf27.5% と textbf9.5% でそれらを上回ります。
論文 参考訳（メタデータ） (2021-10-25T08:46:00Z) - Distribution Mismatch Correction for Improved Robustness in Deep Neural
Networks [86.42889611784855]
正規化法は ノイズや入力の腐敗に関して 脆弱性を増大させる
本稿では,各層の活性化分布に適応する非教師なし非パラメトリック分布補正法を提案する。
実験により,提案手法は画像劣化の激しい影響を効果的に低減することを示した。
論文 参考訳（メタデータ） (2021-10-05T11:36:25Z) - Deep learning: a statistical viewpoint [120.94133818355645]
ディープラーニングは、理論的観点からいくつかの大きな驚きを明らかにしました。
特に、簡単な勾配法は、最適でないトレーニング問題に対するほぼ完全な解決策を簡単に見つけます。
我々はこれらの現象を具体的原理で補うと推測する。
論文 参考訳（メタデータ） (2021-03-16T16:26:36Z) - Gradient Descent for Deep Matrix Factorization: Dynamics and Implicit
Bias towards Low Rank [1.9350867959464846]
ディープラーニングでは、勾配発散は、よく一般化する解を好む傾向にある。
本稿では,線形ネットワークの簡易化における勾配降下のダイナミクスと推定問題について解析する。
論文 参考訳（メタデータ） (2020-11-27T15:08:34Z) - Implicit Bias in Deep Linear Classification: Initialization Scale vs
Training Accuracy [71.25689267025244]
移行がスケールとトレーニング損失の最小化の関係によってどのように制御されるかを示す。
以上の結果から,勾配降下の限界挙動は,ばかげた訓練精度でのみ引き起こされることが示唆された。
論文 参考訳（メタデータ） (2020-07-13T23:49:53Z) - Unbiased Risk Estimators Can Mislead: A Case Study of Learning with
Complementary Labels [92.98756432746482]
我々は,補完ラベルを用いた学習という,弱教師付き問題を研究する。
勾配推定の品質はリスク最小化においてより重要であることを示す。
本稿では,ゼロバイアスと分散の低減を両立させる新しい補助的相補的損失(SCL)フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-05T04:19:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。