論文の概要: How Neural Networks Learn the Support is an Implicit Regularization Effect of SGD
- arxiv url: http://arxiv.org/abs/2406.11110v1
- Date: Mon, 17 Jun 2024 00:19:16 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-18 18:53:41.111546
- Title: How Neural Networks Learn the Support is an Implicit Regularization Effect of SGD
- Title（参考訳）: ニューラルネットワークがいかにしてサポートを学ぶかは、SGDの必然的正規化効果である
- Authors: Pierfrancesco Beneventano, Andrea Pinto, Tomaso Poggio,
- Abstract要約: 目的関数の支持を識別するディープニューラルネットワークの能力について検討する。
ミニバッチSGDは、入力の無関係成分に関連する重みをゼロにすることで、ネットワークの第1層の支持を効果的に学習する。
- 参考スコア（独自算出の注目度）: 2.05602972069314
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We investigate the ability of deep neural networks to identify the support of the target function. Our findings reveal that mini-batch SGD effectively learns the support in the first layer of the network by shrinking to zero the weights associated with irrelevant components of input. In contrast, we demonstrate that while vanilla GD also approximates the target function, it requires an explicit regularization term to learn the support in the first layer. We prove that this property of mini-batch SGD is due to a second-order implicit regularization effect which is proportional to $\eta / b$ (step size / batch size). Our results are not only another proof that implicit regularization has a significant impact on training optimization dynamics but they also shed light on the structure of the features that are learned by the network. Additionally, they suggest that smaller batches enhance feature interpretability and reduce dependency on initialization.
- Abstract（参考訳）: 目的関数の支持を識別するディープニューラルネットワークの能力について検討する。
以上の結果から,SGDは入力の無関係成分に関連する重みをゼロにすることで,ネットワークの第1層の支持を効果的に学習することがわかった。
対照的に、バニラGDも対象関数を近似するが、第1層の支持を学習するためには明示的な正規化項が必要である。
ミニバッチSGDのこの性質は、2階の暗黙正則化効果が$\eta / b$(ステップサイズ/バッチサイズ)に比例していることが証明されている。
我々の結果は、暗黙の正則化がトレーニング最適化のダイナミクスに重大な影響を与えることの証明であるだけでなく、ネットワークによって学習される特徴の構造にも光を当てている。
さらに、より小さなバッチは機能の解釈可能性を高め、初期化への依存を減らすことを示唆している。
関連論文リスト
- Features that Make a Difference: Leveraging Gradients for Improved Dictionary Learning [4.051777802443125]
スパースオートエンコーダ(SAE)は、ニューラルネットワーク表現を抽出するための有望なアプローチである。
我々は、TopKアクティベーション関数を増強することにより、$k$-sparseのオートエンコーダアーキテクチャを変更するGradient SAEを紹介する。
g-SAEが任意の文脈でモデルを操る上で平均的に効果的である潜伏者を学ぶ証拠が見つかる。
論文 参考訳（メタデータ） (2024-11-15T18:03:52Z) - Unsupervised Spatial-Temporal Feature Enrichment and Fidelity
Preservation Network for Skeleton based Action Recognition [20.07820929037547]
非教師なし骨格に基づく行動認識は近年顕著な進歩を遂げている。
既存の教師なし学習手法は、過度なオーバーフィッティング問題に悩まされる。
本稿では,高機能化を実現するために,非教師付き時空間特徴強調・忠実度保存フレームワークを提案する。
論文 参考訳（メタデータ） (2024-01-25T09:24:07Z) - Learning Compact Features via In-Training Representation Alignment [19.273120635948363]
各エポックでは、トレーニングセットからサンプリングしたミニバッチを用いて損失関数の真の勾配を推定する。
In-Training Representation Alignment (ITRA) を提案する。
また,特徴表現学習における一致損失の望ましい影響を厳密に分析する。
論文 参考訳（メタデータ） (2022-11-23T22:23:22Z) - Bridging the Gap Between Target Networks and Functional Regularization [61.051716530459586]
関数空間における凸正規化器であり、容易に調整できる明示的な関数正規化を提案する。
提案手法の収束を理論的・実験的に解析し,より理論的に根ざした機能正規化アプローチでターゲットネットワークを置き換えることにより,サンプリング効率と性能が向上することが実証された。
論文 参考訳（メタデータ） (2022-10-21T22:27:07Z) - SGD with Large Step Sizes Learns Sparse Features [22.959258640051342]
本稿では、ニューラルネットワークのトレーニングにおいて、グラディエント・ディフレッシュ(SGD)のダイナミクスの重要な特徴を紹介する。
より長いステップサイズでは、損失ランドスケープにおいてSGDは高く保たれ、暗黙の正規化がうまく機能し、スパース表現を見つけることができる。
論文 参考訳（メタデータ） (2022-10-11T11:00:04Z) - Learning an Invertible Output Mapping Can Mitigate Simplicity Bias in
Neural Networks [66.76034024335833]
バックボーンによって多様・複雑な特徴が学習される理由を考察し、その脆さは、主に最も単純な特徴に依存する線形分類ヘッドによるものである。
本稿では,学習した特徴がログから復元可能であることを保証するために,特徴再構成正則化器(FRR)を提案する。
我々は、最近導入された極端分布シフトを持つ半合成データセットにおいて、OOD精度が最大15%向上することを示した。
論文 参考訳（メタデータ） (2022-10-04T04:01:15Z) - Learning Target-aware Representation for Visual Tracking via Informative
Interactions [49.552877881662475]
トラッキングのための特徴表現のターゲット認識能力を改善するために,新しいバックボーンアーキテクチャを提案する。
提案したGIMモジュールとInBN機構は、CNNやTransformerなど、さまざまなバックボーンタイプに適用可能である。
論文 参考訳（メタデータ） (2022-01-07T16:22:27Z) - Neural Pruning via Growing Regularization [82.9322109208353]
プルーニングの2つの中心的な問題:プルーニングのスケジュールと重み付けの重要度だ。
具体的には, ペナルティ要因が増大するL2正規化変種を提案し, 精度が著しく向上することを示した。
提案アルゴリズムは,構造化プルーニングと非構造化プルーニングの両方において,大規模データセットとネットワークの実装が容易かつスケーラブルである。
論文 参考訳（メタデータ） (2020-12-16T20:16:28Z) - Statistical Mechanics of Deep Linear Neural Networks: The
Back-Propagating Renormalization Group [4.56877715768796]
個々の単位の入力出力関数が線形である深線型ニューラルネットワーク(DLNN)における学習の統計力学について検討する。
重み空間における平衡ギブス分布を用いて教師あり学習後のネットワーク特性を正確に解く。
数値シミュレーションにより, 非線形性にもかかわらず, 理論の予測は大部分, 深さの小さいreluネットワークによって共有されていることが明らかとなった。
論文 参考訳（メタデータ） (2020-12-07T20:08:31Z) - Revisiting Initialization of Neural Networks [72.24615341588846]
ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。
Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
論文 参考訳（メタデータ） (2020-04-20T18:12:56Z) - Detached Error Feedback for Distributed SGD with Random Sparsification [98.98236187442258]
コミュニケーションのボトルネックは、大規模なディープラーニングにおいて重要な問題である。
非効率な分散問題に対する誤りフィードバックよりも優れた収束性を示す分散誤差フィードバック(DEF)アルゴリズムを提案する。
また、DEFよりも優れた境界を示すDEFの一般化を加速するDEFAを提案する。
論文 参考訳（メタデータ） (2020-04-11T03:50:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。