論文の概要: Investigating the Impact of Model Width and Density on Generalization in Presence of Label Noise

• arxiv url: http://arxiv.org/abs/2208.08003v4
• Date: Wed, 14 Jun 2023 20:24:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-17 03:54:41.701344
• Title: Investigating the Impact of Model Width and Density on Generalization in Presence of Label Noise
• Title（参考訳）: ラベル雑音の存在下での一般化に及ぼすモデル幅と密度の影響の検討
• Authors: Yihao Xue, Kyle Whitecross, Baharan Mirzasoleiman
• Abstract要約: 実験損失曲線に対するラベルノイズの影響について検討する。 十分に大きなノイズ対サンプルサイズ比の下では、中間幅で最適な一般化が達成される。 ラベルノイズに対する大きな$ell$正規化と堅牢な学習手法が最終的な上昇を悪化させることがわかった。
• 参考スコア（独自算出の注目度）: 6.855361451300868
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Increasing the size of overparameterized neural networks has been a key in achieving state-of-the-art performance. This is captured by the double descent phenomenon, where the test loss follows a decreasing-increasing-decreasing pattern as model width increases. However, the effect of label noise on the test loss curve has not been fully explored. In this work, we uncover an intriguing phenomenon where label noise leads to a \textit{final ascent} in the originally observed double descent curve. Specifically, under a sufficiently large noise-to-sample-size ratio, optimal generalization is achieved at intermediate widths. Through theoretical analysis, we attribute this phenomenon to the shape transition of test loss variance induced by label noise. Furthermore, we extend the final ascent phenomenon to model density and provide the first theoretical characterization showing that reducing density by randomly dropping trainable parameters improves generalization under label noise. We also thoroughly examine the roles of regularization and sample size. Surprisingly, we find that larger $\ell_2$ regularization and robust learning methods against label noise exacerbate the final ascent. We confirm the validity of our findings through extensive experiments on ReLu networks trained on MNIST, ResNets trained on CIFAR-10/100, and InceptionResNet-v2 trained on Stanford Cars with real-world noisy labels.
• Abstract（参考訳）: 過パラメータ化されたニューラルネットワークのサイズ拡大は、最先端のパフォーマンスを達成する上で鍵となる。 これは二重降下現象によって捉えられ、モデル幅が増加するにつれて、試験損失は減少・減少パターンに従う。 しかし, 試験損失曲線に対するラベルノイズの影響は十分に検討されていない。 本研究では、ラベルノイズが元々観測された二重降下曲線において \textit{final ascent} となる興味深い現象を明らかにする。 具体的には、ノイズ対サンプルサイズ比が十分大きい場合には、中間幅で最適一般化が達成される。 理論的解析を通じて、この現象はラベルノイズによる試験損失分散の形状遷移に起因している。 さらに,最終昇華現象をモデル密度に拡張し,トレーニング可能なパラメータをランダムに落とせば,ラベルノイズ下での一般化が向上することを示す最初の理論的特徴を与える。 また,正規化とサンプルサイズの役割についても徹底的に検討した。 驚いたことに、ラベルノイズに対する大きな$\ell_2$正規化と堅牢な学習手法が最終的な上昇を悪化させる。 我々は,MNISTでトレーニングされたReLuネットワーク,CIFAR-10/100でトレーニングされたResNet,および現実世界の雑音ラベルを持つスタンフォードカーでトレーニングされたInceptionResNet-v2を用いて,その妥当性を確認した。

関連論文リスト

• Mitigating Noisy Supervision Using Synthetic Samples with Soft Labels [13.314778587751588]
  ノイズラベルは、特にクラウドソーシングやWeb検索から派生した大規模データセットにおいて、現実世界のデータセットにおいてユビキタスである。 トレーニング中にノイズの多いラベルを過度に適合させる傾向にあるため、ノイズの多いデータセットでディープニューラルネットワークをトレーニングすることは難しい。 ノイズラベルの影響を軽減するために,新しい合成サンプルを用いてモデルを訓練するフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-22T04:49:39Z)
• Double Correction Framework for Denoising Recommendation [45.98207284259792]
  暗黙のフィードバックでは、ノイズの多いサンプルが正確なユーザの好みの学習に影響を与える可能性がある。 一般的なソリューションは、モデルトレーニングフェーズでノイズの多いサンプルをドロップすることに基づいている。 提案手法では,勧告を記述するための二重補正フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-18T12:15:10Z)
• Feature Noise Boosts DNN Generalization under Label Noise [65.36889005555669]
  トレーニングデータにおけるラベルノイズの存在は、ディープニューラルネットワーク(DNN)の一般化に大きな影響を与える 本研究では,学習データの特徴に直接ノイズを付加する単純な特徴雑音法を,理論的に導入し,理論的に実証する。
  論文  参考訳（メタデータ） (2023-08-03T08:31:31Z)
• Noise Stability Optimization for Finding Flat Minima: A Hessian-based Regularization Approach [18.009376840944284]
  本稿では,ヘッセン損失行列を効果的に正規化できるアルゴリズムを提案する。 提案手法は,CLIPとチェーン・オブ・ファインチューニングデータセットの事前学習における一般化の改善に有効である。
  論文  参考訳（メタデータ） (2023-06-14T14:58:36Z)
• Doubly Stochastic Models: Learning with Unbiased Label Noises and Inference Stability [85.1044381834036]
  勾配降下のミニバッチサンプリング設定におけるラベル雑音の暗黙的正則化効果について検討した。 そのような暗黙的正則化器は、パラメータの摂動に対してモデル出力を安定化できる収束点を好んでいる。 我々の研究は、SGDをオルンシュタイン-ウレンベック類似の過程とはみなせず、近似の収束によってより一般的な結果を得る。
  論文  参考訳（メタデータ） (2023-04-01T14:09:07Z)
• Learning from Noisy Labels via Dynamic Loss Thresholding [69.61904305229446]
  我々はDLT(Dynamic Loss Thresholding)という新しい手法を提案する。 トレーニングプロセス中、DLTは各サンプルの損失値を記録し、動的損失閾値を算出する。 CIFAR-10/100 と Clothing1M の実験は、最近の最先端手法よりも大幅に改善されている。
  論文  参考訳（メタデータ） (2021-04-01T07:59:03Z)
• Tackling Instance-Dependent Label Noise via a Universal Probabilistic Model [80.91927573604438]
  本稿では,ノイズラベルをインスタンスに明示的に関連付ける,単純かつ普遍的な確率モデルを提案する。 合成および実世界のラベルノイズを用いたデータセット実験により,提案手法がロバスト性に大きな改善をもたらすことを確認した。
  論文  参考訳（メタデータ） (2021-01-14T05:43:51Z)
• Salvage Reusable Samples from Noisy Data for Robust Learning [70.48919625304]
  本稿では,Web画像を用いた深部FGモデルのトレーニングにおいて,ラベルノイズに対処するための再利用可能なサンプル選択と修正手法を提案する。 私たちのキーとなるアイデアは、再利用可能なサンプルの追加と修正を行い、それらをクリーンな例とともに活用してネットワークを更新することです。
  論文  参考訳（メタデータ） (2020-08-06T02:07:21Z)
• Shape Matters: Understanding the Implicit Bias of the Noise Covariance [76.54300276636982]
  勾配降下のノイズはパラメータ化モデルに対するトレーニングにおいて重要な暗黙の正則化効果をもたらす。 ミニバッチやラベルの摂動によって引き起こされるパラメータ依存ノイズはガウスノイズよりもはるかに効果的であることを示す。 分析の結果,パラメータ依存ノイズは局所最小値に偏りを生じさせるが,球状ガウス雑音は生じないことがわかった。
  論文  参考訳（メタデータ） (2020-06-15T18:31:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。