論文の概要: Superior generalization of smaller models in the presence of significant label noise

• arxiv url: http://arxiv.org/abs/2208.08003v1
• Date: Wed, 17 Aug 2022 00:51:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-18 12:20:56.353563
• Title: Superior generalization of smaller models in the presence of significant label noise
• Title（参考訳）: 重要なラベルノイズの存在下での小型モデルの超越一般化
• Authors: Yihao Xue, Kyle Whitecross, Baharan Mirzasoleiman
• Abstract要約: 誤ラベルされた例が多数存在する場合、ネットワークサイズをある程度拡大することは有害であることを示す。 特に、もともと単調または二重降下試験損失曲線は、ラベルノイズが増加するとU字型曲線となる。 ネットワークサイズが学習関数の滑らかさに与える影響を実証的に検討し,ラベルノイズによって,もともとはサイズと滑らかさの負の相関が反転していることを確認した。
• 参考スコア（独自算出の注目度）: 6.855361451300868
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The benefits of over-parameterization in achieving superior generalization performance have been shown in several recent studies, justifying the trend of using larger models in practice. In the context of robust learning however, the effect of neural network size has not been well studied. In this work, we find that in the presence of a substantial fraction of mislabeled examples, increasing the network size beyond some point can be harmful. In particular, the originally monotonic or `double descent' test loss curve (w.r.t. network width) turns into a U-shaped or a double U-shaped curve when label noise increases, suggesting that the best generalization is achieved by some model with intermediate size. We observe that when network size is controlled by density through random pruning, similar test loss behaviour is observed. We also take a closer look into both phenomenon through bias-variance decomposition and theoretically characterize how label noise shapes the variance term. Similar behavior of the test loss can be observed even when state-of-the-art robust methods are applied, indicating that limiting the network size could further boost existing methods. Finally, we empirically examine the effect of network size on the smoothness of learned functions, and find that the originally negative correlation between size and smoothness is flipped by label noise.
• Abstract（参考訳）: より優れた一般化性能を達成するための過度パラメータ化の利点は、いくつかの研究で示されており、実際はより大きなモデルを使う傾向を正当化している。 しかし、ロバスト学習の文脈では、ニューラルネットワークのサイズの影響は十分に研究されていない。 本研究では,誤記例のかなりの一部が存在する場合,ネットワークサイズをある時点を超えて増加させることが有害であることを示す。 特に、もともと単調あるいは「二重降下」テスト損失曲線(ネットワーク幅)は、ラベルノイズが増加するとU字型または二重U字型となるため、中間サイズのあるモデルによって最高の一般化が達成される。 ネットワークサイズがランダムプルーニングによって密度によって制御される場合、同様のテスト損失挙動が観察される。 また, バイアス分散分解を通した現象と, ラベルノイズが分散項をどのように形成するかを理論的に考察する。 テスト損失の同様の挙動は、最先端のロバストな手法を適用した場合でも観察でき、ネットワークサイズを制限することで既存の手法をさらに強化できることを示している。 最後に,ネットワークサイズが学習関数の滑らかさに与える影響を実証的に検討し,ラベルノイズにより,もともとはサイズと滑らかさの負の相関が反転していることを確認した。

関連論文リスト

• Mitigating Noisy Supervision Using Synthetic Samples with Soft Labels [13.314778587751588]
  ノイズラベルは、特にクラウドソーシングやWeb検索から派生した大規模データセットにおいて、現実世界のデータセットにおいてユビキタスである。 トレーニング中にノイズの多いラベルを過度に適合させる傾向にあるため、ノイズの多いデータセットでディープニューラルネットワークをトレーニングすることは難しい。 ノイズラベルの影響を軽減するために,新しい合成サンプルを用いてモデルを訓練するフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-22T04:49:39Z)
• Double Correction Framework for Denoising Recommendation [45.98207284259792]
  暗黙のフィードバックでは、ノイズの多いサンプルが正確なユーザの好みの学習に影響を与える可能性がある。 一般的なソリューションは、モデルトレーニングフェーズでノイズの多いサンプルをドロップすることに基づいている。 提案手法では,勧告を記述するための二重補正フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-18T12:15:10Z)
• Feature Noise Boosts DNN Generalization under Label Noise [65.36889005555669]
  トレーニングデータにおけるラベルノイズの存在は、ディープニューラルネットワーク(DNN)の一般化に大きな影響を与える 本研究では,学習データの特徴に直接ノイズを付加する単純な特徴雑音法を,理論的に導入し,理論的に実証する。
  論文  参考訳（メタデータ） (2023-08-03T08:31:31Z)
• Noise Stability Optimization for Finding Flat Minima: A Hessian-based Regularization Approach [18.009376840944284]
  本稿では,ヘッセン損失行列を効果的に正規化できるアルゴリズムを提案する。 提案手法は,CLIPとチェーン・オブ・ファインチューニングデータセットの事前学習における一般化の改善に有効である。
  論文  参考訳（メタデータ） (2023-06-14T14:58:36Z)
• Doubly Stochastic Models: Learning with Unbiased Label Noises and Inference Stability [85.1044381834036]
  勾配降下のミニバッチサンプリング設定におけるラベル雑音の暗黙的正則化効果について検討した。 そのような暗黙的正則化器は、パラメータの摂動に対してモデル出力を安定化できる収束点を好んでいる。 我々の研究は、SGDをオルンシュタイン-ウレンベック類似の過程とはみなせず、近似の収束によってより一般的な結果を得る。
  論文  参考訳（メタデータ） (2023-04-01T14:09:07Z)
• Learning from Noisy Labels via Dynamic Loss Thresholding [69.61904305229446]
  我々はDLT(Dynamic Loss Thresholding)という新しい手法を提案する。 トレーニングプロセス中、DLTは各サンプルの損失値を記録し、動的損失閾値を算出する。 CIFAR-10/100 と Clothing1M の実験は、最近の最先端手法よりも大幅に改善されている。
  論文  参考訳（メタデータ） (2021-04-01T07:59:03Z)
• Tackling Instance-Dependent Label Noise via a Universal Probabilistic Model [80.91927573604438]
  本稿では,ノイズラベルをインスタンスに明示的に関連付ける,単純かつ普遍的な確率モデルを提案する。 合成および実世界のラベルノイズを用いたデータセット実験により,提案手法がロバスト性に大きな改善をもたらすことを確認した。
  論文  参考訳（メタデータ） (2021-01-14T05:43:51Z)
• Salvage Reusable Samples from Noisy Data for Robust Learning [70.48919625304]
  本稿では,Web画像を用いた深部FGモデルのトレーニングにおいて,ラベルノイズに対処するための再利用可能なサンプル選択と修正手法を提案する。 私たちのキーとなるアイデアは、再利用可能なサンプルの追加と修正を行い、それらをクリーンな例とともに活用してネットワークを更新することです。
  論文  参考訳（メタデータ） (2020-08-06T02:07:21Z)
• Shape Matters: Understanding the Implicit Bias of the Noise Covariance [76.54300276636982]
  勾配降下のノイズはパラメータ化モデルに対するトレーニングにおいて重要な暗黙の正則化効果をもたらす。 ミニバッチやラベルの摂動によって引き起こされるパラメータ依存ノイズはガウスノイズよりもはるかに効果的であることを示す。 分析の結果,パラメータ依存ノイズは局所最小値に偏りを生じさせるが,球状ガウス雑音は生じないことがわかった。
  論文  参考訳（メタデータ） (2020-06-15T18:31:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。