論文の概要: Impact of Label Noise on Learning Complex Features

• arxiv url: http://arxiv.org/abs/2411.04569v1
• Date: Thu, 07 Nov 2024 09:47:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-08 19:39:50.481660
• Title: Impact of Label Noise on Learning Complex Features
• Title（参考訳）: ラベルノイズが複雑な特徴の学習に及ぼす影響
• Authors: Rahul Vashisht, P. Krishna Kumar, Harsha Vardhan Govind, Harish G. Ramaswamy,
• Abstract要約: 事前学習は,ノイズの存在下での学習の複雑な機能や多様な特徴を促進することを示す。 実験により,ノイズラベルによる事前学習は,勾配降下を促進させ,代替のミニマを見つけることを実証した。
• 参考スコア（独自算出の注目度）: 0.5249805590164901
• License:
• Abstract: Neural networks trained with stochastic gradient descent exhibit an inductive bias towards simpler decision boundaries, typically converging to a narrow family of functions, and often fail to capture more complex features. This phenomenon raises concerns about the capacity of deep models to adequately learn and represent real-world datasets. Traditional approaches such as explicit regularization, data augmentation, architectural modifications, etc., have largely proven ineffective in encouraging the models to learn diverse features. In this work, we investigate the impact of pre-training models with noisy labels on the dynamics of SGD across various architectures and datasets. We show that pretraining promotes learning complex functions and diverse features in the presence of noise. Our experiments demonstrate that pre-training with noisy labels encourages gradient descent to find alternate minima that do not solely depend upon simple features, rather learns more complex and broader set of features, without hurting performance.
• Abstract（参考訳）: 確率勾配勾配で訓練されたニューラルネットワークは、単純な決定境界に対して帰納的バイアスを示し、通常は狭い関数群に収束し、しばしばより複雑な特徴を捉えることができない。 この現象は、現実世界のデータセットを適切に学習し、表現する深層モデルの能力に関する懸念を引き起こす。 明示的な正規化やデータ拡張、アーキテクチャの変更といった従来のアプローチは、モデルに多様な特徴を学習させるのにほとんど効果がないことが証明されている。 本研究では,ノイズラベル付き事前学習モデルが各種アーキテクチャやデータセットにおけるSGDのダイナミクスに与える影響について検討する。 事前学習は,ノイズの存在下での学習の複雑な機能や多様な特徴を促進することを示す。 実験により,ノイズラベルによる事前学習は,単純な特徴にのみ依存せず,より複雑で広い特徴セットを学習し,性能を損なうことなく,勾配降下を助長することを示した。

関連論文リスト

• Enhancing Fine-Grained Visual Recognition in the Low-Data Regime Through Feature Magnitude Regularization [23.78498670529746]
  抽出した特徴量の均等分布を保証するために正規化手法を導入する。 その明らかな単純さにもかかわらず、我々の手法は様々な細粒度視覚認識データセットに対して顕著な性能向上を示した。
  論文  参考訳（メタデータ） (2024-09-03T07:32:46Z)
• Loss Dynamics of Temporal Difference Reinforcement Learning [36.772501199987076]
  線形関数近似器を用いた値関数の時間差学習のためのケースラーニング曲線について検討した。 本研究では,学習力学と台地が特徴構造,学習率,割引係数,報酬関数にどのように依存するかを検討する。
  論文  参考訳（メタデータ） (2023-07-10T18:17:50Z)
• Dynamic Latent Separation for Deep Learning [67.62190501599176]
  機械学習の中核的な問題は、複雑なデータに対するモデル予測のための表現力のある潜在変数を学習することである。 本稿では,表現性を向上し,部分的解釈を提供し,特定のアプリケーションに限定されないアプローチを開発する。
  論文  参考訳（メタデータ） (2022-10-07T17:56:53Z)
• Representation Learning for the Automatic Indexing of Sound Effects Libraries [79.68916470119743]
  タスク固有のがデータセットに依存しない表現は、クラス不均衡、一貫性のないクラスラベル、不十分なデータセットサイズなどのデータ問題にうまく対処できることを示す。 詳細な実験結果は、メトリック学習アプローチと異なるデータセット間の学習方法が表現効率に与える影響を示している。
  論文  参考訳（メタデータ） (2022-08-18T23:46:13Z)
• CHALLENGER: Training with Attribution Maps [63.736435657236505]
  ニューラルネットワークのトレーニングに属性マップを利用すると、モデルの正規化が向上し、性能が向上することを示す。 特に、我々の汎用的なドメインに依存しないアプローチは、ビジョン、自然言語処理、時系列タスクにおける最先端の結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-05-30T13:34:46Z)
• Architectural Optimization and Feature Learning for High-Dimensional Time Series Datasets [0.7388859384645262]
  重力波検出器における過渡ノイズアーチファクトの存在を予測する問題について検討する。 従来の技術と比較して誤差率を60%以上削減するモデルを導入する。
  論文  参考訳（メタデータ） (2022-02-27T23:41:23Z)
• CMW-Net: Learning a Class-Aware Sample Weighting Mapping for Robust Deep Learning [55.733193075728096]
  現代のディープニューラルネットワークは、破損したラベルやクラス不均衡を含むバイアス付きトレーニングデータに容易に適合する。 サンプル再重み付け手法は、このデータバイアス問題を緩和するために一般的に使用されている。 本稿では,データから直接明示的な重み付け方式を適応的に学習できるメタモデルを提案する。
  論文  参考訳（メタデータ） (2022-02-11T13:49:51Z)
• Learning perturbation sets for robust machine learning [97.6757418136662]
  我々は、潜在空間の制約領域上に設定された摂動を定義する条件生成器を用いる。 学習した摂動集合の質を定量的かつ質的に測定する。 我々は、学習した摂動集合を利用して、敵画像の破損や逆光の変動に対して経験的かつ確実に堅牢なモデルを訓練する。
  論文  参考訳（メタデータ） (2020-07-16T16:39:54Z)
• Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
  ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。 我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。 このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2020-04-20T02:47:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。