論文の概要: PADDLES: Phase-Amplitude Spectrum Disentangled Early Stopping for Learning with Noisy Labels

• arxiv url: http://arxiv.org/abs/2212.03462v1
• Date: Wed, 7 Dec 2022 05:03:13 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-08 14:55:00.452140
• Title: PADDLES: Phase-Amplitude Spectrum Disentangled Early Stopping for Learning with Noisy Labels
• Title（参考訳）: パドル:位相振幅スペクトルの不等角化早期停止による雑音ラベル学習
• Authors: Huaxi Huang, Hui Kang, Sheng Liu, Olivier Salvado, Thierry Rakotoarivelo, Dadong Wang, Tongliang Liu
• Abstract要約: 畳み込みニューラルネットワーク(CNN)は、学習パターンの優位性を示しているが、ラベルノイズに敏感であり、トレーニング中にノイズラベルをオーバーフィットさせる可能性がある。 早期停止戦略は、初期のトレーニングフェーズにおけるCNNの更新を回避し、ノイズラベルの存在下で広く採用されている。 提案手法は, 実世界のラベル・ノイズ・データセットの合成に有効であることを示す。
• 参考スコア（独自算出の注目度）: 49.43183579415899
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Convolutional Neural Networks (CNNs) have demonstrated superiority in learning patterns, but are sensitive to label noises and may overfit noisy labels during training. The early stopping strategy averts updating CNNs during the early training phase and is widely employed in the presence of noisy labels. Motivated by biological findings that the amplitude spectrum (AS) and phase spectrum (PS) in the frequency domain play different roles in the animal's vision system, we observe that PS, which captures more semantic information, can increase the robustness of DNNs to label noise, more so than AS can. We thus propose early stops at different times for AS and PS by disentangling the features of some layer(s) into AS and PS using Discrete Fourier Transform (DFT) during training. Our proposed Phase-AmplituDe DisentangLed Early Stopping (PADDLES) method is shown to be effective on both synthetic and real-world label-noise datasets. PADDLES outperforms other early stopping methods and obtains state-of-the-art performance.
• Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)は、学習パターンの優位性を示しているが、ラベルノイズに敏感であり、トレーニング中にノイズラベルをオーバーフィットさせる可能性がある。 早期停止戦略は初期訓練段階でcnnの更新を回避し、ノイズラベルの存在下で広く採用されている。 動物の視覚系において周波数領域の振幅スペクトル(AS)と位相スペクトル(PS)が異なる役割を担っているという生物学的知見により、より意味的な情報を捉えるPSは、ASよりもDNNの頑健性を高め、ノイズをラベル付けできる可能性が示唆された。 そこで我々は,DFT(Disdisrete Fourier Transform)を用いて,いくつかの層の特徴をASとPSに切り離すことにより,ASとPSの異なるタイミングで早期停止を提案する。 提案手法は,合成データと実世界のラベルノイズデータセットの両方に有効であることが示された。 PADDLESは、他の早期停止方法より優れ、最先端のパフォーマンスを得る。

関連論文リスト

• Stochastic Restarting to Overcome Overfitting in Neural Networks with Noisy Labels [2.048226951354646]
  本研究では,チェックポイントから再起動することで,ディープニューラルネットワーク(DNN)をノイズラベルでトレーニングする際の一般化性能が大幅に向上することを示す。 本研究では, 統計物理学分野において, ターゲットの探索を効率的に行うために, 再起動に基づく手法を開発した。 提案手法の重要な側面は,実装の容易さと他のメソッドとの互換性でありながら,性能が著しく向上している点である。
  論文  参考訳（メタデータ） (2024-06-01T10:45:41Z)
• Label-Noise Robust Diffusion Models [18.82847557713331]
  条件拡散モデルは、様々な生成タスクにおいて顕著な性能を示した。 訓練には、条件付き入力でしばしばノイズを含む大規模なデータセット、すなわちノイズラベルが必要である。 本稿では,雑音ラベル付き条件付き拡散モデルの学習のための遷移対応重み付きDenoising Score Matchingを提案する。
  論文  参考訳（メタデータ） (2024-02-27T14:00:34Z)
• Dynamics-Aware Loss for Learning with Label Noise [73.75129479936302]
  ディープニューラルネットワーク(DNN)にラベルノイズが深刻な脅威をもたらす 本稿では,この問題を解決するためにDAL(Dynamics-Aware Los)を提案する。 詳細な理論的解析と広範な実験結果の両方が,本手法の優位性を示している。
  論文  参考訳（メタデータ） (2023-03-21T03:05:21Z)
• Latent Class-Conditional Noise Model [54.56899309997246]
  本稿では,ベイズ的枠組みの下での雑音遷移をパラメータ化するためのLatent Class-Conditional Noise Model (LCCN)を提案する。 次に、Gibs sampler を用いて遅延真のラベルを効率的に推測できる LCCN の動的ラベル回帰法を導出する。 提案手法は,サンプルのミニバッチから事前の任意チューニングを回避するため,ノイズ遷移の安定な更新を保護している。
  論文  参考訳（メタデータ） (2023-02-19T15:24:37Z)
• Towards Harnessing Feature Embedding for Robust Learning with Noisy Labels [44.133307197696446]
  ディープニューラルネットワーク(DNN)の記憶効果は,近年のラベルノイズ学習法において重要な役割を担っている。 ラベルノイズを用いたディープラーニングのための新しい特徴埋め込み方式, LabEl Noise Dilution (LEND) を提案する。
  論文  参考訳（メタデータ） (2022-06-27T02:45:09Z)
• Understanding and Improving Early Stopping for Learning with Noisy Labels [63.0730063791198]
  ディープニューラルネットワーク(DNN)の記憶効果は、多くの最先端のラベルノイズ学習法において重要な役割を担っている。 現在の手法は一般的にDNN全体を考慮して早期停止点を決定する。 我々は、DNNを異なる部分に分割し、この問題に対処するよう徐々に訓練することを提案する。
  論文  参考訳（メタデータ） (2021-06-30T07:18:00Z)
• Open-set Label Noise Can Improve Robustness Against Inherent Label Noise [27.885927200376386]
  オープンセットノイズラベルは非毒性であり, 固有ノイズラベルに対するロバスト性にも寄与することを示した。 本研究では,動的雑音ラベル(ODNL)を用いたオープンセットサンプルをトレーニングに導入することで,シンプルかつ効果的な正規化を提案する。
  論文  参考訳（メタデータ） (2021-06-21T07:15:50Z)
• Attention-Aware Noisy Label Learning for Image Classification [97.26664962498887]
  大規模ラベル付きサンプルで学習した深層畳み込みニューラルネットワーク(CNN)は、コンピュータビジョンにおいて顕著な進歩を遂げている。 大量のラベル付きビジュアルデータを取得する最も安価な方法は、Flickrのようなユーザーが提供するラベルでウェブサイトからクロールすることである。 本稿では,潜在的なラベルノイズのあるデータセットに基づいて学習したネットワークの識別能力を向上させるために,注目に敏感なラベル学習手法を提案する。
  論文  参考訳（メタデータ） (2020-09-30T15:45:36Z)
• Rectified Meta-Learning from Noisy Labels for Robust Image-based Plant Disease Diagnosis [64.82680813427054]
  植物病は食料安全保障と作物生産に対する主要な脅威の1つである。 1つの一般的なアプローチは、葉画像分類タスクとしてこの問題を変換し、強力な畳み込みニューラルネットワーク(CNN)によって対処できる。 本稿では,正規化メタ学習モジュールを共通CNNパラダイムに組み込んだ新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-17T09:51:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。