論文の概要: May the Forgetting Be with You: Alternate Replay for Learning with Noisy Labels

• arxiv url: http://arxiv.org/abs/2408.14284v1
• Date: Mon, 26 Aug 2024 14:09:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-27 13:41:26.247001
• Title: May the Forgetting Be with You: Alternate Replay for Learning with Noisy Labels
• Title（参考訳）: 騒々しいラベルで学ぶための代替リプレイ(動画あり)
• Authors: Monica Millunzi, Lorenzo Bonicelli, Angelo Porrello, Jacopo Credi, Petter N. Kolm, Simone Calderara,
• Abstract要約: 本稿では、メモリバッファ内のクリーンで複雑でノイズの多いサンプルの明確な区別を維持するために、忘れることの利点を生かしたAlternate Experience Replay(AER)を紹介する。 得られたバッファの精度と純度の両方の観点から,本手法の有効性を実証し,既存の損失ベース浄化戦略に対して,平均4.71%の精度向上を実現した。
• 参考スコア（独自算出の注目度）: 16.262555459431155
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Forgetting presents a significant challenge during incremental training, making it particularly demanding for contemporary AI systems to assimilate new knowledge in streaming data environments. To address this issue, most approaches in Continual Learning (CL) rely on the replay of a restricted buffer of past data. However, the presence of noise in real-world scenarios, where human annotation is constrained by time limitations or where data is automatically gathered from the web, frequently renders these strategies vulnerable. In this study, we address the problem of CL under Noisy Labels (CLN) by introducing Alternate Experience Replay (AER), which takes advantage of forgetting to maintain a clear distinction between clean, complex, and noisy samples in the memory buffer. The idea is that complex or mislabeled examples, which hardly fit the previously learned data distribution, are most likely to be forgotten. To grasp the benefits of such a separation, we equip AER with Asymmetric Balanced Sampling (ABS): a new sample selection strategy that prioritizes purity on the current task while retaining relevant samples from the past. Through extensive computational comparisons, we demonstrate the effectiveness of our approach in terms of both accuracy and purity of the obtained buffer, resulting in a remarkable average gain of 4.71% points in accuracy with respect to existing loss-based purification strategies. Code is available at https://github.com/aimagelab/mammoth.
• Abstract（参考訳）: 特に、ストリーミングデータ環境における新しい知識を同化するために、現代のAIシステムが特に要求される。 この問題を解決するために、継続学習(CL)のほとんどのアプローチは、過去のデータの制限されたバッファの再生に依存している。 しかし、人間のアノテーションが時間制限によって制約されたり、ウェブからデータが自動的に収集されたりする現実世界のシナリオでノイズの存在は、これらの戦略を脆弱にすることが多い。 本研究では, メモリバッファ内のクリーン, 複雑, ノイズの明確な区別を忘れないように, 代替体験再生(Alternate Experience Replay, AER)を導入することで, CLのノイズラベル(CLN)下での問題に対処する。 この考え方は、以前に学習されたデータ分布にほとんど適合しない複雑な、またはラベルのつかない例は、ほとんど忘れられがちである、というものである。 このような分離の利点を把握すべく、AERに非対称平衡サンプリング(ABS)を装備し、過去から関連するサンプルを保持しつつ、現在のタスクに純度を優先する新しいサンプル選択戦略を提案する。 得られたバッファの精度と純度の両方の観点から,提案手法の有効性を検証した結果,既存の損失に基づく浄化戦略に対して,精度が4.71%向上することがわかった。 コードはhttps://github.com/aimagelab/mammoth.comで入手できる。

関連論文リスト

• STAMP: Outlier-Aware Test-Time Adaptation with Stable Memory Replay [76.06127233986663]
  テスト時間適応(TTA)は、トレーニングデータとテストデータの間の分散シフトに、未ラベルのデータのみを用いて対処することを目的としている。 本稿では,サンプル認識とオフリエ拒絶の両方を行う問題に注意を払っている。 本稿では,STAble Memory rePlay (STAMP) と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-07-22T16:25:41Z)
• Enabling On-Device Learning via Experience Replay with Efficient Dataset Condensation [15.915388740468815]
  本稿では,重要な情報損失を回避するために,最も代表的データを特定する問題に対処するオンデバイスフレームワークを提案する。 具体的には、未ラベルの着信データを効果的に処理するために、未ラベルのオンデバイス学習環境向けに設計された擬似ラベル技術を提案する。 バッファ容量は1クラスにつき1サンプルに過ぎず,既存のベースラインを58.4%上回る精度を実現している。
  論文  参考訳（メタデータ） (2024-05-25T07:52:36Z)
• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [100.7407460674153]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。 しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。 代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• Combating Label Noise With A General Surrogate Model For Sample Selection [84.61367781175984]
  本稿では,視覚言語サロゲートモデルCLIPを用いて,雑音の多いサンプルを自動的にフィルタリングする手法を提案する。 提案手法の有効性を実世界および合成ノイズデータセットで検証した。
  論文  参考訳（メタデータ） (2023-10-16T14:43:27Z)
• Late Stopping: Avoiding Confidently Learning from Mislabeled Examples [61.00103151680946]
  そこで本研究では,DNNの長期学習プロセスを通じて,本質的な頑健な学習能力を生かした新しいフレームワークであるLatlas Stoppingを提案する。 誤ラベルとクリーンな例は、それらが一貫して正しく分類されるために必要なエポックの数に相違があることを実証的に観察する。 ベンチマークシミュレーションと実世界のノイズデータセットによる実験結果から,提案手法は最先端の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-08-26T12:43:25Z)
• On the Effectiveness of Lipschitz-Driven Rehearsal in Continual Learning [17.179898279925155]
  データの小さなプールに対する繰り返し最適化は、必然的に厳密で不安定な決定境界につながる。 リプシッツ・ドリヴエン・リハーサル(Lidschitz-DrivEn Rehearsal, LiDER)を提案する。 大規模な実験により,LiDERの適用はいくつかの最先端のリハーサルCL手法に安定した性能向上をもたらすことが示された。
  論文  参考訳（メタデータ） (2022-10-12T17:45:13Z)
• Few-Shot Class-Incremental Learning via Entropy-Regularized Data-Free Replay [52.251188477192336]
  FSCIL (Few-shot class-incremental Learning) は,データ制限のあるクラスを段階的に学習する深層学習システムを実現するために提案されている。 データリプレイの採用は驚くほど好都合である,という実証的な結果を通じて示します。 本研究では,実データにアクセスすることなく,ジェネレータによるデータ合成が可能なデータフリーリプレイを提案する。
  論文  参考訳（メタデータ） (2022-07-22T17:30:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。