論文の概要: Continual Learning on Noisy Data Streams via Self-Purified Replay

• arxiv url: http://arxiv.org/abs/2110.07735v1
• Date: Thu, 14 Oct 2021 21:39:21 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-19 07:41:23.288190
• Title: Continual Learning on Noisy Data Streams via Self-Purified Replay
• Title（参考訳）: 自己浄化リプレイによる雑音データストリームの連続学習
• Authors: Chris Dongjoo Kim, Jinseo Jeong, Sangwoo Moon, Gunhee Kim
• Abstract要約: 本稿では,破滅的な忘れと騒々しいラベルの両方に同時に対処するリプレイ型連続学習フレームワークを提案する。 提案手法は, (i) 自己教師付き学習によるノイズラベルにおいても, 忘れることが軽減され, (ii) リプレイバッファの純度が重要となる2つの観測結果に基づいている。
• 参考スコア（独自算出の注目度）: 46.90658196143616
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continually learning in the real world must overcome many challenges, among which noisy labels are a common and inevitable issue. In this work, we present a repla-ybased continual learning framework that simultaneously addresses both catastrophic forgetting and noisy labels for the first time. Our solution is based on two observations; (i) forgetting can be mitigated even with noisy labels via self-supervised learning, and (ii) the purity of the replay buffer is crucial. Building on this regard, we propose two key components of our method: (i) a self-supervised replay technique named Self-Replay which can circumvent erroneous training signals arising from noisy labeled data, and (ii) the Self-Centered filter that maintains a purified replay buffer via centrality-based stochastic graph ensembles. The empirical results on MNIST, CIFAR-10, CIFAR-100, and WebVision with real-world noise demonstrate that our framework can maintain a highly pure replay buffer amidst noisy streamed data while greatly outperforming the combinations of the state-of-the-art continual learning and noisy label learning methods. The source code is available at http://vision.snu.ac.kr/projects/SPR
• Abstract（参考訳）: 現実の世界における継続的な学習は多くの課題を克服しなければなりません。 そこで本研究では,大惨事と騒がしいラベルの両方を初めて同時に扱う,repla-yに基づく連続学習フレームワークを提案する。 私たちの解決策は2つの観察に基づいています (i)自己教師付き学習によるノイズラベルにおいても忘れを緩和できる。 (ii)再生バッファの純度が重要である。 この点を踏まえて,本手法の2つの重要な構成要素を提案する。 (i)ノイズラベル付きデータから生じる誤学習信号を回避できるセルフリプレイという自己監督型リプレイ技術 (II) 中心性に基づく確率グラフアンサンブルを介して純粋に再生バッファを保持する自己中心フィルタ。 MNIST, CIFAR-10, CIFAR-100, WebVisionの実環境雑音による実験結果から, このフレームワークは, 最先端の連続学習と雑音ラベル学習の組合せを大幅に向上させつつ, ノイズの多いストリームデータの中で, 極めて純粋な再生バッファを維持可能であることが示された。 ソースコードはhttp://vision.snu.ac.kr/projects/SPRで入手できる。

関連論文リスト

• May the Forgetting Be with You: Alternate Replay for Learning with Noisy Labels [16.262555459431155]
  本稿では、メモリバッファ内のクリーンで複雑でノイズの多いサンプルの明確な区別を維持するために、忘れることの利点を生かしたAlternate Experience Replay(AER)を紹介する。 得られたバッファの精度と純度の両方の観点から,本手法の有効性を実証し,既存の損失ベース浄化戦略に対して,平均4.71%の精度向上を実現した。
  論文  参考訳（メタデータ） (2024-08-26T14:09:40Z)
• FedNoisy: Federated Noisy Label Learning Benchmark [53.73816587601204]
  フェデレーション学習は、クライアントからの機密データを集約することなく、分散学習で人気を集めている。 データ分離の分散と分離の性質は、データ品質によって複雑になり、ノイズの多いラベルに対してより脆弱になる可能性がある。 私たちは、研究者が潜在的にフェデレートされたノイズ設定を十分に調査するのに役立つ、最初の標準ベンチマークを提供しています。
  論文  参考訳（メタデータ） (2023-06-20T16:18:14Z)
• S3: Supervised Self-supervised Learning under Label Noise [53.02249460567745]
  本稿では,ラベルノイズの存在下での分類の問題に対処する。 提案手法の核心は,サンプルのアノテートラベルと特徴空間内のその近傍のラベルの分布との整合性に依存するサンプル選択機構である。 提案手法は,CIFARCIFAR100とWebVisionやANIMAL-10Nなどの実環境ノイズデータセットの両方で,従来の手法をはるかに上回っている。
  論文  参考訳（メタデータ） (2021-11-22T15:49:20Z)
• Learning with Noisy Labels Revisited: A Study Using Real-World Human Annotations [54.400167806154535]
  ノイズラベルを用いた学習に関する既存の研究は、主に合成ラベルノイズに焦点を当てている。 本研究は2つの新しいベンチマークデータセット(CIFAR-10N, CIFAR-100N)を示す。 実世界のノイズラベルは古典的に採用されたクラス依存のラベルではなく、インスタンス依存のパターンに従うことを示す。
  論文  参考訳（メタデータ） (2021-10-22T22:42:11Z)
• Consistency Regularization Can Improve Robustness to Label Noise [4.340338299803562]
  本稿では,雑音ラベルに対するトレーニング時ロバスト性に対する整合正則化の関連性について実験的に検討する。 整合性を促進する単純な損失関数は、ノイズをラベル付けするためのモデルの堅牢性を改善する。
  論文  参考訳（メタデータ） (2021-10-04T08:15:08Z)
• Noise-resistant Deep Metric Learning with Ranking-based Instance Selection [59.286567680389766]
  PRISM(Probabilistic Ranking-based Instance Selection with Memory)と呼ばれるDMLの耐騒音トレーニング技術を提案する。 PRISMは、ニューラルネットワークの以前のバージョンから抽出された画像特徴との平均的類似性を用いて、ミニバッチ内のノイズデータを識別する。 メモリバンクが生み出す高い計算コストを緩和するために,個々のデータポイントをクラスセンタに置き換える高速化手法を提案する。
  論文  参考訳（メタデータ） (2021-03-30T03:22:17Z)
• LongReMix: Robust Learning with High Confidence Samples in a Noisy Label Environment [33.376639002442914]
  新しい2段ノイズラベルトレーニングアルゴリズムLongReMixを提案します。 CIFAR-10, CIFAR-100, WebVision, Clothing1M, Food101-NでLongReMixを試験した。 私たちのアプローチは、ほとんどのデータセットで最先端のパフォーマンスを実現します。
  論文  参考訳（メタデータ） (2021-03-06T18:48:40Z)
• Multi-Objective Interpolation Training for Robustness to Label Noise [17.264550056296915]
  標準教師付きコントラスト学習はラベル雑音の存在下で劣化することを示す。 コントラスト学習により学習したロバストな特徴表現を利用する新しいラベルノイズ検出手法を提案する。 合成および実世界のノイズベンチマークの実験は、MOIT/MOIT+が最先端の結果を得ることを示した。
  論文  参考訳（メタデータ） (2020-12-08T15:01:54Z)
• Learning Not to Learn in the Presence of Noisy Labels [104.7655376309784]
  ギャンブラーの損失と呼ばれる新しい種類の損失関数は、様々なレベルの汚職にまたがってノイズをラベル付けするのに強い堅牢性をもたらすことを示す。 この損失関数によるトレーニングは、ノイズのあるラベルを持つデータポイントでの学習を"維持"することをモデルに促すことを示す。
  論文  参考訳（メタデータ） (2020-02-16T09:12:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。