論文の概要: Label Delay in Continual Learning

• arxiv url: http://arxiv.org/abs/2312.00923v1
• Date: Fri, 1 Dec 2023 20:52:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-05 20:01:24.954341
• Title: Label Delay in Continual Learning
• Title（参考訳）: 連続学習におけるラベル遅延
• Authors: Botos Csaba, Wenxuan Zhang, Matthias M\"uller, Ser-Nam Lim, Mohamed Elhoseiny, Philip Torr, Adel Bibi
• Abstract要約: しばしば見過ごされる重要な側面はラベルの遅延であり、遅くてコストのかかるアノテーションプロセスのために新しいデータがラベル付けされない可能性がある。 本稿では,データとラベルストリーム間のラベル遅延を,時間経過とともに明示的にモデル化した新しい連続学習フレームワークを提案する。 提案手法はラベル遅延係数に最も影響を受けていないことを示し、場合によっては非遅延の精度を回復させる。
• 参考スコア（独自算出の注目度）: 79.87793142751318
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Online continual learning, the process of training models on streaming data, has gained increasing attention in recent years. However, a critical aspect often overlooked is the label delay, where new data may not be labeled due to slow and costly annotation processes. We introduce a new continual learning framework with explicit modeling of the label delay between data and label streams over time steps. In each step, the framework reveals both unlabeled data from the current time step $t$ and labels delayed with $d$ steps, from the time step $t-d$. In our extensive experiments amounting to 1060 GPU days, we show that merely augmenting the computational resources is insufficient to tackle this challenge. Our findings underline a notable performance decline when solely relying on labeled data when the label delay becomes significant. More surprisingly, when using state-of-the-art SSL and TTA techniques to utilize the newer, unlabeled data, they fail to surpass the performance of a na\"ive method that simply trains on the delayed supervised stream. To this end, we introduce a simple, efficient baseline that rehearses from the labeled memory samples that are most similar to the new unlabeled samples. This method bridges the accuracy gap caused by label delay without significantly increasing computational complexity. We show experimentally that our method is the least affected by the label delay factor and in some cases successfully recovers the accuracy of the non-delayed counterpart. We conduct various ablations and sensitivity experiments, demonstrating the effectiveness of our approach.
• Abstract（参考訳）: 近年,ストリーミングデータを用いたモデルのトレーニングプロセスであるオンライン連続学習が注目されている。 しかし、しばしば見過ごされる重要な側面はラベル遅延であり、遅い、コストのかかるアノテーションプロセスのために新しいデータがラベル付けされない可能性がある。 本稿では,データとラベルストリーム間のラベル遅延を時間ステップで明示的にモデル化する,新しい連続学習フレームワークを提案する。 各ステップにおいて、フレームワークは現在のステップ$t$からのラベル付きデータと、タイムステップ$t-d$から$d$で遅延したラベルの両方を明らかにする。 1060gpu日という広範な実験で、計算資源の強化だけではこの課題に取り組むには不十分であることを示した。 その結果,ラベル遅延が顕著になるとラベル付きデータのみに依存する場合,顕著な性能低下が認められた。 さらに驚くべきことに、最先端のSSLとTTA技術を使用して、新しいラベル付きデータを利用する場合、遅延教師付きストリーム上で単にトレーニングするna\"iveメソッドのパフォーマンスを上回りません。 この目的のために、新しいラベルなしサンプルと最もよく似たラベル付きメモリサンプルからリハーサルする、シンプルで効率的なベースラインを導入する。 この手法は,計算複雑性を大幅に増大させることなくラベル遅延による精度ギャップを埋める。 提案手法はラベル遅延係数に最も影響を受けていないことを示し、場合によっては非遅延の精度を回復させる。 本手法の有効性を実証し,様々な改善と感度実験を行った。

関連論文リスト

• STAMP: Outlier-Aware Test-Time Adaptation with Stable Memory Replay [76.06127233986663]
  テスト時間適応(TTA)は、トレーニングデータとテストデータの間の分散シフトに、未ラベルのデータのみを用いて対処することを目的としている。 本稿では,サンプル認識とオフリエ拒絶の両方を行う問題に注意を払っている。 本稿では,STAble Memory rePlay (STAMP) と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-07-22T16:25:41Z)
• FlatMatch: Bridging Labeled Data and Unlabeled Data with Cross-Sharpness for Semi-Supervised Learning [73.13448439554497]
  Semi-Supervised Learning (SSL) は、ラベル付きデータが極めて少ない豊富なラベル付きデータを活用する効果的な方法である。 ほとんどのSSLメソッドは、通常、異なるデータ変換間のインスタンス単位の一貫性に基づいている。 本研究では,2つのデータセット間の一貫した学習性能を確保するために,クロスシャープネス尺度を最小化するFlatMatchを提案する。
  論文  参考訳（メタデータ） (2023-10-25T06:57:59Z)
• Late Stopping: Avoiding Confidently Learning from Mislabeled Examples [61.00103151680946]
  そこで本研究では,DNNの長期学習プロセスを通じて,本質的な頑健な学習能力を生かした新しいフレームワークであるLatlas Stoppingを提案する。 誤ラベルとクリーンな例は、それらが一貫して正しく分類されるために必要なエポックの数に相違があることを実証的に観察する。 ベンチマークシミュレーションと実世界のノイズデータセットによる実験結果から,提案手法は最先端の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-08-26T12:43:25Z)
• Losses over Labels: Weakly Supervised Learning via Direct Loss Construction [71.11337906077483]
  プログラム可能な弱い監視は、機械学習のパラダイムとして成長している。 ラベルの中間ステップを経由することなく,直接損失を発生させるため,ラベルのロバスト・オーバー・ラベル(Losses over Labels, LoL)を提案する。 いくつかのベンチマークテキストおよび画像分類タスクにおいて、LoLは既存の弱い監督手法を改善していることを示す。
  論文  参考訳（メタデータ） (2022-12-13T22:29:14Z)
• Dash: Semi-Supervised Learning with Dynamic Thresholding [72.74339790209531]
  我々は、ラベルのない例を使ってモデルをトレーニングする半教師付き学習(SSL)アプローチを提案する。 提案手法であるDashは、ラベルなしデータ選択の観点から適応性を享受する。
  論文  参考訳（メタデータ） (2021-09-01T23:52:29Z)
• INN: A Method Identifying Clean-annotated Samples via Consistency Effect in Deep Neural Networks [1.1470070927586016]
  ノイズのあるラベル付きトレーニングデータからクリーンなラベル付きデータを洗練するための新しい手法であるINNを導入する。 INN法は計算量が多いが、小型の戦略よりも安定で強力である。
  論文  参考訳（メタデータ） (2021-06-29T09:06:21Z)
• A Survey on Semi-Supervised Learning for Delayed Partially Labelled Data Streams [10.370629574634092]
  本調査は, 半教師付き環境で, 不正なデータを利用する手法に特に注意を払っている。 完全教師付き手法と半教師付き手法の両方に影響を及ぼす遅延ラベル問題について議論する。
  論文  参考訳（メタデータ） (2021-06-16T23:14:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。