論文の概要: Memory-Efficient Semi-Supervised Continual Learning: The World is its
Own Replay Buffer
- arxiv url: http://arxiv.org/abs/2101.09536v1
- Date: Sat, 23 Jan 2021 17:23:08 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-19 10:50:16.934235
- Title: Memory-Efficient Semi-Supervised Continual Learning: The World is its
Own Replay Buffer
- Title（参考訳）: メモリ効率のよい半教師付き連続学習:世界は独自のリプレイバッファである
- Authors: James Smith, Jonathan Balloch, Yen-Chang Hsu, Zsolt Kira
- Abstract要約: リハーサルは、クラスインクリメンタルな連続学習にとって重要なコンポーネントですが、十分なメモリ予算が必要です。
本研究は,エージェントの環境からラベルのないデータを活用することで,メモリ予算を大幅に削減できるかどうかを検討する。
本稿では, 疑似ラベル付け, 整合正則化, OoD(Out-of-Distribution)検出, 知識蒸留により, この環境下での忘れを少なくする戦略を示す。
- 参考スコア（独自算出の注目度）: 26.85498630152788
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Rehearsal is a critical component for class-incremental continual learning,
yet it requires a substantial memory budget. Our work investigates whether we
can significantly reduce this memory budget by leveraging unlabeled data from
an agent's environment in a realistic and challenging continual learning
paradigm. Specifically, we explore and formalize a novel semi-supervised
continual learning (SSCL) setting, where labeled data is scarce yet non-i.i.d.
unlabeled data from the agent's environment is plentiful. Importantly, data
distributions in the SSCL setting are realistic and therefore reflect object
class correlations between, and among, the labeled and unlabeled data
distributions. We show that a strategy built on pseudo-labeling, consistency
regularization, Out-of-Distribution (OoD) detection, and knowledge distillation
reduces forgetting in this setting. Our approach, DistillMatch, increases
performance over the state-of-the-art by no less than 8.7% average task
accuracy and up to a 54.5% increase in average task accuracy in SSCL CIFAR-100
experiments. Moreover, we demonstrate that DistillMatch can save up to 0.23
stored images per processed unlabeled image compared to the next best method
which only saves 0.08. Our results suggest that focusing on realistic
correlated distributions is a significantly new perspective, which accentuates
the importance of leveraging the world's structure as a continual learning
strategy.
- Abstract（参考訳）: リハーサルは、クラス増分連続学習にとって重要な要素であるが、かなりのメモリ予算を必要とする。
本研究は,エージェント環境からのラベルなしデータを活用することで,メモリ予算を大幅に削減できるかどうかを,現実的で挑戦的な連続学習パラダイムで検討する。
具体的には、ラベル付きデータが少ないが非i.d.で、新しい半教師付き連続学習(SSCL)を探索し、形式化する。
エージェントの環境からのラベルなしデータは 豊富です
重要なことは、SSCL設定におけるデータ分布は現実的であり、したがってラベル付きおよびラベルなしのデータ分布間のオブジェクトクラス相関を反映する。
本稿では, 疑似ラベル付け, 整合正則化, OoD(Out-of-Distribution)検出, 知識蒸留により, この設定での忘れを少なくする戦略を示す。
我々のアプローチであるDistillMatchは、SSCL CIFAR-100実験において、平均タスク精度を8.7%以下に向上し、平均タスク精度を54.5%向上させる。
さらに,0.08 しか保存しない次の最良法と比較して,処理未ラベル画像毎に最大 0.23 個の保存画像を保存することができることを示した。
その結果,現実的な相関分布に着目することは,世界構造を継続的な学習戦略として活用することの重要性を強調させる,極めて新しい視点であることが示唆された。
関連論文リスト
- Enhancing Image Classification in Small and Unbalanced Datasets through Synthetic Data Augmentation [0.0]
本稿では,クラス固有変分オートエンコーダ(VAE)と潜在空間を用いた,識別能力向上のための新しい合成拡張戦略を提案する。
特徴空間ギャップを埋めるリアルで多様な合成データを生成することにより、データの不足とクラス不均衡の問題に対処する。
提案手法は,エゾファゴガストロデュオ内視鏡画像の清潔度を自動評価する方法を訓練し,検証するために作成した321枚の画像の小さなデータセットで検証した。
論文 参考訳（メタデータ） (2024-09-16T13:47:52Z) - Dynamic Sub-graph Distillation for Robust Semi-supervised Continual
Learning [52.046037471678005]
半教師付き連続学習(SSCL)に焦点をあて、そのモデルが未知のカテゴリを持つ部分ラベル付きデータから徐々に学習する。
半教師付き連続学習のための動的サブグラフ蒸留法(DSGD)を提案する。
論文 参考訳（メタデータ） (2023-12-27T04:40:12Z) - BAL: Balancing Diversity and Novelty for Active Learning [53.289700543331925]
多様な不確実なデータのバランスをとるために適応的なサブプールを構築する新しいフレームワークであるBalancing Active Learning (BAL)を導入する。
我々のアプローチは、広く認識されているベンチマークにおいて、確立されたすべてのアクティブな学習方法より1.20%優れています。
論文 参考訳（メタデータ） (2023-12-26T08:14:46Z) - Exploring the Boundaries of Semi-Supervised Facial Expression Recognition using In-Distribution, Out-of-Distribution, and Unconstrained Data [23.4909421082857]
表情認識(FER)における最新の半教師あり手法11について検討する。
本研究は,非流通,アウト・オブ・ディストリビューション,制約のない,非常に小さなデータからの半教師付き学習を対象とする。
ラベル付きサンプルの数が等しいため、半教師付き学習は教師付き学習よりも大幅に改善される。
論文 参考訳（メタデータ） (2023-06-02T01:40:08Z) - Class-Aware Contrastive Semi-Supervised Learning [51.205844705156046]
本研究では,擬似ラベル品質を向上し,実環境におけるモデルの堅牢性を高めるため,CCSSL(Class-Aware Contrastive Semi-Supervised Learning)と呼ばれる一般的な手法を提案する。
提案するCCSSLは,標準データセットCIFAR100とSTL10の最先端SSLメソッドに対して,大幅な性能向上を実現している。
論文 参考訳（メタデータ） (2022-03-04T12:18:23Z) - To be Critical: Self-Calibrated Weakly Supervised Learning for Salient
Object Detection [95.21700830273221]
弱教師付き有色物体検出(WSOD)は,画像レベルのアノテーションを用いた有色度モデルの開発を目的としている。
擬似ラベルとネットワーク予測の相互校正ループを明確に設定し,自己校正学習戦略を提案する。
十分に整合したアノテーションを持つはるかに小さなデータセットであっても、モデルがより優れたパフォーマンスと一般化性を達成するのに役立ちます。
論文 参考訳（メタデータ） (2021-09-04T02:45:22Z) - Towards Reducing Labeling Cost in Deep Object Detection [61.010693873330446]
本稿では,検知器の不確実性と頑健性の両方を考慮した,アクティブラーニングのための統一的なフレームワークを提案する。
提案手法は, 確率分布のドリフトを抑えながら, 極めて確実な予測を擬似ラベル化することができる。
論文 参考訳（メタデータ） (2021-06-22T16:53:09Z) - ORDisCo: Effective and Efficient Usage of Incremental Unlabeled Data for
Semi-supervised Continual Learning [52.831894583501395]
連続学習は、入力されたデータが完全にラベル付けされていると仮定し、実際のアプリケーションでは適用できないかもしれない。
我々は、条件付き生成逆数ネットワーク(GAN)を用いた分類器を相互に学習するために、識別器整合(ORDisCo)を用いたディープオンライン再生を提案する。
ORDisCo が SSCL の様々な半教師付き学習ベンチマークデータセットで大幅なパフォーマンス向上を達成していることを示します。
論文 参考訳（メタデータ） (2021-01-02T09:04:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。