論文の概要: Optimizing Class Distribution in Memory for Multi-Label Online Continual
Learning
- arxiv url: http://arxiv.org/abs/2209.11469v1
- Date: Fri, 23 Sep 2022 08:17:25 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-26 17:09:26.896811
- Title: Optimizing Class Distribution in Memory for Multi-Label Online Continual
Learning
- Title（参考訳）: 複数ラベルオンライン連続学習のためのメモリ内クラス分散の最適化
- Authors: Yan-Shuo Liang and Wu-Jun Li
- Abstract要約: 我々は,複数ラベルのオンライン連続学習において,メモリにおけるクラス分布の最適化(OCDM)と呼ばれるシンプルだが効果的な手法を提案する。
OCDMはメモリ更新機構を最適化問題として定式化し、この問題を解決することでメモリを更新する。
広く使われている2つのマルチラベルデータセットの実験は、OCDMがメモリ内のクラス分布をうまく制御でき、他の最先端の手法よりも優れていることを示している。
- 参考スコア（独自算出の注目度）: 25.344022177507938
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Online continual learning, especially when task identities and task
boundaries are unavailable, is a challenging continual learning setting. One
representative kind of methods for online continual learning is replay-based
methods, in which a replay buffer called memory is maintained to keep a small
part of past samples for overcoming catastrophic forgetting. When tackling with
online continual learning, most existing replay-based methods focus on
single-label problems in which each sample in the data stream has only one
label. But multi-label problems may also happen in the online continual
learning setting in which each sample may have more than one label. In the
online setting with multi-label samples, the class distribution in data stream
is typically highly imbalanced, and it is challenging to control class
distribution in memory since changing the number of samples belonging to one
class may affect the number of samples belonging to other classes. But class
distribution in memory is critical for replay-based memory to get good
performance, especially when the class distribution in data stream is highly
imbalanced. In this paper, we propose a simple but effective method, called
optimizing class distribution in memory (OCDM), for multi-label online
continual learning. OCDM formulates the memory update mechanism as an
optimization problem and updates the memory by solving this problem.
Experiments on two widely used multi-label datasets show that OCDM can control
the class distribution in memory well and can outperform other state-of-the-art
methods.
- Abstract（参考訳）: オンライン連続学習(特にタスクのアイデンティティとタスク境界が利用できない場合)は、困難な継続的学習環境である。
オンライン連続学習の代表的な方法はリプレイベースの手法であり、メモリと呼ばれるリプレイバッファが維持され、過去のサンプルのごく一部を保持して破滅的な忘れを克服する。
オンライン連続学習に取り組む場合、既存のリプレイベースの手法のほとんどは、データストリームの各サンプルがラベルを1つだけ持つシングルラベルの問題に焦点を当てている。
しかし、複数ラベルの問題は、各サンプルが複数のラベルを持つオンライン連続学習環境でも起こりうる。
マルチラベルサンプルを用いたオンライン環境では、データストリーム内のクラス分布は概して非常に不均衡であり、あるクラスに属するサンプルの数が他のクラスに属するサンプルの数に影響を与える可能性があるため、メモリ内のクラス分布を制御することは困難である。
しかし、メモリ内のクラス分布は、特にデータストリーム内のクラス分布が高度に不均衡である場合に、リプレイベースのメモリが優れたパフォーマンスを得るために重要である。
本稿では,複数ラベルのオンライン連続学習において,メモリにおけるクラス分布の最適化(OCDM)という,シンプルだが効果的な手法を提案する。
OCDMはメモリ更新機構を最適化問題として定式化し、この問題を解決することでメモリを更新する。
広く使われている2つのマルチラベルデータセットの実験は、OCDMがメモリ内のクラス分布をうまく制御でき、他の最先端の手法よりも優れていることを示している。
関連論文リスト
- STAMP: Outlier-Aware Test-Time Adaptation with Stable Memory Replay [76.06127233986663]
テスト時間適応(TTA)は、トレーニングデータとテストデータの間の分散シフトに、未ラベルのデータのみを用いて対処することを目的としている。
本稿では,サンプル認識とオフリエ拒絶の両方を行う問題に注意を払っている。
本稿では,STAble Memory rePlay (STAMP) と呼ばれる新しい手法を提案する。
論文 参考訳（メタデータ） (2024-07-22T16:25:41Z) - I2CANSAY:Inter-Class Analogical Augmentation and Intra-Class Significance Analysis for Non-Exemplar Online Task-Free Continual Learning [42.608860809847236]
オンラインタスクフリー連続学習(OTFCL)は、継続学習のより困難なバリエーションである。
既存のメソッドは、忘れるのを防ぐために古いサンプルで構成されたメモリバッファに依存している。
我々は,メモリバッファへの依存をなくし,ワンショットサンプルから新しいデータの知識を効率的に学習するI2CANSAYという新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2024-04-21T08:28:52Z) - Multi-Label Knowledge Distillation [86.03990467785312]
本稿では,新しい多ラベル知識蒸留法を提案する。
一方、マルチラベル学習問題をバイナリ分類問題に分割することにより、ロジットからの情報的意味知識を利用する。
一方,ラベルワイド埋め込みの構造情報を活用することにより,学習した特徴表現の識別性を向上する。
論文 参考訳（メタデータ） (2023-08-12T03:19:08Z) - Class-Incremental Learning: A Survey [84.30083092434938]
CIL(Class-Incremental Learning)は、学習者が新しいクラスの知識を段階的に取り入れることを可能にする。
CILは、前者の特徴を壊滅的に忘れる傾向にあり、その性能は劇的に低下する。
ベンチマーク画像分類タスクにおける17の手法の厳密で統一的な評価を行い、異なるアルゴリズムの特徴を明らかにする。
論文 参考訳（メタデータ） (2023-02-07T17:59:05Z) - Bypassing Logits Bias in Online Class-Incremental Learning with a
Generative Framework [15.345043222622158]
我々は、時間とともに新しいクラスが出現するオンラインのクラス増分学習環境に焦点を当てる。
既存のほとんどのメソッドは、ソフトマックス分類器を使ったリプレイベースである。
特徴空間に基づく新しい生成フレームワークを提案する。
論文 参考訳（メタデータ） (2022-05-19T06:54:20Z) - vCLIMB: A Novel Video Class Incremental Learning Benchmark [53.90485760679411]
本稿では,ビデオ連続学習ベンチマークvCLIMBを紹介する。
vCLIMBは、ビデオ連続学習における深層モデルの破滅的な忘れを解析するための標準化されたテストベッドである。
本稿では,メモリベース連続学習法に適用可能な時間的整合性正規化を提案する。
論文 参考訳（メタデータ） (2022-01-23T22:14:17Z) - Online Continual Learning Via Candidates Voting [7.704949298975352]
クラス増分設定下でのオンライン連続学習に有効でメモリ効率のよい手法を提案する。
提案手法は, CIFAR-10, CIFAR-100, CORE-50など, オンライン連続学習のためのベンチマークデータセットを用いて, 最適な結果を得る。
論文 参考訳（メタデータ） (2021-10-17T15:45:32Z) - Knowledge Consolidation based Class Incremental Online Learning with
Limited Data [41.87919913719975]
本稿では,限定的なデータ環境下での授業段階的なオンライン学習のための新しい手法を提案する。
我々は、破滅的な忘れ込みと過度な適合の問題に悩まされることなく、タスク間で一般化可能な堅牢な表現を学習する。
論文 参考訳（メタデータ） (2021-06-12T15:18:29Z) - Many-Class Few-Shot Learning on Multi-Granularity Class Hierarchy [57.68486382473194]
我々は,教師付き学習とメタ学習の両方において,MCFS(Multi-class few-shot)問題について検討した。
本稿では,クラス階層を事前知識として活用し,粗大な分類器を訓練する。
モデル「メモリ拡張階層分類ネットワーク(MahiNet)」は、各粗いクラスが複数の細かなクラスをカバーできる粗い粒度分類を行う。
論文 参考訳（メタデータ） (2020-06-28T01:11:34Z) - Online Deep Clustering for Unsupervised Representation Learning [108.33534231219464]
オンラインディープクラスタリング(ODC)は、交互にではなく、クラスタリングとネットワーク更新を同時に実行する。
我々は,2つの動的メモリモジュール,すなわち,サンプルラベルと特徴を格納するサンプルメモリと,セントロイド進化のためのセントロイドメモリを設計,維持する。
このように、ラベルとネットワークは交互にではなく肩から肩へと進化する。
論文 参考訳（メタデータ） (2020-06-18T16:15:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。