論文の概要: Can Continual Learning Improve Long-Tailed Recognition? Toward a Unified
Framework
- arxiv url: http://arxiv.org/abs/2306.13275v1
- Date: Fri, 23 Jun 2023 03:05:33 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-26 13:45:30.637093
- Title: Can Continual Learning Improve Long-Tailed Recognition? Toward a Unified
Framework
- Title(参考訳): 継続学習は長期学習を改善するか?
統一フレームワークに向けて
- Authors: Mahdiyar Molahasani, Michael Greenspan, Ali Etemad
- Abstract要約: 長大認識法は,より大きい頭部セットと小さいテールセットの両方からなるデータセットを正確に学習することを目的としている。
本研究では,学習者の重みを効果的に更新し,頭部を忘れずにタイルを学習できることを示す。
また,自然に不均衡な256データセット上でCLを探索することにより,実世界のデータに対するCL手法の適用性を評価する。
- 参考スコア(独自算出の注目度): 16.457778420360537
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The Long-Tailed Recognition (LTR) problem emerges in the context of learning
from highly imbalanced datasets, in which the number of samples among different
classes is heavily skewed. LTR methods aim to accurately learn a dataset
comprising both a larger Head set and a smaller Tail set. We propose a theorem
where under the assumption of strong convexity of the loss function, the
weights of a learner trained on the full dataset are within an upper bound of
the weights of the same learner trained strictly on the Head. Next, we assert
that by treating the learning of the Head and Tail as two separate and
sequential steps, Continual Learning (CL) methods can effectively update the
weights of the learner to learn the Tail without forgetting the Head. First, we
validate our theoretical findings with various experiments on the toy MNIST-LT
dataset. We then evaluate the efficacy of several CL strategies on multiple
imbalanced variations of two standard LTR benchmarks (CIFAR100-LT and
CIFAR10-LT), and show that standard CL methods achieve strong performance gains
in comparison to baselines and approach solutions that have been tailor-made
for LTR. We also assess the applicability of CL techniques on real-world data
by exploring CL on the naturally imbalanced Caltech256 dataset and demonstrate
its superiority over state-of-the-art classifiers. Our work not only unifies
LTR and CL but also paves the way for leveraging advances in CL methods to
tackle the LTR challenge more effectively.
- Abstract(参考訳): LTR(Long-Tailed Recognition)問題は非常に不均衡なデータセットから学習の文脈で発生し、異なるクラス間のサンプルの数が大幅に減少する。
LTR法は、より大きなヘッドセットと小さなテールセットの両方からなるデータセットを正確に学習することを目的としている。
本稿では,損失関数の強い凸性の仮定の下で,全データセットで学習した学習者の重みは,頭上で厳密に訓練された同じ学習者の重みの上限内にあるという定理を提案する。
次に、頭部と尾の学習を2つの別々かつ逐次ステップとして扱うことにより、連続学習(cl)法は、頭部を忘れずに尾を学習する学習者の重みを効果的に更新することができると主張する。
まず,おもちゃのMNIST-LTデータセットについて,様々な実験を行った。
次に、2つの標準LTRベンチマーク(CIFAR100-LTとCIFAR10-LT)の多重不均衡変動に対する複数のCL戦略の有効性を評価し、LTRに適したベースラインやアプローチソリューションと比較して、標準CL手法が高い性能向上を達成することを示す。
また,自然に不均衡なcaltech256データセット上でclを探索することにより,実世界のデータに対するcl手法の適用性を評価し,最先端の分類器に対するその優位性を実証する。
我々の研究はLTRとCLを統一するだけでなく、LTRの課題にもっと効果的に取り組むためにCL手法の進歩を活用する道を開く。
関連論文リスト
- Dynamic Sub-graph Distillation for Robust Semi-supervised Continual
Learning [52.046037471678005]
半教師付き連続学習(SSCL)に焦点をあて、そのモデルが未知のカテゴリを持つ部分ラベル付きデータから徐々に学習する。
半教師付き連続学習のための動的サブグラフ蒸留法(DSGD)を提案する。
論文 参考訳(メタデータ) (2023-12-27T04:40:12Z) - TRACE: A Comprehensive Benchmark for Continual Learning in Large
Language Models [52.734140807634624]
調整された大規模言語モデル(LLM)は、タスク解決、指示に従うこと、安全性を確保することにおいて、例外的な能力を示す。
既存の連続学習ベンチマークでは、LLMをリードする上で十分な課題が欠如している。
LLMにおける継続学習を評価するための新しいベンチマークであるTRACEを紹介する。
論文 参考訳(メタデータ) (2023-10-10T16:38:49Z) - A dual-branch model with inter- and intra-branch contrastive loss for
long-tailed recognition [7.225494453600985]
長い尾のデータセットで訓練されたモデルは、テールクラスへの適応性が低く、決定境界は曖昧である。
我々は,不均衡学習枝と対照学習枝(CoLB)を含む,単純で効果的なDual-Branch Long-Tailed Recognition (DB-LTR)を提案する。
CoLBは、テールクラスに適応する際のモデルの能力を改善し、不均衡な学習ブランチを支援して、よく表現された特徴空間と識別的決定境界を学習する。
論文 参考訳(メタデータ) (2023-09-28T03:31:11Z) - Dynamic Residual Classifier for Class Incremental Learning [4.02487511510606]
古いクラスと新しいクラスの間に不均衡なサンプル番号があれば、学習はバイアスを受けることができる。
既存のCIL手法は、例えば、調整された損失やデータ再サンプリング手法など、Longtailed (LT) 認識技術を利用する。
この挑戦的なシナリオに対処するために、新しい動的残留適応(DRC)を提案する。
論文 参考訳(メタデータ) (2023-08-25T11:07:11Z) - Unbiased and Efficient Self-Supervised Incremental Contrastive Learning [31.763904668737304]
本稿では,新たなIncremental InfoNCE(NCE-II)損失関数からなる自己教師型Incremental Contrastive Learning(ICL)フレームワークを提案する。
ICLは最大16.7倍のトレーニングスピードアップと16.8倍の高速収束を実現している。
論文 参考訳(メタデータ) (2023-01-28T06:11:31Z) - Beyond Supervised Continual Learning: a Review [69.9674326582747]
連続学習(Continuous Learning, CL)は、定常データ分布の通常の仮定を緩和または省略する機械学習のフレーバーである。
データ分布の変化は、いわゆる破滅的な忘れ(CF)効果、すなわち、過去の知識の突然の喪失を引き起こす可能性がある。
本稿では、CLを他の環境で研究する文献をレビューする。例えば、監督を減らした学習、完全に教師なしの学習、強化学習などである。
論文 参考訳(メタデータ) (2022-08-30T14:44:41Z) - A Study of Continual Learning Methods for Q-Learning [78.6363825307044]
本稿では、強化学習(RL)シナリオにおける継続学習(CL)手法の使用に関する実証的研究について述べる。
この結果から,専用CL法は「経験的再生」のベースライン手法と比較して学習を著しく改善できることがわかった。
論文 参考訳(メタデータ) (2022-06-08T14:51:52Z) - Self-Supervised Class Incremental Learning [51.62542103481908]
既存のクラスインクリメンタルラーニング(CIL)手法は、データラベルに敏感な教師付き分類フレームワークに基づいている。
新しいクラスデータに基づいて更新する場合、それらは破滅的な忘れがちである。
本稿では,SSCILにおける自己指導型表現学習のパフォーマンスを初めて考察する。
論文 参考訳(メタデータ) (2021-11-18T06:58:19Z) - Generalized Variational Continual Learning [33.194866396158005]
継続的学習の主なアプローチは、オンラインのElastic Weight Consolidationと変分連続学習である。
この修正により、オンラインEWCを制限ケースとして緩和し、2つのアプローチ間のベースラインを確保できることを示す。
VIのオーバープルーニング効果を観測するために、共通マルチタスクアーキテクチャからインスピレーションを得て、タスク固有のFiLM層によるニューラルネットワークを緩和する。
論文 参考訳(メタデータ) (2020-11-24T19:07:39Z) - Continual Learning in Recurrent Neural Networks [67.05499844830231]
リカレントニューラルネットワーク(RNN)を用いた逐次データ処理における連続学習手法の有効性を評価する。
RNNに弾性重み強化などの重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重
そこで本研究では,重み付け手法の性能が処理シーケンスの長さに直接的な影響を受けず,むしろ高動作メモリ要求の影響を受けていることを示す。
論文 参考訳(メタデータ) (2020-06-22T10:05:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。