論文の概要: DELTA: Decoupling Long-Tailed Online Continual Learning

• arxiv url: http://arxiv.org/abs/2404.04476v1
• Date: Sat, 6 Apr 2024 02:33:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-09 21:08:32.777969
• Title: DELTA: Decoupling Long-Tailed Online Continual Learning
• Title（参考訳）: DELTA: 長期オンライン学習の分離
• Authors: Siddeshwar Raghavan, Jiangpeng He, Fengqing Zhu,
• Abstract要約: Long-Tailed Online Continual Learning (LTOCL)は、クラス不均衡なデータストリームのシーケンシャルな到着から新しいタスクを学ぶことを目的としている。 DELTAは,学習表現の強化を目的とした非結合型学習手法である。 我々は,DELTAが既存のOCL手法を超越して,インクリメンタル学習の能力を向上させることを実証した。
• 参考スコア（独自算出の注目度）: 7.507868991415516
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A significant challenge in achieving ubiquitous Artificial Intelligence is the limited ability of models to rapidly learn new information in real-world scenarios where data follows long-tailed distributions, all while avoiding forgetting previously acquired knowledge. In this work, we study the under-explored problem of Long-Tailed Online Continual Learning (LTOCL), which aims to learn new tasks from sequentially arriving class-imbalanced data streams. Each data is observed only once for training without knowing the task data distribution. We present DELTA, a decoupled learning approach designed to enhance learning representations and address the substantial imbalance in LTOCL. We enhance the learning process by adapting supervised contrastive learning to attract similar samples and repel dissimilar (out-of-class) samples. Further, by balancing gradients during training using an equalization loss, DELTA significantly enhances learning outcomes and successfully mitigates catastrophic forgetting. Through extensive evaluation, we demonstrate that DELTA improves the capacity for incremental learning, surpassing existing OCL methods. Our results suggest considerable promise for applying OCL in real-world applications.
• Abstract（参考訳）: ユビキタス人工知能を実現する上で重要な課題は、データが長い尾の分布に従う現実のシナリオにおいて、モデルが新しい情報を素早く学習する能力に制限があることだ。 本研究では,LTOCL(Long-Tailed Online Continual Learning)の未探索問題について検討する。 各データは、タスクデータ分布を知らずに、トレーニングのために一度だけ観察される。 DELTAは,学習表現の強化とLTOCLの実質的不均衡に対応するために設計された非結合型学習手法である。 我々は、教師付きコントラスト学習に適応して、類似したサンプルを引きつけ、異種(クラス外)サンプルを撃退することで、学習プロセスを強化する。 さらに、等化損失を用いたトレーニング中の勾配のバランスをとることにより、DELTAは学習結果を著しく向上させ、破滅的な忘れを軽減できる。 広範に評価することで、DELTAは既存のOCL手法を超越して、インクリメンタルラーニングの能力を向上させることを示した。 この結果から,OCLを実世界のアプリケーションに適用する可能性が示唆された。

関連論文リスト

• Streamlined Federated Unlearning: Unite as One to Be Highly Efficient [12.467630082668254]
  「忘れられる権利」法や規制は、連邦学習(FL)に新たなプライバシー要件を課している。 本研究では,モデルの性能を劣化することなく保持データに保存しながら,対象データの影響を効果的に除去することを目的とした,合理化アンラーニング手法を提案する。
  論文  参考訳（メタデータ） (2024-11-28T12:52:48Z)
• Multi-Stage Knowledge Integration of Vision-Language Models for Continual Learning [79.46570165281084]
  蒸留法における人間の学習過程をエミュレートするマルチステージ知識統合ネットワーク(MulKI)を提案する。 Mulkiは、イデオロギーの排除、新しいイデオロギーの追加、イデオロギーの排除、コネクティクスの作りという4つの段階を通じてこれを達成している。 提案手法は,下流タスク間の連続学習をサポートしながら,ゼロショット能力の維持における大幅な改善を示す。
  論文  参考訳（メタデータ） (2024-11-11T07:36:19Z)
• Temporal-Difference Variational Continual Learning [89.32940051152782]
  現実世界のアプリケーションにおける機械学習モデルの重要な機能は、新しいタスクを継続的に学習する能力である。 継続的な学習設定では、モデルは以前の知識を保持することで新しいタスクの学習のバランスをとるのに苦労することが多い。 複数の先行推定の正則化効果を統合する新たな学習目標を提案する。
  論文  参考訳（メタデータ） (2024-10-10T10:58:41Z)
• Mind the Interference: Retaining Pre-trained Knowledge in Parameter Efficient Continual Learning of Vision-Language Models [79.28821338925947]
  ドメインクラスのインクリメンタル学習は現実的だが、継続的な学習シナリオである。 これらの多様なタスクに対処するために、事前訓練されたビジョンランゲージモデル(VLM)を導入し、その強力な一般化性を実現する。 事前訓練されたVLMにエンコードされた知識は、新しいタスクに適応する際に妨げられ、固有のゼロショット能力を損なう。 既存の手法では、膨大なオーバーヘッドを必要とする余分なデータセットに知識蒸留でVLMをチューニングすることで、この問題に対処している。 我々は、事前学習した知識を保持できるDIKI(Distributed-Aware Interference-free Knowledge Integration)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-07T12:19:37Z)
• What Makes CLIP More Robust to Long-Tailed Pre-Training Data? A Controlled Study for Transferable Insights [67.72413262980272]
  大規模なデータ不均衡は、Webスケールの視覚言語データセットの間に自然に存在する。 事前学習したCLIPは、教師付き学習と比較してデータ不均衡に顕著な堅牢性を示す。 CLIPの堅牢性と差別性は、より記述的な言語監督、より大きなデータスケール、より広いオープンワールドの概念によって改善される。
  論文  参考訳（メタデータ） (2024-05-31T17:57:24Z)
• CEM: A Data-Efficient Method for Large Language Models to Continue Evolving From Mistakes [36.14056870453356]
  大きな言語モデルを維持し、その欠点に対処するためには、継続的な学習が不可欠です。 本稿では,CPTデータ収集を目的としたデータ効率の高い手法であるCEM法を提案する。 実験の結果、CEMはドメイン内QAタスクとドメイン外QAタスクの両方で複数のモデルの性能を大幅に向上させ、最大29.63%のゲインを達成している。
  論文  参考訳（メタデータ） (2024-04-11T17:44:56Z)
• Kaizen: Practical Self-supervised Continual Learning with Continual Fine-tuning [21.36130180647864]
  モデルをスクラッチからトレーニングして、新たに生成されたデータに適応することは、時間がかかり非効率である。 破滅的な忘れを軽減できるトレーニングアーキテクチャを導入します。 Kaizenは、競争力のあるビジョンベンチマークにおいて、以前のSSLモデルを大きく上回っている。
  論文  参考訳（メタデータ） (2023-03-30T09:08:57Z)
• Mitigating Forgetting in Online Continual Learning via Contrasting Semantically Distinct Augmentations [22.289830907729705]
  オンライン連続学習(OCL)は、非定常データストリームからモデル学習を可能とし、新たな知識を継続的に獲得し、学習した知識を維持することを目的としている。 主な課題は、"破滅的な忘れる"問題、すなわち、新しい知識を学習しながら学習した知識を十分に記憶できないことにある。
  論文  参考訳（メタデータ） (2022-11-10T05:29:43Z)
• Online Continual Learning with Natural Distribution Shifts: An Empirical Study with Visual Data [101.6195176510611]
  オンライン」連続学習は、情報保持とオンライン学習の有効性の両方を評価することができる。 オンライン連続学習では、入力される各小さなデータをまずテストに使用し、次にトレーニングセットに追加し、真にオンラインにします。 本稿では,大規模かつ自然な分布変化を示すオンライン連続視覚学習のための新しいベンチマークを提案する。
  論文  参考訳（メタデータ） (2021-08-20T06:17:20Z)
• Bilevel Continual Learning [76.50127663309604]
  BCL(Bilevel Continual Learning)という,継続的学習の新たな枠組みを提案する。 連続学習ベンチマーク実験では,多くの最先端手法と比較して,提案したBCLの有効性が示された。
  論文  参考訳（メタデータ） (2020-07-30T16:00:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。