論文の概要: DualMix: Unleashing the Potential of Data Augmentation for Online Class-Incremental Learning

• arxiv url: http://arxiv.org/abs/2303.07864v1
• Date: Tue, 14 Mar 2023 12:55:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-15 15:02:00.930447
• Title: DualMix: Unleashing the Potential of Data Augmentation for Online Class-Incremental Learning
• Title（参考訳）: DualMix: オンライン授業増分学習におけるデータ強化の可能性
• Authors: Yunfeng Fan, Wenchao Xu, Haozhao Wang, Jiaqi Zhu, Junxiao Wang and Song Guo
• Abstract要約: その結果,元のデータとの相関が低い拡張サンプルの方が,忘れの防止に有効であることが示唆された。 本稿では,拡張サンプルとラベルを同時に混合する拡張ミックスアップ(EnMix)手法を提案する。 クラス不均衡問題を解決するために、決定境界を調整するための適応混合法(AdpMix)を設計する。
• 参考スコア（独自算出の注目度）: 14.194817677415065
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Online Class-Incremental (OCI) learning has sparked new approaches to expand the previously trained model knowledge from sequentially arriving data streams with new classes. Unfortunately, OCI learning can suffer from catastrophic forgetting (CF) as the decision boundaries for old classes can become inaccurate when perturbated by new ones. Existing literature have applied the data augmentation (DA) to alleviate the model forgetting, while the role of DA in OCI has not been well understood so far. In this paper, we theoretically show that augmented samples with lower correlation to the original data are more effective in preventing forgetting. However, aggressive augmentation may also reduce the consistency between data and corresponding labels, which motivates us to exploit proper DA to boost the OCI performance and prevent the CF problem. We propose the Enhanced Mixup (EnMix) method that mixes the augmented samples and their labels simultaneously, which is shown to enhance the sample diversity while maintaining strong consistency with corresponding labels. Further, to solve the class imbalance problem, we design an Adaptive Mixup (AdpMix) method to calibrate the decision boundaries by mixing samples from both old and new classes and dynamically adjusting the label mixing ratio. Our approach is demonstrated to be effective on several benchmark datasets through extensive experiments, and it is shown to be compatible with other replay-based techniques.
• Abstract（参考訳）: オンラインクラスインクリメンタル(OCI)学習は、トレーニング済みのモデル知識を、新しいクラスでシーケンシャルに到着するデータストリームから拡張する、新たなアプローチを生み出した。 残念ながら、OCI学習は、古いクラスの決定境界が新しいクラスによって摂動されると不正確になるため、破滅的な忘れ(CF)に悩まされる可能性がある。 既存の文献では、OCIにおけるDAの役割はよく理解されていないが、モデル忘れを緩和するためにデータ拡張(DA)を適用している。 本稿では,元のデータとの相関が小さい拡張サンプルが,忘れ防止に有効であることを理論的に示す。 しかし、アグレッシブな拡張はまた、データと対応するラベル間の一貫性を低下させる可能性があるため、適切なDAを利用してOCI性能を高め、CF問題を防止する動機となる。 本稿では,拡張されたサンプルとラベルを同時に混合するenmix(enmix)法を提案する。 さらに、クラス不均衡問題を解決するために、古いクラスと新しいクラスの両方からサンプルを混合し、ラベル混合比を動的に調整することで、決定境界を校正する適応的ミックスアップ(adpmix)法を設計する。 提案手法は,広範囲な実験を通じて,複数のベンチマークデータセットに対して有効であることが実証され,他のリプレイ手法と互換性があることが示されている。

関連論文リスト

• SoftMatch: Addressing the Quantity-Quality Trade-off in Semi-supervised Learning [101.86916775218403]
  本稿では, サンプル重み付けを統一した定式化により, 一般的な擬似ラベル法を再検討する。 トレーニング中の擬似ラベルの量と質を両立させることでトレードオフを克服するSoftMatchを提案する。 実験では、画像、テキスト、不均衡な分類など、さまざまなベンチマークで大幅に改善されている。
  論文  参考訳（メタデータ） (2023-01-26T03:53:25Z)
• Effective Decision Boundary Learning for Class Incremental Learning [13.426495434163234]
  クラスインクリメンタルラーニング(CIL)におけるリハーサルアプローチは、新しいクラスに過度に適合する決定境界に悩まされる。 これら2つの要因に対処するための,単純かつ効果的なアプローチを提案する。 実験の結果,提案したLはいくつかのCILベンチマークにおいて,最先端の性能を実現していることがわかった。
  論文  参考訳（メタデータ） (2023-01-12T18:04:51Z)
• Intra-class Adaptive Augmentation with Neighbor Correction for Deep Metric Learning [99.14132861655223]
  深層学習のためのクラス内適応拡張(IAA)フレームワークを提案する。 クラスごとのクラス内変動を合理的に推定し, 適応型合成試料を生成し, 硬質試料の採掘を支援する。 本手法は,検索性能の最先端手法を3%～6%向上させる。
  論文  参考訳（メタデータ） (2022-11-29T14:52:38Z)
• Mitigating Forgetting in Online Continual Learning via Contrasting Semantically Distinct Augmentations [22.289830907729705]
  オンライン連続学習(OCL)は、非定常データストリームからモデル学習を可能とし、新たな知識を継続的に獲得し、学習した知識を維持することを目的としている。 主な課題は、"破滅的な忘れる"問題、すなわち、新しい知識を学習しながら学習した知識を十分に記憶できないことにある。
  論文  参考訳（メタデータ） (2022-11-10T05:29:43Z)
• Decoupled Mixup for Data-efficient Learning [49.50661785259908]
  本稿では, 差別的特徴を適応的にマイニングし, 滑らかさを損なうことなく, 分離混合損失(DM損失)を提案する。 DMは、計算オーバーヘッドの重い処理を回避しつつ、動的手法で同等のパフォーマンスを実現することができる。
  論文  参考訳（メタデータ） (2022-03-21T07:12:18Z)
• MixRL: Data Mixing Augmentation for Regression using Reinforcement Learning [2.1345682889327837]
  データ拡張のための既存のテクニックは、主に分類タスクに焦点を当てており、回帰タスクに簡単には適用できない。 その結果,大容量データとラベル距離の混合がモデル性能に悪影響を及ぼす可能性が示唆された。 そこで本研究では,データ拡張メタ学習フレームワークであるMixRLを提案する。
  論文  参考訳（メタデータ） (2021-06-07T07:01:39Z)
• Contrastive Model Inversion for Data-Free Knowledge Distillation [60.08025054715192]
  そこで、データ多様性を最適化可能な目的として明示的にモデル化するContrastive Model Inversionを提案します。 我々の主な観察では、同じ量のデータの制約の下では、高いデータの多様性は、通常より強いインスタンス識別を示す。 CIFAR-10, CIFAR-100, Tiny-ImageNetを用いた実験により, 生成したデータを知識蒸留に使用する場合, CMIは極めて優れた性能を示すことが示された。
  論文  参考訳（メタデータ） (2021-05-18T15:13:00Z)
• Semi-supervised Long-tailed Recognition using Alternate Sampling [95.93760490301395]
  ロングテール認識の主な課題は、データ分布の不均衡とテールクラスにおけるサンプル不足である。 半教師付き長尾認識という新しい認識設定を提案する。 2つのデータセットで、他の競合方法よりも大幅な精度向上を実証します。
  論文  参考訳（メタデータ） (2021-05-01T00:43:38Z)
• MixKD: Towards Efficient Distillation of Large-scale Language Models [129.73786264834894]
  データに依存しない蒸留フレームワークであるMixKDを提案する。 妥当な条件下では、MixKDは誤差と経験的誤差の間のギャップを小さくする。 限定的なデータ設定とアブレーションによる実験は、提案手法の利点をさらに証明している。
  論文  参考訳（メタデータ） (2020-11-01T18:47:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。