論文の概要: DualMix: Unleashing the Potential of Data Augmentation for Online
Class-Incremental Learning
- arxiv url: http://arxiv.org/abs/2303.07864v1
- Date: Tue, 14 Mar 2023 12:55:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-15 15:02:00.930447
- Title: DualMix: Unleashing the Potential of Data Augmentation for Online
Class-Incremental Learning
- Title（参考訳）: DualMix: オンライン授業増分学習におけるデータ強化の可能性
- Authors: Yunfeng Fan, Wenchao Xu, Haozhao Wang, Jiaqi Zhu, Junxiao Wang and
Song Guo
- Abstract要約: その結果,元のデータとの相関が低い拡張サンプルの方が,忘れの防止に有効であることが示唆された。
本稿では,拡張サンプルとラベルを同時に混合する拡張ミックスアップ(EnMix)手法を提案する。
クラス不均衡問題を解決するために、決定境界を調整するための適応混合法(AdpMix)を設計する。
- 参考スコア（独自算出の注目度）: 14.194817677415065
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Online Class-Incremental (OCI) learning has sparked new approaches to expand
the previously trained model knowledge from sequentially arriving data streams
with new classes. Unfortunately, OCI learning can suffer from catastrophic
forgetting (CF) as the decision boundaries for old classes can become
inaccurate when perturbated by new ones. Existing literature have applied the
data augmentation (DA) to alleviate the model forgetting, while the role of DA
in OCI has not been well understood so far. In this paper, we theoretically
show that augmented samples with lower correlation to the original data are
more effective in preventing forgetting. However, aggressive augmentation may
also reduce the consistency between data and corresponding labels, which
motivates us to exploit proper DA to boost the OCI performance and prevent the
CF problem. We propose the Enhanced Mixup (EnMix) method that mixes the
augmented samples and their labels simultaneously, which is shown to enhance
the sample diversity while maintaining strong consistency with corresponding
labels. Further, to solve the class imbalance problem, we design an Adaptive
Mixup (AdpMix) method to calibrate the decision boundaries by mixing samples
from both old and new classes and dynamically adjusting the label mixing ratio.
Our approach is demonstrated to be effective on several benchmark datasets
through extensive experiments, and it is shown to be compatible with other
replay-based techniques.
- Abstract（参考訳）: オンラインクラスインクリメンタル(OCI)学習は、トレーニング済みのモデル知識を、新しいクラスでシーケンシャルに到着するデータストリームから拡張する、新たなアプローチを生み出した。
残念ながら、OCI学習は、古いクラスの決定境界が新しいクラスによって摂動されると不正確になるため、破滅的な忘れ(CF)に悩まされる可能性がある。
既存の文献では、OCIにおけるDAの役割はよく理解されていないが、モデル忘れを緩和するためにデータ拡張(DA)を適用している。
本稿では,元のデータとの相関が小さい拡張サンプルが,忘れ防止に有効であることを理論的に示す。
しかし、アグレッシブな拡張はまた、データと対応するラベル間の一貫性を低下させる可能性があるため、適切なDAを利用してOCI性能を高め、CF問題を防止する動機となる。
本稿では,拡張されたサンプルとラベルを同時に混合するenmix(enmix)法を提案する。
さらに、クラス不均衡問題を解決するために、古いクラスと新しいクラスの両方からサンプルを混合し、ラベル混合比を動的に調整することで、決定境界を校正する適応的ミックスアップ(adpmix)法を設計する。
提案手法は,広範囲な実験を通じて,複数のベンチマークデータセットに対して有効であることが実証され,他のリプレイ手法と互換性があることが示されている。
関連論文リスト
- Mix from Failure: Confusion-Pairing Mixup for Long-Tailed Recognition [14.009773753739282]
ロングテール画像認識は、人工的な制服ではなく、現実世界のクラス分布を考慮した問題である。
本稿では,マイノリティクラスにおけるサンプルの多様性を高めるために,トレーニングデータセットの強化という,異なる観点からの問題に取り組む。
本手法,すなわち Confusion-Pairing Mixup (CP-Mix) は,モデルの混乱分布を推定し,データ不足問題に対処する。
論文 参考訳（メタデータ） (2024-11-12T08:08:31Z) - PairCFR: Enhancing Model Training on Paired Counterfactually Augmented Data through Contrastive Learning [49.60634126342945]
Counterfactually Augmented Data (CAD)は、既存のデータサンプルのラベルを他のクラスに戻すのに、最小限かつ十分な修正を適用することで、新しいデータサンプルを作成する。
近年の研究では、CADを用いたトレーニングが、他の重要な文脈情報を無視しながら、モデルが修正機能に過度にフォーカスする可能性があることが示されている。
我々は、対実的手がかりの学習に加えて、グローバルな特徴アライメントを促進するために、対照的な学習を採用する。
論文 参考訳（メタデータ） (2024-06-09T07:29:55Z) - Data-Free Federated Class Incremental Learning with Diffusion-Based Generative Memory [27.651921957220004]
拡散型生成メモリ(DFedDGM)を用いた新しいデータフリーフェデレーションクラスインクリメンタルラーニングフレームワークを提案する。
FLにおける一般の非IID問題を軽減するために拡散モデルの訓練を支援するために,新しいバランスの取れたサンプルを設計する。
また、情報理論の観点からエントロピーに基づくサンプルフィルタリング手法を導入し、生成サンプルの品質を向上させる。
論文 参考訳（メタデータ） (2024-05-22T20:59:18Z) - Tailoring Mixup to Data for Calibration [12.050401897136501]
Mixupはキャリブレーションと予測の不確実性を改善する技術である。
この研究では、データ間の距離が混合されるにつれて、多様体の侵入の可能性が増加することを論じる。
本研究では, 混合する試料間の類似度に応じて, 係数の基底分布を動的に変化させることを提案する。
論文 参考訳（メタデータ） (2023-11-02T17:48:28Z) - Self-Evolution Learning for Mixup: Enhance Data Augmentation on Few-Shot
Text Classification Tasks [75.42002070547267]
テキスト分類におけるデータ拡張のための自己進化学習(SE)に基づくミックスアップ手法を提案する。
モデル出力と原サンプルの1つのホットラベルを線形に補間して,新しい軟質なラベル混在を生成する,新しいインスタンス固有ラベル平滑化手法を提案する。
論文 参考訳（メタデータ） (2023-05-22T23:43:23Z) - SoftMatch: Addressing the Quantity-Quality Trade-off in Semi-supervised
Learning [101.86916775218403]
本稿では, サンプル重み付けを統一した定式化により, 一般的な擬似ラベル法を再検討する。
トレーニング中の擬似ラベルの量と質を両立させることでトレードオフを克服するSoftMatchを提案する。
実験では、画像、テキスト、不均衡な分類など、さまざまなベンチマークで大幅に改善されている。
論文 参考訳（メタデータ） (2023-01-26T03:53:25Z) - Effective Decision Boundary Learning for Class Incremental Learning [17.716035569936384]
クラスインクリメンタルラーニング(CIL)におけるリハーサルアプローチは、新しいクラスに過度に適合する決定境界に悩まされる。
これら2つの要因に対処するための,単純かつ効果的なアプローチを提案する。
実験の結果,提案したLはいくつかのCILベンチマークにおいて,最先端の性能を実現していることがわかった。
論文 参考訳（メタデータ） (2023-01-12T18:04:51Z) - Mitigating Forgetting in Online Continual Learning via Contrasting
Semantically Distinct Augmentations [22.289830907729705]
オンライン連続学習(OCL)は、非定常データストリームからモデル学習を可能とし、新たな知識を継続的に獲得し、学習した知識を維持することを目的としている。
主な課題は、"破滅的な忘れる"問題、すなわち、新しい知識を学習しながら学習した知識を十分に記憶できないことにある。
論文 参考訳（メタデータ） (2022-11-10T05:29:43Z) - Harnessing Hard Mixed Samples with Decoupled Regularizer [69.98746081734441]
Mixupは、決定境界を混合データで滑らかにすることで、ニューラルネットワークの一般化を改善する効率的なデータ拡張アプローチである。
本稿では,非結合型正規化器(Decoupled Mixup, DM)を用いた効率的な混合目標関数を提案する。
DMは、ミキシングの本来の滑らかさを損なうことなく、硬質混合試料を適応的に利用して識別特性をマイニングすることができる。
論文 参考訳（メタデータ） (2022-03-21T07:12:18Z) - Semi-supervised Long-tailed Recognition using Alternate Sampling [95.93760490301395]
ロングテール認識の主な課題は、データ分布の不均衡とテールクラスにおけるサンプル不足である。
半教師付き長尾認識という新しい認識設定を提案する。
2つのデータセットで、他の競合方法よりも大幅な精度向上を実証します。
論文 参考訳（メタデータ） (2021-05-01T00:43:38Z) - MixKD: Towards Efficient Distillation of Large-scale Language Models [129.73786264834894]
データに依存しない蒸留フレームワークであるMixKDを提案する。
妥当な条件下では、MixKDは誤差と経験的誤差の間のギャップを小さくする。
限定的なデータ設定とアブレーションによる実験は、提案手法の利点をさらに証明している。
論文 参考訳（メタデータ） (2020-11-01T18:47:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。