論文の概要: Effective Decision Boundary Learning for Class Incremental Learning
- arxiv url: http://arxiv.org/abs/2301.05180v1
- Date: Thu, 12 Jan 2023 18:04:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-13 14:02:09.472118
- Title: Effective Decision Boundary Learning for Class Incremental Learning
- Title（参考訳）: 授業増分学習における効果的な意思決定境界学習
- Authors: Kunchi Li, Jun Wan, Shan Yu
- Abstract要約: クラスインクリメンタルラーニング(CIL)におけるリハーサルアプローチは、新しいクラスに過度に適合する決定境界に悩まされる。
これら2つの要因に対処するための,単純かつ効果的なアプローチを提案する。
実験の結果,提案したLはいくつかのCILベンチマークにおいて,最先端の性能を実現していることがわかった。
- 参考スコア（独自算出の注目度）: 13.426495434163234
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Rehearsal approaches in class incremental learning (CIL) suffer from decision
boundary overfitting to new classes, which is mainly caused by two factors:
insufficiency of old classes data for knowledge distillation and imbalanced
data learning between the learned and new classes because of the limited
storage memory. In this work, we present a simple but effective approach to
tackle these two factors. First, we employ a re-sampling strategy and Mixup
K}nowledge D}istillation (Re-MKD) to improve the performances of KD, which
would greatly alleviate the overfitting problem. Specifically, we combine mixup
and re-sampling strategies to synthesize adequate data used in KD training that
are more consistent with the latent distribution between the learned and new
classes. Second, we propose a novel incremental influence balance (IIB) method
for CIL to tackle the classification of imbalanced data by extending the
influence balance method into the CIL setting, which re-weights samples by
their influences to create a proper decision boundary. With these two
improvements, we present the effective decision boundary learning algorithm
(EDBL) which improves the performance of KD and deals with the imbalanced data
learning simultaneously. Experiments show that the proposed EDBL achieves
state-of-the-art performances on several CIL benchmarks.
- Abstract（参考訳）: クラスインクリメンタル学習(cil)におけるリハーサルアプローチは、知識蒸留のための古いクラスデータの不足と、記憶メモリの制限による学習と新しいクラス間の不均衡という2つの要因によって引き起こされる、新しいクラスへの決定境界オーバーフィットに苦しむ。
本稿では,これら2つの要因に取り組むための,単純かつ効果的なアプローチを提案する。
まず,kdの性能を向上させるために,再サンプリング戦略と混合k}nowledge d}istillation (re-mkd) を用いて,過剰充填問題を大幅に軽減した。
具体的には,混合戦略と再サンプリング戦略を組み合わせて,学習クラスと新しいクラス間の潜在分布と一貫性のあるkdトレーニングで使用される適切なデータを合成する。
次に,本手法をcil設定に拡張し,その影響によってサンプルを再重み付けし,適切な決定境界を形成することにより,不均衡データの分類に取り組むための新しいインクリメンタル・インフルエント・バランス(iib)手法を提案する。
これら2つの改善により、KDの性能を改善し、不均衡なデータ学習を同時に扱う効果的な決定境界学習アルゴリズム(EDBL)を提案する。
実験の結果、EDBLはいくつかのCILベンチマークで最先端のパフォーマンスを達成することがわかった。
関連論文リスト
- Speculative Knowledge Distillation: Bridging the Teacher-Student Gap Through Interleaved Sampling [81.00825302340984]
本研究では,高品質なトレーニングデータを生成するために,投機的知識蒸留(SKD)を導入する。
SKDでは、学生はトークンを提案し、教師はそれ自身の分布に基づいて低いランクのトークンを置き換える。
翻訳,要約,数学,指示文など,各種テキスト生成タスクにおけるSKDの評価を行った。
論文 参考訳（メタデータ） (2024-10-15T06:51:25Z) - Controllable Relation Disentanglement for Few-Shot Class-Incremental Learning [82.79371269942146]
本稿では,FewShot Class-Incremental Learning (FSCIL) を新たな視点,すなわち関係の絡み合いから扱うことを提案する。
急激な相関関係を切り離すことの課題は、FSCILの制御性が悪いことである。
我々は、CTRL-FSCIL(Controllable Relation-disentang FewShot Class-Incremental Learning)と呼ばれる、新しいシンプルな効果のある手法を提案する。
論文 参考訳（メタデータ） (2024-03-17T03:16:59Z) - Gradient Reweighting: Towards Imbalanced Class-Incremental Learning [8.438092346233054]
CIL(Class-Incremental Learning)は、非定常データから新しいクラスを継続的に認識するためにモデルを訓練する。
CILの大きな課題は、非一様分布を特徴とする実世界のデータに適用する場合である。
この二重不均衡問題により、FC層に偏りのある勾配更新が生じ、CILの過度/過度な適合と破滅的な忘れが引き起こされる。
論文 参考訳（メタデータ） (2024-02-28T18:08:03Z) - Relaxed Contrastive Learning for Federated Learning [48.96253206661268]
本稿では,フェデレート学習におけるデータ不均一性の課題に対処する,新しいコントラスト学習フレームワークを提案する。
当社のフレームワークは,既存のフェデレート学習アプローチを,標準ベンチマークにおいて大きなマージンで上回ります。
論文 参考訳（メタデータ） (2024-01-10T04:55:24Z) - Comparative Knowledge Distillation [102.35425896967791]
伝統的な知識蒸留(KD)は、頻繁な推論のために教師モデルに容易にアクセスできることを前提としている。
本稿では,教師モデルにおけるサンプルの解釈の微妙な違いを学生モデルに理解させるための比較知識蒸留(CKD)を提案する。
CKDは、アートデータ拡張とKDテクニックの状態を一貫して上回る。
論文 参考訳（メタデータ） (2023-11-03T21:55:33Z) - DualMix: Unleashing the Potential of Data Augmentation for Online
Class-Incremental Learning [14.194817677415065]
その結果,元のデータとの相関が低い拡張サンプルの方が,忘れの防止に有効であることが示唆された。
本稿では,拡張サンプルとラベルを同時に混合する拡張ミックスアップ(EnMix)手法を提案する。
クラス不均衡問題を解決するために、決定境界を調整するための適応混合法(AdpMix)を設計する。
論文 参考訳（メタデータ） (2023-03-14T12:55:42Z) - Weighted Ensemble Self-Supervised Learning [67.24482854208783]
組み立ては、モデルパフォーマンスを高めるための強力なテクニックであることが証明されている。
我々は,データ依存型重み付きクロスエントロピー損失を許容するフレームワークを開発した。
提案手法は、ImageNet-1K上での複数の評価指標において、両者に優れる。
論文 参考訳（メタデータ） (2022-11-18T02:00:17Z) - Exploring Example Influence in Continual Learning [26.85320841575249]
連続学習(CL)は、より良い安定性(S)と塑性(P)を達成することを目的として、人間のような新しいタスクを順次学習する
S と P の影響をトレーニング例で調べるには,SP の改善に向けた学習パターンの改善が期待できる。
本稿では、IFの摂動における2つの重要なステップをシミュレートし、S-およびP-認識の例の影響を得るための、シンプルで効果的なMetaSPアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-09-25T15:17:37Z) - Influence-Balanced Loss for Imbalanced Visual Classification [9.958715010698157]
我々は、バランスの取れたトレーニングフェーズで使われる新たな損失を導き、過度に適合した決定境界の原因となるサンプルの影響を軽減する。
複数のベンチマークデータセットの実験において,提案手法の有効性を実証し,提案手法の損失が最先端のコスト感受性損失法より優れていることを示す。
論文 参考訳（メタデータ） (2021-10-06T01:12:40Z) - MixKD: Towards Efficient Distillation of Large-scale Language Models [129.73786264834894]
データに依存しない蒸留フレームワークであるMixKDを提案する。
妥当な条件下では、MixKDは誤差と経験的誤差の間のギャップを小さくする。
限定的なデータ設定とアブレーションによる実験は、提案手法の利点をさらに証明している。
論文 参考訳（メタデータ） (2020-11-01T18:47:51Z) - Continual Learning with Node-Importance based Adaptive Group Sparse
Regularization [30.23319528662881]
AGS-CL(Adaptive Group Sparsity based Continual Learning)と呼ばれる新しい正規化に基づく連続学習手法を提案する。
提案手法は,各ノードが重要度に基づいて学習する際の2つの罰則を選択的に利用し,各タスクを学習した後に適応的に更新する。
論文 参考訳（メタデータ） (2020-03-30T18:21:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。