論文の概要: Inclusive Training Separation and Implicit Knowledge Interaction for Balanced Online Class-Incremental Learning
- arxiv url: http://arxiv.org/abs/2504.20566v1
- Date: Tue, 29 Apr 2025 09:13:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-02 19:15:54.820584
- Title: Inclusive Training Separation and Implicit Knowledge Interaction for Balanced Online Class-Incremental Learning
- Title（参考訳）: オンライン授業増分学習のための包括的学習分離と暗黙的知識相互作用
- Authors: Shunjie Wen, Thomas Heinis, Dong-Wan Choi,
- Abstract要約: オンラインクラスインクリメンタルラーニング(OCIL)は、シングルパスのデータストリームから新しいクラス(可塑性と呼ばれる)を徐々に学習することに焦点を当てている。
OCILの最大の課題は、古いクラスと新しいクラスの知識のバランスを保つことである。
本稿では,高可塑性と安定性の両立を実現するための新しいリプレイベース手法である Balanced Online Incremental Learning (BOIL) を提案する。
- 参考スコア（独自算出の注目度）: 6.2792786251529575
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Online class-incremental learning (OCIL) focuses on gradually learning new classes (called plasticity) from a stream of data in a single-pass, while concurrently preserving knowledge of previously learned classes (called stability). The primary challenge in OCIL lies in maintaining a good balance between the knowledge of old and new classes within the continually updated model. Most existing methods rely on explicit knowledge interaction through experience replay, and often employ exclusive training separation to address bias problems. Nevertheless, it still remains a big challenge to achieve a well-balanced learner, as these methods often exhibit either reduced plasticity or limited stability due to difficulties in continually integrating knowledge in the OCIL setting. In this paper, we propose a novel replay-based method, called Balanced Online Incremental Learning (BOIL), which can achieve both high plasticity and stability, thus ensuring more balanced performance in OCIL. Our BOIL method proposes an inclusive training separation strategy using dual classifiers so that knowledge from both old and new classes can effectively be integrated into the model, while introducing implicit approaches for transferring knowledge across the two classifiers. Extensive experimental evaluations over three widely-used OCIL benchmark datasets demonstrate the superiority of BOIL, showing more balanced yet better performance compared to state-of-the-art replay-based OCIL methods.
- Abstract（参考訳）: オンライン・クラスインクリメンタル・ラーニング(OCIL)は、学習済みのクラス(安定性と呼ばれる)の知識を同時に保存しながら、単一のパスでデータストリームから新しいクラス(可塑性と呼ばれる)を徐々に学習することに焦点を当てている。
OCILの最大の課題は、継続的に更新されるモデルの中で、古いクラスと新しいクラスの知識のバランスを維持することである。
既存のほとんどの手法は経験的なリプレイを通じて明示的な知識相互作用に依存しており、バイアス問題に対処するために排他的なトレーニング分離を用いることが多い。
しかしながら、これらの手法は、OCIL設定における知識の継続的な統合が困難であるため、可塑性の低下や安定性の制限のいずれかを示すことが多いため、バランスのとれた学習者を達成することは依然として大きな課題である。
本稿では,高可塑性と安定性の両立を実現し,OCILにおけるよりバランスの取れた性能を確保するために,BOILと呼ばれる新しいリプレイベース手法を提案する。
BOIL法では,2つの分類器間で知識を伝達する暗黙的なアプローチを導入しながら,古クラスと新クラスの知識を効果的にモデルに統合できるように,2つの分類器を用いた包括的学習分離戦略を提案する。
広く使用されている3つのOCILベンチマークデータセットに対する大規模な実験的評価は、BOILの優位性を示し、最先端のリプレイベースのOCIL手法と比較して、よりバランスが良く、パフォーマンスが良くなっていることを示している。
関連論文リスト
- DESIRE: Dynamic Knowledge Consolidation for Rehearsal-Free Continual Learning [23.878495627964146]
連続学習は、人間のような以前に学習された知識を保持する能力をモデルに装備することを目的としている。
既存の手法は通常、実験データが事前訓練されたモデルで使用されているという事実によって引き起こされる情報漏洩の問題を見落としている。
本稿では,ロラをベースとした新たなリハーサルフリー手法DESIREを提案する。
論文 参考訳（メタデータ） (2024-11-28T13:54:01Z) - Temporal-Difference Variational Continual Learning [89.32940051152782]
現実世界のアプリケーションにおける機械学習モデルの重要な機能は、新しいタスクを継続的に学習する能力である。
継続的な学習設定では、モデルは以前の知識を保持することで新しいタスクの学習のバランスをとるのに苦労することが多い。
複数の先行推定の正則化効果を統合する新たな学習目標を提案する。
論文 参考訳（メタデータ） (2024-10-10T10:58:41Z) - Strike a Balance in Continual Panoptic Segmentation [60.26892488010291]
既存の知識の安定性と新しい情報への適応性のバランスをとるため,過去クラスのバックトレース蒸留を導入する。
また,リプレイ用サンプルセットのクラス分布と過去のトレーニングデータとの整合性を考慮したクラス比記憶戦略を導入する。
連続パノプティカルバランス(BalConpas)と呼ばれる新しい手法を提案する。
論文 参考訳（メタデータ） (2024-07-23T09:58:20Z) - Gradient Reweighting: Towards Imbalanced Class-Incremental Learning [8.438092346233054]
CIL(Class-Incremental Learning)は、非定常データから新しいクラスを継続的に認識するためにモデルを訓練する。
CILの大きな課題は、非一様分布を特徴とする実世界のデータに適用する場合である。
この二重不均衡問題により、FC層に偏りのある勾配更新が生じ、CILの過度/過度な適合と破滅的な忘れが引き起こされる。
論文 参考訳（メタデータ） (2024-02-28T18:08:03Z) - SRIL: Selective Regularization for Class-Incremental Learning [5.810252620242912]
クラスインクリメンタルラーニングは、この課題を克服するために、可塑性と安定性のバランスをとる統合モデルを作成することを目的としている。
本稿では,従来の知識を維持しつつ,新たな知識を受け入れる選択正規化手法を提案する。
CIFAR-100, ImageNet-Subset, ImageNet-Full を用いて提案手法の有効性を検証する。
論文 参考訳（メタデータ） (2023-05-09T05:04:35Z) - TWINS: A Fine-Tuning Framework for Improved Transferability of
Adversarial Robustness and Generalization [89.54947228958494]
本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。
本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。
TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
論文 参考訳（メタデータ） (2023-03-20T14:12:55Z) - New Insights on Relieving Task-Recency Bias for Online Class Incremental
Learning [37.888061221999294]
あらゆる設定において、オンラインクラスインクリメンタルラーニング(OCIL)はより困難であり、現実世界でより頻繁に遭遇する可能性がある。
安定性と塑性のトレードオフに対処するため,Adaptive Focus Shiftingアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-02-16T11:52:00Z) - Adaptively Integrated Knowledge Distillation and Prediction Uncertainty
for Continual Learning [71.43841235954453]
現在のディープラーニングモデルは、新しい知識を継続的に学習するときに、古い知識を破滅的に忘れることに悩まされることが多い。
この問題を軽減する既存の戦略は、古い知識(安定性)の維持と新しい知識(塑性)の学習のトレードオフを解消することが多い。
論文 参考訳（メタデータ） (2023-01-18T05:36:06Z) - Mitigating Forgetting in Online Continual Learning via Contrasting
Semantically Distinct Augmentations [22.289830907729705]
オンライン連続学習(OCL)は、非定常データストリームからモデル学習を可能とし、新たな知識を継続的に獲得し、学習した知識を維持することを目的としている。
主な課題は、"破滅的な忘れる"問題、すなわち、新しい知識を学習しながら学習した知識を十分に記憶できないことにある。
論文 参考訳（メタデータ） (2022-11-10T05:29:43Z) - Bilevel Continual Learning [76.50127663309604]
BCL(Bilevel Continual Learning)という,継続的学習の新たな枠組みを提案する。
連続学習ベンチマーク実験では,多くの最先端手法と比較して,提案したBCLの有効性が示された。
論文 参考訳（メタデータ） (2020-07-30T16:00:23Z) - Long-Tailed Recognition Using Class-Balanced Experts [128.73438243408393]
本稿では,多様な分類器の強度を組み合わせたクラスバランスの専門家のアンサンブルを提案する。
私たちのクラスバランスの専門家のアンサンブルは、最先端に近い結果に到達し、長い尾の認識のための2つのベンチマークで新たな最先端のアンサンブルを確立します。
論文 参考訳（メタデータ） (2020-04-07T20:57:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。