論文の概要: Density Distribution-based Learning Framework for Addressing Online
Continual Learning Challenges
- arxiv url: http://arxiv.org/abs/2311.13623v1
- Date: Wed, 22 Nov 2023 09:21:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-28 01:49:46.861763
- Title: Density Distribution-based Learning Framework for Addressing Online
Continual Learning Challenges
- Title(参考訳): オンライン連続学習課題に対する密度分布型学習フレームワーク
- Authors: Shilin Zhang, Jiahui Wang
- Abstract要約: オンライン連続学習のための密度分布に基づく学習フレームワークを提案する。
我々のフレームワークは、より優れた平均精度と時間空間効率を実現する。
提案手法は, CL のアプローチにおいて, 有意な差で優れる。
- 参考スコア(独自算出の注目度): 4.715630709185073
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we address the challenges of online Continual Learning (CL) by
introducing a density distribution-based learning framework. CL, especially the
Class Incremental Learning, enables adaptation to new test distributions while
continuously learning from a single-pass training data stream, which is more in
line with the practical application requirements of real-world scenarios.
However, existing CL methods often suffer from catastrophic forgetting and
higher computing costs due to complex algorithm designs, limiting their
practical use. Our proposed framework overcomes these limitations by achieving
superior average accuracy and time-space efficiency, bridging the performance
gap between CL and classical machine learning. Specifically, we adopt an
independent Generative Kernel Density Estimation (GKDE) model for each CL task.
During the testing stage, the GKDEs utilize a self-reported max probability
density value to determine which one is responsible for predicting incoming
test instances. A GKDE-based learning objective can ensure that samples with
the same label are grouped together, while dissimilar instances are pushed
farther apart. Extensive experiments conducted on multiple CL datasets validate
the effectiveness of our proposed framework. Our method outperforms popular CL
approaches by a significant margin, while maintaining competitive time-space
efficiency, making our framework suitable for real-world applications. Code
will be available at https://github.com/xxxx/xxxx.
- Abstract(参考訳): 本稿では,密度分布に基づく学習フレームワークを導入することで,オンライン連続学習(CL)の課題に対処する。
CL、特にClass Incremental Learningは、単一のパストレーニングデータストリームから継続的に学習しながら、新しいテストディストリビューションへの適応を可能にする。
しかし、既存のCL手法は複雑なアルゴリズム設計のため、悲惨な忘れ込みと高い計算コストに悩まされ、その実用性は制限される。
提案するフレームワークは,CLと古典機械学習のパフォーマンスギャップを埋めることにより,平均精度と時間空間効率を向上することで,これらの制限を克服する。
具体的には、CLタスク毎に独立な生成カーネル密度推定(GKDE)モデルを採用する。
テスト段階では、GKDEは自己報告された最大確率密度値を使用して、入ってくるテストインスタンスの予測に責任があるかを判断する。
GKDEベースの学習目標により、同じラベルを持つサンプルがグループ化され、異種インスタンスはより遠くにプッシュされる。
複数のCLデータセットに対して行った大規模な実験により,提案フレームワークの有効性が検証された。
提案手法は,競合する時間空間効率を保ちながら,一般的なCL手法よりも優れた性能を示し,実世界のアプリケーションに適したフレームワークである。
コードはhttps://github.com/xxxx/xxxxで入手できる。
関連論文リスト
- A Hard-to-Beat Baseline for Training-free CLIP-based Adaptation [121.0693322732454]
対照的に、CLIP(Contrastive Language- Image Pretraining)はその目覚ましいゼロショット能力で人気を集めている。
近年の研究では、下流タスクにおけるCLIPの性能を高めるための効率的な微調整手法の開発に焦点が当てられている。
従来のアルゴリズムであるガウス判別分析(GDA)を再検討し,CLIPの下流分類に適用する。
論文 参考訳(メタデータ) (2024-02-06T15:45:27Z) - Towards Realistic Unsupervised Fine-tuning with CLIP [108.45391206730402]
我々はUniversal Entropy Optimization(UEO)と呼ばれるシンプルで効率的で効果的な微調整手法を提案する。
UEOはサンプルレベルの信頼を利用して、信頼性の低いインスタンスの条件エントロピーを最小化し、信頼性の低いインスタンスの限界エントロピーを最大化する。
UEOは一般化とアウト・オブ・ディストリビューション検出の両方の観点から,ベースライン法を超越していることを示す。
論文 参考訳(メタデータ) (2023-08-24T16:47:17Z) - Computationally Budgeted Continual Learning: What Does Matter? [128.0827987414154]
CL (Continuous Learning) は、新しいデータに適応しながら、以前の知識を保存し、分布の異なる入力データのストリーム上でモデルを逐次訓練することを目的としている。
現在のCL文献では、以前のデータへのアクセス制限に焦点が当てられているが、トレーニングの計算予算に制約は課されていない。
本稿では,この問題を大規模ベンチマークで再検討し,計算制約条件下での従来のCL手法の性能解析を行う。
論文 参考訳(メタデータ) (2023-03-20T14:50:27Z) - From MNIST to ImageNet and Back: Benchmarking Continual Curriculum
Learning [9.104068727716294]
継続学習(CL)は、機械学習研究で最も有望なトレンドの1つである。
6つの画像データセットから複数の異種タスクを含む2つの新しいCLベンチマークを導入する。
さらに、タスクが複雑化と減少の順序で表されるように、ベンチマークを構造化します。
論文 参考訳(メタデータ) (2023-03-16T18:11:19Z) - Real-Time Evaluation in Online Continual Learning: A New Hope [104.53052316526546]
計算コストに関して,現在の継続学習(CL)手法を評価した。
簡単なベースラインは、この評価の下で最先端のCL法より優れている。
これは、既存のCL文献の大部分は、実用的でない特定の種類のストリームに適合していることを驚くほど示唆している。
論文 参考訳(メタデータ) (2023-02-02T12:21:10Z) - CLIPood: Generalizing CLIP to Out-of-Distributions [73.86353105017076]
対照的に、CLIP(Language-image Pre-training)モデルでは、印象的なゼロショット能力を示しているが、下流タスクにおけるCLIPのさらなる適応は、OODのパフォーマンスを好ましくない劣化させる。
ドメインシフトとオープンクラスの両方が見えないテストデータ上で発生する可能性があるOOD状況にCLIPモデルを適用するための微調整手法であるCLIPoodを提案する。
さまざまなOODシナリオによるさまざまなデータセットの実験は、CLIPoodが既存の一般化テクニックを一貫して上回っていることを示している。
論文 参考訳(メタデータ) (2023-02-02T04:27:54Z) - Complementary Labels Learning with Augmented Classes [22.460256396941528]
補完ラベル学習 (Complementary Labels Learning, CLL) は、プライベート質問分類やオンライン学習など、現実世界の多くのタスクに現れる。
CLLAC(Complementary Labels Learning with Augmented Classs)と呼ばれる新しい問題設定を提案する。
ラベルのないデータを用いて,CLLACの分類リスクの偏りのない推定手法を提案する。
論文 参考訳(メタデータ) (2022-11-19T13:55:27Z) - The CLEAR Benchmark: Continual LEArning on Real-World Imagery [77.98377088698984]
連続学習(CL)は、生涯AIにとって重要な課題であると考えられている。
本稿では,視覚概念の自然な時間進化を伴う最初の連続画像分類ベンチマークであるCLEARを紹介する。
単純な教師なし事前学習のステップで、最先端のCLアルゴリズムがすでに強化されていることが分かりました。
論文 参考訳(メタデータ) (2022-01-17T09:09:09Z) - Continual Learning for Recurrent Neural Networks: a Review and Empirical
Evaluation [12.27992745065497]
リカレントニューラルネットワークによる連続学習は、受信データが定常的でない多数のアプリケーションへの道を開くことができる。
コントリビューションの分類とベンチマークのレビューを提供することで、シーケンシャルデータ処理のためのCLに関する文献を整理します。
我々は既存のデータセットに基づくシーケンシャルデータを持つclの新しいベンチマークを2つ提案する。
論文 参考訳(メタデータ) (2021-03-12T19:25:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。