論文の概要: Class-Incremental Learning with Repetition
- arxiv url: http://arxiv.org/abs/2301.11396v1
- Date: Thu, 26 Jan 2023 20:19:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-30 17:16:12.229598
- Title: Class-Incremental Learning with Repetition
- Title（参考訳）: 繰り返しを伴う授業実践学習
- Authors: Hamed Hemati, Andrea Cossu, Antonio Carta, Julio Hurtado, Lorenzo
Pellegrini, Davide Bacciu, Vincenzo Lomonaco, Damian Borth
- Abstract要約: 実世界のデータストリームは、自然に以前の概念の繰り返しを含む。
継続学習(CL)の観点からは、反復は環境の特性であり、リプレイとは異なり、ユーザは制御できない。
本稿では,繰り返しを生かし,ストリームに存在する自然の不均衡に対処する新しいリプレイ戦略を提案する。
- 参考スコア（独自算出の注目度）: 17.89286445250716
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Real-world data streams naturally include the repetition of previous
concepts. From a Continual Learning (CL) perspective, repetition is a property
of the environment and, unlike replay, cannot be controlled by the user.
Nowadays, Class-Incremental scenarios represent the leading test-bed for
assessing and comparing CL strategies. This family of scenarios is very easy to
use, but it never allows revisiting previously seen classes, thus completely
disregarding the role of repetition. We focus on the family of
Class-Incremental with Repetition (CIR) scenarios, where repetition is embedded
in the definition of the stream. We propose two stochastic scenario generators
that produce a wide range of CIR scenarios starting from a single dataset and a
few control parameters. We conduct the first comprehensive evaluation of
repetition in CL by studying the behavior of existing CL strategies under
different CIR scenarios. We then present a novel replay strategy that exploits
repetition and counteracts the natural imbalance present in the stream. On both
CIFAR100 and TinyImageNet, our strategy outperforms other replay approaches,
which are not designed for environments with repetition.
- Abstract（参考訳）: 実世界のデータストリームは、自然に以前の概念の繰り返しを含む。
連続学習(cl)の観点からは、反復は環境の特性であり、リプレイとは異なり、ユーザーによって制御できない。
現在、クラスインクリメンタルシナリオはcl戦略の評価と比較のための主要なテストベッドである。
このシナリオのファミリーは非常に簡単に使えるが、これまで見てきたクラスを再考することは許されず、繰り返しの役割を完全に無視する。
繰り返しがストリームの定義に埋め込まれた繰り返し(cir)シナリオによるクラスインクリメンタルのファミリーに注目します。
本稿では,1つのデータセットといくつかの制御パラメータから,幅広いCIRシナリオを生成する確率シナリオ生成器を提案する。
異なるcirシナリオにおける既存のcl戦略の挙動を調べることにより,clにおける反復の包括的評価を行う。
次に,繰り返しを活用し,ストリームに存在する自然な不均衡を相殺する,新たなリプレイ戦略を提案する。
cifar100とtinyimagenetの両方において、当社の戦略は他のリプレイアプローチよりも優れています。
関連論文リスト
- Continual Learning in the Presence of Repetition [29.03044158045849]
継続的学習(CL)は、絶え間なく進化する環境でモデルをトレーニングするためのフレームワークを提供する。
データストリームにおける繰り返しの概念は、CLの標準ベンチマークではよく考慮されない。
本稿では,CVPR 2023におけるCLVisionチャレンジの要約を紹介する。
論文 参考訳（メタデータ） (2024-05-07T08:15:48Z) - Continual Referring Expression Comprehension via Dual Modular
Memorization [133.46886428655426]
Referring Expression (REC) は、自然言語で記述された対象のイメージ領域をローカライズすることを目的としている。
既存のRECアルゴリズムは、モデルへのデータ供給のトレーニングを前もって行うと強く仮定する。
本稿では、入ってくるタスクのストリーム上でモデルが学習するRECの新しい設定である連続参照表現(CREC)を提案する。
学習済みの知識を忘れずに,スクラッチから繰り返し再学習することなく,逐次的タスクのモデルを継続的に改善するために,デュアルモジュール記憶法という効果的なベースライン手法を提案する。
論文 参考訳（メタデータ） (2023-11-25T02:58:51Z) - Efficient Curriculum based Continual Learning with Informative Subset
Selection for Remote Sensing Scene Classification [27.456319725214474]
光リモートセンシング(RS)画像からランドカバー分類の領域におけるクラスインクリメンタルラーニング(CIL)の問題に取り組む。
本稿では,最近のリプレイメモリ方式の成功に触発された新しいCILフレームワークを提案する。
論文 参考訳（メタデータ） (2023-09-03T01:25:40Z) - RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。
本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
論文 参考訳（メタデータ） (2023-07-05T12:49:02Z) - Mitigating Catastrophic Forgetting in Task-Incremental Continual
Learning with Adaptive Classification Criterion [50.03041373044267]
本稿では,継続的学習のための適応型分類基準を用いた教師付きコントラスト学習フレームワークを提案する。
実験により, CFLは最先端の性能を達成し, 分類基準に比べて克服する能力が強いことが示された。
論文 参考訳（メタデータ） (2023-05-20T19:22:40Z) - PCR: Proxy-based Contrastive Replay for Online Class-Incremental
Continual Learning [16.67238259139417]
既存のリプレイベースのメソッドは、プロキシベースのあるいはコントラストベースのリプレイ方式で古いデータの一部を保存し、再生することで、この問題を効果的に緩和する。
プロキシベースコントラストリプレイ(PCR)と呼ばれる新しいリプレイ方式を提案する。
論文 参考訳（メタデータ） (2023-04-10T06:35:19Z) - Real-Time Evaluation in Online Continual Learning: A New Hope [104.53052316526546]
計算コストに関して,現在の継続学習(CL)手法を評価した。
簡単なベースラインは、この評価の下で最先端のCL法より優れている。
これは、既存のCL文献の大部分は、実用的でない特定の種類のストリームに適合していることを驚くほど示唆している。
論文 参考訳（メタデータ） (2023-02-02T12:21:10Z) - On Continual Model Refinement in Out-of-Distribution Data Streams [64.62569873799096]
現実世界の自然言語処理(NLP)モデルは、アウト・オブ・ディストリビューション(OOD)データストリームの予測エラーを修正するために、継続的に更新する必要がある。
既存の継続学習(CL)問題設定は、そのような現実的で複雑なシナリオをカバーできない。
連続モデル改良(CMR)と呼ばれる新しいCL問題定式化を提案する。
論文 参考訳（メタデータ） (2022-05-04T11:54:44Z) - The CLEAR Benchmark: Continual LEArning on Real-World Imagery [77.98377088698984]
連続学習(CL)は、生涯AIにとって重要な課題であると考えられている。
本稿では,視覚概念の自然な時間進化を伴う最初の連続画像分類ベンチマークであるCLEARを紹介する。
単純な教師なし事前学習のステップで、最先端のCLアルゴリズムがすでに強化されていることが分かりました。
論文 参考訳（メタデータ） (2022-01-17T09:09:09Z) - Supervised Contrastive Replay: Revisiting the Nearest Class Mean
Classifier in Online Class-Incremental Continual Learning [17.310385256678654]
クラス増分連続学習(CL)は、オンラインの非定常データストリームから新しいクラスを継続的に学習する問題を研究する。
メモリリプレイは有望な結果を示しているが、一般的に使用されるsoftmax分類器によるオンライン学習の正規バイアスは未解決の課題である。
CLコミュニティにおいてNearest-Class-Mean(NCM)分類器は著しく過小評価されているが、Softmax分類器の単純な代替として有効であることを示す。
論文 参考訳（メタデータ） (2021-03-22T20:27:34Z) - Continual Learning for Recurrent Neural Networks: a Review and Empirical
Evaluation [12.27992745065497]
リカレントニューラルネットワークによる連続学習は、受信データが定常的でない多数のアプリケーションへの道を開くことができる。
コントリビューションの分類とベンチマークのレビューを提供することで、シーケンシャルデータ処理のためのCLに関する文献を整理します。
我々は既存のデータセットに基づくシーケンシャルデータを持つclの新しいベンチマークを2つ提案する。
論文 参考訳（メタデータ） (2021-03-12T19:25:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。