論文の概要: On the importance of cross-task features for class-incremental learning

• arxiv url: http://arxiv.org/abs/2106.11930v4
• Date: Tue, 28 May 2024 11:44:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-30 05:05:50.151639
• Title: On the importance of cross-task features for class-incremental learning
• Title（参考訳）: クラス増分学習におけるクロスタスク機能の重要性について
• Authors: Albin Soutif--Cormerais, Marc Masana, Joost van de Weijer, Bartłomiej Twardowski,
• Abstract要約: クラス増分学習では、限られたリソースを持つエージェントが一連の分類タスクを学習する必要がある。 タスクIDを推論時に利用できるタスクインクリメンタル学習との主な違いは、学習者がタスク間の差別を行う必要があることである。
• 参考スコア（独自算出の注目度）: 14.704888854064501
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In class-incremental learning, an agent with limited resources needs to learn a sequence of classification tasks, forming an ever growing classification problem, with the constraint of not being able to access data from previous tasks. The main difference with task-incremental learning, where a task-ID is available at inference time, is that the learner also needs to perform cross-task discrimination, i.e. distinguish between classes that have not been seen together. Approaches to tackle this problem are numerous and mostly make use of an external memory (buffer) of non-negligible size. In this paper, we ablate the learning of cross-task features and study its influence on the performance of basic replay strategies used for class-IL. We also define a new forgetting measure for class-incremental learning, and see that forgetting is not the principal cause of low performance. Our experimental results show that future algorithms for class-incremental learning should not only prevent forgetting, but also aim to improve the quality of the cross-task features, and the knowledge transfer between tasks. This is especially important when tasks contain limited amount of data.
• Abstract（参考訳）: クラス増分学習では、限られたリソースを持つエージェントは、以前のタスクからデータにアクセスできないという制約により、分類タスクのシーケンスを学習し、継続的に増加する分類問題を形成する必要がある。 タスクIDを推論時に利用できるタスクインクリメンタル学習との主な違いは、学習者が同時に見ていないクラスを区別するために、クロスタスクの差別を行う必要があることである。 この問題に対処するためのアプローチは多種多様であり、ほとんどは無視できない大きさの外部メモリ(バッファ)を使用する。 本稿では,クロスタスクの特徴の学習を減らし,クラスILの基本的なリプレイ戦略の性能に与える影響について検討する。 また、クラス増分学習のための新しい忘れ方策を定義し、忘れ方も性能低下の主な原因ではないことを確かめる。 実験結果から,クラス増分学習のための将来的なアルゴリズムは,忘れてはならないだけでなく,タスク間の知識伝達やクロスタスク機能の品質向上も目指すべきであることがわかった。 タスクが限られた量のデータを含む場合、これは特に重要である。

関連論文リスト

• Low-Rank Mixture-of-Experts for Continual Medical Image Segmentation [18.984447545932706]
  破滅的な忘れ」問題は、モデルが新しいカテゴリやタスクに拡張された際に、以前に学習した特徴を忘れたときに発生する。 本稿では,データ固有のMixture of Experts構造を導入して,新しいタスクやカテゴリを扱うネットワークを提案する。 クラスレベルおよびタスクレベルの連続学習課題に対して,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2024-06-19T14:19:50Z)
• Mitigating Interference in the Knowledge Continuum through Attention-Guided Incremental Learning [17.236861687708096]
  Attention-Guided Incremental Learning' (AGILE)は、タスク間の干渉を効果的に軽減するために、コンパクトなタスク注意を組み込んだリハーサルベースのCLアプローチである。 AGILEは、タスク干渉を緩和し、複数のCLシナリオにおいてリハーサルベースのアプローチより優れていることで、一般化性能を著しく向上する。
  論文  参考訳（メタデータ） (2024-05-22T20:29:15Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)
• Multitask Learning with No Regret: from Improved Confidence Bounds to Active Learning [79.07658065326592]
  推定タスクの不確実性の定量化は、オンラインやアクティブな学習など、多くの下流アプリケーションにとって重要な課題である。 タスク間の類似性やタスクの特徴を学習者に提供できない場合、課題設定において新しいマルチタスク信頼区間を提供する。 本稿では,このパラメータを事前に知らないまま,このような改善された後悔を実現する新しいオンライン学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-08-03T13:08:09Z)
• Center Loss Regularization for Continual Learning [0.0]
  一般的に、ニューラルネットワークには、さまざまなタスクを逐次学習する能力がない。 提案手法では,従来のタスクに近い新しいタスクの表現を投影することで,古いタスクを記憶する。 提案手法は,最先端の継続的学習手法と比較して,スケーラブルで効果的で,競争力のある性能を示す。
  論文  参考訳（メタデータ） (2021-10-21T17:46:44Z)
• Towards All-around Knowledge Transferring: Learning From Task-irrelevant Labels [44.036667329736225]
  既存の取り組みは、この問題に取り組むために、タスク関連知識を他の類似データから移すことに重点を置いている。 これまでタスク非関連の特徴の影響を調査する大規模な研究は行われていない。 本稿では,タスク非関連ラベルから主に抽出されるタスク非関連特徴を利用するタスク非関連変換学習を提案する。
  論文  参考訳（メタデータ） (2020-11-17T06:43:58Z)
• Class-incremental learning: survey and performance evaluation on image classification [38.27344435075399]
  増分学習は、新しいデータの到着時にスクラッチから再トレーニングする必要をなくし、効率的なリソース使用を可能にする。 漸進的な学習の最大の課題は破滅的な忘れことであり、これは新しいタスクを学習した後、以前に学習したタスクのパフォーマンスが急落したことを指す。 近年,学習者がタスクIDを使わずに,過去のタスクで見られた全てのクラス間での推論時間において,学習者が識別しなければならないクラス増分学習へのシフトが見られた。
  論文  参考訳（メタデータ） (2020-10-28T23:28:15Z)
• Multi-task Supervised Learning via Cross-learning [102.64082402388192]
  我々は,様々なタスクを解くことを目的とした回帰関数の集合を適合させることで,マルチタスク学習と呼ばれる問題を考える。 我々の新しい定式化では、これらの関数のパラメータを2つに分けて、互いに近づきながらタスク固有のドメインで学習する。 これにより、異なるドメインにまたがって収集されたデータが、互いのタスクにおける学習パフォーマンスを改善するのに役立つ、クロス・ファーティライズが促進される。
  論文  参考訳（メタデータ） (2020-10-24T21:35:57Z)
• Auxiliary Task Reweighting for Minimum-data Learning [118.69683270159108]
  教師付き学習は大量のトレーニングデータを必要とし、ラベル付きデータが不足しているアプリケーションを制限する。 データ不足を補う1つの方法は、補助的なタスクを利用して、メインタスクに対する追加の監視を提供することである。 そこで本研究では,主タスクにおけるデータ要求を減らし,補助タスクを自動的に重み付けする手法を提案する。
  論文  参考訳（メタデータ） (2020-10-16T08:45:37Z)
• Reparameterizing Convolutions for Incremental Multi-Task Learning without Task Interference [75.95287293847697]
  マルチタスクモデルを開発する際の2つの一般的な課題は、しばしば文献で見過ごされる。 まず、モデルを本質的に漸進的に可能にし、以前に学んだことを忘れずに新しいタスクから情報を継続的に取り入れる(インクリメンタルラーニング)。 第二に、タスク間の有害な相互作用を排除し、マルチタスク設定(タスク干渉)においてシングルタスクのパフォーマンスを著しく低下させることが示されている。
  論文  参考訳（メタデータ） (2020-07-24T14:44:46Z)
• Adversarial Continual Learning [99.56738010842301]
  本稿では,タスク不変およびタスク特化機能に対する不整合表現を学習するハイブリッド連続学習フレームワークを提案する。 本モデルでは,タスク固有のスキルの忘れを防止するためにアーキテクチャの成長と,共有スキルを維持するための経験的リプレイアプローチを組み合わせる。
  論文  参考訳（メタデータ） (2020-03-21T02:08:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。