Fugu-MT 論文翻訳(概要): Task-recency bias strikes back: Adapting covariances in Exemplar-Free Class Incremental Learning

論文の概要: Task-recency bias strikes back: Adapting covariances in Exemplar-Free Class Incremental Learning

arxiv url: http://arxiv.org/abs/2409.18265v2
Date: Sat, 26 Oct 2024 09:43:44 GMT
ステータス: 処理完了
システム内更新日: 2024-11-06 14:51:14.010793
Title: Task-recency bias strikes back: Adapting covariances in Exemplar-Free Class Incremental Learning
Title（参考訳）: タスク頻度バイアスが逆転する:初等・中等教育における共分散の適応
Authors: Grzegorz Rypeść, Sebastian Cygert, Tomasz Trzciński, Bartłomiej Twardowski,
Abstract要約: 過去のデータにアクセスせずにタスクのシーケンス上でモデルをトレーニングする問題に対処する。既存の方法は、特徴抽出器の潜在空間におけるガウス分布としてクラスを表す。本稿では,タスクからタスクへ共分散行列を適用する新しい手法であるAdaGaussを提案する。
参考スコア（独自算出の注目度）: 0.3281128493853064
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Exemplar-Free Class Incremental Learning (EFCIL) tackles the problem of training a model on a sequence of tasks without access to past data. Existing state-of-the-art methods represent classes as Gaussian distributions in the feature extractor's latent space, enabling Bayes classification or training the classifier by replaying pseudo features. However, we identify two critical issues that compromise their efficacy when the feature extractor is updated on incremental tasks. First, they do not consider that classes' covariance matrices change and must be adapted after each task. Second, they are susceptible to a task-recency bias caused by dimensionality collapse occurring during training. In this work, we propose AdaGauss -- a novel method that adapts covariance matrices from task to task and mitigates the task-recency bias owing to the additional anti-collapse loss function. AdaGauss yields state-of-the-art results on popular EFCIL benchmarks and datasets when training from scratch or starting from a pre-trained backbone. The code is available at: https://github.com/grypesc/AdaGauss.
Abstract（参考訳）: Exemplar-Free Class Incremental Learning (EFCIL)は、過去のデータにアクセスせずにタスクのシーケンス上でモデルをトレーニングする問題に取り組む。既存の最先端手法は、特徴抽出器の潜在空間におけるガウス分布としてクラスを表現し、擬似特徴を再生することによってベイズ分類や分類器の訓練を可能にする。しかし,機能抽出器がインクリメンタルなタスクで更新されると,その効果を損なう2つの重要な問題を特定する。まず、クラス間の共分散行列が変化し、各タスク後に適応しなければならないと考える。第二に、トレーニング中に発生する次元的崩壊によって引き起こされるタスクの頻度バイアスに影響を受けやすい。本研究では,タスクからタスクへの共分散行列の適応と,追加の反崩壊損失関数によるタスク-待ち行列の緩和を行う新しい手法であるAdaGaussを提案する。 AdaGaussは、トレーニングをスクラッチから始め、あるいはトレーニング済みのバックボーンから始めると、人気のあるEFCILベンチマークとデータセットに対して最先端の結果を得る。コードは、https://github.com/grypesc/AdaGauss.comで入手できる。

関連論文リスト

RankUp: Boosting Semi-Supervised Regression with an Auxiliary Ranking Classifier [21.37308028303897]
最新技術(SOTA)の半教師付き学習技術であるFixMatchやその変種は、分類タスクにおいて印象的なパフォーマンスを示している。本稿では,既存の半教師付き分類手法を応用し,回帰タスクの性能を向上させるための簡易かつ効果的なアプローチであるRangeUpを提案する。
論文参考訳（メタデータ） (2024-10-29T15:25:21Z)
CorDA: Context-Oriented Decomposition Adaptation of Large Language Models for Task-Aware Parameter-Efficient Fine-tuning [101.81127587760831]
現在の微調整手法は、学習すべき下流タスクのコンテキストや、維持すべき重要な知識のコンテキストに広く適用できるアダプタを構築している。学習可能なタスク対応アダプタを構築するコンテキスト指向の分解適応手法であるCorDAを提案する。本手法は,知識保存型適応と指導レビュー型適応の2つの選択肢を実現する。
論文参考訳（メタデータ） (2024-06-07T19:10:35Z)
Adaptive Rentention & Correction for Continual Learning [114.5656325514408]
連続学習における一般的な問題は、最新のタスクに対する分類層のバイアスである。アダプティブ・リテンション・アンド・コレクション (ARC) のアプローチを例に挙げる。 ARCはCIFAR-100とImagenet-Rのデータセットで平均2.7%と2.6%のパフォーマンス向上を達成した。
論文参考訳（メタデータ） (2024-05-23T08:43:09Z)
SplAgger: Split Aggregation for Meta-Reinforcement Learning [32.25672143072966]
ブラックボックスメソッドは、オフザシェルフシーケンスモデルをエンドツーエンドでトレーニングすることで実現している。タスク推論メソッドは、未知のタスク上の後方分布を明示的に推論する。近年の研究では、タスク推論シーケンスモデルは高いパフォーマンスには必要ないことが示されている。タスク推論シーケンスモデルが依然として有用であることを示す。
論文参考訳（メタデータ） (2024-03-05T14:57:04Z)
Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [100.7407460674153]
ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
論文参考訳（メタデータ） (2024-01-12T12:51:12Z)
FeCAM: Exploiting the Heterogeneity of Class Distributions in Exemplar-Free Continual Learning [21.088762527081883]
Exemplar-free class-incremental learning (CIL)は、以前のタスクからのデータのリハーサルを禁止しているため、いくつかの課題がある。第1タスクの後に特徴抽出器を凍結して分類器を漸進的に学習する手法が注目されている。凍結した特徴抽出器を用いて新しいクラスプロトタイプを生成するCILのプロトタイプネットワークを探索し,プロトタイプとのユークリッド距離に基づいて特徴を分類する。
論文参考訳（メタデータ） (2023-09-25T11:54:33Z)
Informative regularization for a multi-layer perceptron RR Lyrae classifier under data shift [3.303002683812084]
本稿では,情報正規化とアドホックなトレーニング手法に基づくスケーラブルで容易に適応可能なアプローチを提案し,シフト問題を緩和する。提案手法は,特徴量からの知識をニューラルネットワークに組み込むことで,基礎となるデータシフト問題を管理する。
論文参考訳（メタデータ） (2023-03-12T02:49:19Z)
CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
論文参考訳（メタデータ） (2022-06-01T03:02:07Z)
Continual Test-Time Domain Adaptation [94.51284735268597]
テスト時ドメイン適応は、ソースデータを使用しずに、ソース事前訓練されたモデルをターゲットドメインに適応することを目的としている。 CoTTAは実装が容易で、市販の事前訓練モデルに簡単に組み込むことができる。
論文参考訳（メタデータ） (2022-03-25T11:42:02Z)
Relieving Long-tailed Instance Segmentation via Pairwise Class Balance [85.53585498649252]
長い尾のインスタンスセグメンテーションは、クラス間のトレーニングサンプルの極端な不均衡のために難しいタスクである。尾のついたものに対して、(大多数のサンプルを含む)ヘッドクラスの深刻なバイアスを引き起こす。そこで本研究では,学習中の予測嗜好を蓄積するために,学習中に更新される混乱行列上に構築された新しいPairwise Class Balance(PCB)手法を提案する。
論文参考訳（メタデータ） (2022-01-08T07:48:36Z)
Meta-Regularization by Enforcing Mutual-Exclusiveness [0.8057006406834467]
本稿では,メタ学習時の情報フローをモデル設計者が制御できるように,メタ学習モデルの正規化手法を提案する。提案した正規化関数は,Omniglotデータセット上で$sim$$36%の精度向上を示す。
論文参考訳（メタデータ） (2021-01-24T22:57:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。