論文の概要: EFC++: Elastic Feature Consolidation with Prototype Re-balancing for Cold Start Exemplar-free Incremental Learning

• arxiv url: http://arxiv.org/abs/2503.10439v1
• Date: Thu, 13 Mar 2025 15:01:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-14 15:52:40.054911
• Title: EFC++: Elastic Feature Consolidation with Prototype Re-balancing for Cold Start Exemplar-free Incremental Learning
• Title（参考訳）: EFC++: コールドスタート初級インクリメンタルラーニングのためのプロトタイプ再バランシングによるElastic Feature Consolidation
• Authors: Simone Magistri, Tomaso Trinci, Albin Soutif-Cormerais, Joost van de Weijer, Andrew D. Bagdanov,
• Abstract要約: 高品質なバックボーンを学習する最初のタスクでは、不十分なデータが利用可能である、難しいコールドスタートシナリオについて検討する。 これは、高い塑性を必要とするため、EFCILにとって特に困難である。 本稿では,従来の課題に強く関連する方向のドリフトを規則化し,特徴表現を統一する効果的な手法を提案する。
• 参考スコア（独自算出の注目度）: 17.815956928177638
• License:
• Abstract: Exemplar-Free Class Incremental Learning (EFCIL) aims to learn from a sequence of tasks without having access to previous task data. In this paper, we consider the challenging Cold Start scenario in which insufficient data is available in the first task to learn a high-quality backbone. This is especially challenging for EFCIL since it requires high plasticity, resulting in feature drift which is difficult to compensate for in the exemplar-free setting. To address this problem, we propose an effective approach to consolidate feature representations by regularizing drift in directions highly relevant to previous tasks and employs prototypes to reduce task-recency bias. Our approach, which we call Elastic Feature Consolidation++ (EFC++) exploits a tractable second-order approximation of feature drift based on a proposed Empirical Feature Matrix (EFM). The EFM induces a pseudo-metric in feature space which we use to regularize feature drift in important directions and to update Gaussian prototypes. In addition, we introduce a post-training prototype re-balancing phase that updates classifiers to compensate for feature drift. Experimental results on CIFAR-100, Tiny-ImageNet, ImageNet-Subset, ImageNet-1K and DomainNet demonstrate that EFC++ is better able to learn new tasks by maintaining model plasticity and significantly outperform the state-of-the-art.
• Abstract（参考訳）: Exemplar-Free Class Incremental Learning (EFCIL) は、タスクのシーケンスから以前のタスクデータにアクセスすることなく学習することを目的としている。 本稿では,高品質なバックボーンを学習する最初のタスクにおいて,不十分なデータが利用できるという,コールドスタートの難しさについて考察する。 これは、エFCILが高可塑性を必要とするため特に困難であり、結果として特徴のドリフトは、典型的なフリー環境では補うのが困難である。 この問題に対処するために,従来のタスクと高い関係を持つ方向のドリフトを規則化し,タスク待ち時間バイアスを低減するためにプロトタイプを採用することで特徴表現を統合する効果的な手法を提案する。 EFC++(Elastic Feature Consolidation++)と呼ばれる我々のアプローチは、提案した経験的特徴行列(EFM)に基づいて、抽出可能な2次機能ドリフト近似を利用する。 EFMは、重要な方向における特徴ドリフトの正則化とガウスプロトタイプの更新に使用する擬似的特徴空間を誘導する。 さらに,機能ドリフトを補うために分類器を更新する,訓練後の試行的な再バランスフェーズも導入する。 CIFAR-100、Tiny-ImageNet、ImageNet-Subset、ImageNet-1K、DomainNetの実験結果は、EFC++がモデルの可塑性を保ち、最先端技術を大幅に上回ることによって、新しいタスクを学習できることを実証している。

関連論文リスト

• ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
  ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。 巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
  論文  参考訳（メタデータ） (2024-12-11T12:31:30Z)
• Elastic Feature Consolidation for Cold Start Exemplar-Free Incremental Learning [17.815956928177638]
  本稿では,従来の課題に強く関連する方向のドリフトを規則化し,特徴表現を統一する,シンプルで効果的な手法を提案する。 EFC(Elastic Feature Consolidation)と呼ばれる我々の手法は、経験的特徴行列(EFM)に基づく2次特徴ドリフトの抽出可能な近似を利用する。 CIFAR-100、Tiny-ImageNet、ImageNet-Subset、ImageNet-1Kの実験結果から、弾性的特徴統合は、モデルの可塑性を維持し、最先端技術を大幅に上回ることによって、新しいタスクを学習できることを示した。
  論文  参考訳（メタデータ） (2024-02-06T11:35:02Z)
• Vanishing Feature: Diagnosing Model Merging and Beyond [1.1510009152620668]
  結合モデルによる伝搬中に入力誘起特徴が減少する「消滅特徴」現象を同定する。 既存の正規化戦略は、消滅する特徴問題を的確に標的にすることで強化できることを示す。 初期層機能の保存に重点を置いたPFM(Preserve-First Merging')戦略を提案する。
  論文  参考訳（メタデータ） (2024-02-05T17:06:26Z)
• Task-Adaptive Saliency Guidance for Exemplar-free Class Incremental Learning [60.501201259732625]
  EFCILにタスク適応型サリエンシを導入し、タスク適応型サリエンシ・スーパービジョン(TASS)と呼ばれる新しいフレームワークを提案する。 提案手法は,CIFAR-100, Tiny-ImageNet, ImageNet-Subset EFCILベンチマークを用いて,タスク間のサリエンシマップの保存や,最先端の成果の達成に有効であることを示す。
  論文  参考訳（メタデータ） (2022-12-16T02:43:52Z)
• FiT: Parameter Efficient Few-shot Transfer Learning for Personalized and Federated Image Classification [47.24770508263431]
  画像分類における要件を満たすFiLM Transfer (FiT) を開発した。 FiTは、大規模な画像データセットで事前トレーニングされた固定バックボーンの上に、自動的に設定されたNaive Bayes分類器を使用する。 本研究では, 最先端のBig Transfer (BiT) アルゴリズムよりも, ローショット, 挑戦的なVTAB-1kベンチマークにおいて, 高い分類精度が得られることを示す。
  論文  参考訳（メタデータ） (2022-06-17T10:17:20Z)
• Hyperparameter-free Continuous Learning for Domain Classification in Natural Language Understanding [60.226644697970116]
  ドメイン分類は自然言語理解(NLU)の基本課題である 既存の継続的な学習アプローチの多くは、低い精度とパフォーマンスの変動に悩まされている。 本研究では,テキストデータに対するパラメータフリー連続学習モデルを提案する。
  論文  参考訳（メタデータ） (2022-01-05T02:46:16Z)
• Self-Supervised Pre-Training for Transformer-Based Person Re-Identification [54.55281692768765]
  トランスフォーマーに基づく教師付き事前訓練は、人物再識別(ReID)において大きなパフォーマンスを達成する ImageNetとReIDデータセットのドメインギャップのため、通常、パフォーマンスを高めるために、より大きなトレーニング済みデータセットが必要です。 この研究は、データとモデル構造の観点から、事前トレーニングデータセットとReIDデータセットのギャップを軽減することを目的としている。
  論文  参考訳（メタデータ） (2021-11-23T18:59:08Z)
• Prior Guided Feature Enrichment Network for Few-Shot Segmentation [64.91560451900125]
  最先端のセマンティックセグメンテーション手法は、良い結果を得るために十分なラベル付きデータを必要とする。 少数のラベル付きサポートサンプルを持つ新しいクラスに迅速に適応するモデルを学習することで,この問題に対処するためのショットセグメンテーションが提案されている。 これらのフレームワークは、高レベルのセマンティック情報の不適切な使用により、目に見えないクラスにおける一般化能力の低下という課題に直面している。
  論文  参考訳（メタデータ） (2020-08-04T10:41:32Z)
• Parameter-Efficient Transfer from Sequential Behaviors for User Modeling and Recommendation [111.44445634272235]
  本稿では,PeterRecと呼ばれるパラメータ効率のよい移動学習アーキテクチャを提案する。 PeterRecは、トレーニング済みのパラメータを、一連の再学習ニューラルネットワークを注入することで、微調整中に修正されないようにする。 我々は5つの下流タスクにおいて学習したユーザ表現の有効性を示すために、広範囲な実験的アブレーションを行う。
  論文  参考訳（メタデータ） (2020-01-13T14:09:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。