論文の概要: Miles: Metric Learning with Expandable Subspace for Pre-Trained Model-Based Class-Incremental Learning
- arxiv url: http://arxiv.org/abs/2607.17593v1
- Date: Mon, 20 Jul 2026 06:22:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-21 18:48:37.512157
- Title: Miles: Metric Learning with Expandable Subspace for Pre-Trained Model-Based Class-Incremental Learning
- Title（参考訳）: Miles: 事前学習モデルに基づくクラスインクリメンタルラーニングのための拡張可能なサブスペースによるメトリックラーニング
- Abstract要約: 本稿では,事前学習された知識の事前情報を活用するために,拡張可能なサブスペース(マイル)を用いたMetrIc Learningを提案する。
Milesは様々なCIL設定で最先端のパフォーマンスを達成する。
- 参考スコア（独自算出の注目度）: 57.237835833636154
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Class Incremental Learning (CIL) aims to learn new concepts consistently from a data stream without forgetting. Unlike typical CIL methods which need to learn a model from scratch, pre-trained model (PTM) can easily adapt to a new task with fine-tuning. However, existing PTM-based CIL methods fail to achieve a trade-off between performance and computational expenditure, i.e., they either adopt the same parameter space so that leading catastrophic forgetting, or expand a new branch for each task but adding more computational cost. To this end, we propose MetrIc Learning with Expandable Subspace (Miles) to harness the prior information within pre-trained knowledge, thereby orchestrating an efficient expansion of the parameter space through guided optimization. Specifically, it decouples the learnable modules with the pre-trained model, exploiting prior information from intermediate features of the backbone network to enable more flexible parameter expansion. Then, a central loss is adopted to guide the new category to cluster towards the corresponding prototype in the new task subspace while incorporating an auxiliary distance regularization term to maintain metric equilibrium across tasks. Extensive experiments on six benchmark datasets demonstrate that Miles achieves state-of-the-art performance in various CIL settings.
- Abstract（参考訳）: クラスインクリメンタルラーニング(CIL)は、データストリームから新しい概念を忘れずに一貫して学習することを目的としている。
スクラッチからモデルを学習する必要がある典型的なCILメソッドとは異なり、事前訓練されたモデル(PTM)は、微調整で新しいタスクに容易に適応できる。
しかし、既存の PTM ベースの CIL 法は、性能と計算費のトレードオフを達成できない。すなわち、それらは同じパラメータ空間を採用して、破滅的な忘れを導いたり、各タスクに新しい分岐を拡大したり、計算コストを増やしたりする。
そこで本研究では,事前学習した知識の事前情報を活用するためにMetrIc Learning with Expandable Subspace (Miles)を提案する。
具体的には、学習可能なモジュールを事前訓練されたモデルで分離し、バックボーンネットワークの中間機能から事前情報を活用して、より柔軟なパラメータ拡張を可能にする。
そして、タスク間の計量平衡を維持するために補助距離正規化項を組み込みながら、新しいカテゴリを新しいタスクサブ空間の対応するプロトタイプに向かってクラスタ化するように誘導する中心的損失を採用する。
6つのベンチマークデータセットに対する大規模な実験は、MilesがさまざまなCIL設定で最先端のパフォーマンスを達成することを示した。
関連論文リスト
- Train with Perturbation, Infer after Merging: A Two-Stage Framework for Continual Learning [57.514786046966265]
textbfPerturb-and-Merge(P&M)は,モデルマージをCLパラダイムに統合し,忘れを緩和する新しい連続学習フレームワークである。
提案手法は,複数の連続学習ベンチマークデータセット上での最先端性能を実現する。
論文 参考訳（メタデータ） (2025-05-28T14:14:19Z) - DESIRE: Dynamic Knowledge Consolidation for Rehearsal-Free Continual Learning [23.878495627964146]
連続学習は、人間のような以前に学習された知識を保持する能力をモデルに装備することを目的としている。
既存の手法は通常、実験データが事前訓練されたモデルで使用されているという事実によって引き起こされる情報漏洩の問題を見落としている。
本稿では,ロラをベースとした新たなリハーサルフリー手法DESIREを提案する。
論文 参考訳（メタデータ） (2024-11-28T13:54:01Z) - Beyond Prompt Learning: Continual Adapter for Efficient Rehearsal-Free Continual Learning [22.13331870720021]
C-ADA (Continuous Adapter) という,RFCL タスクに対する超高速学習手法を提案する。
C-ADAは、CALの特定の重みを柔軟に拡張し、各タスクの新たな知識を学び、古い重みを凍結して以前の知識を保存する。
提案手法は,現状のSOTA(State-of-the-art)法よりも優れ,性能とトレーニング速度を大幅に向上させる。
論文 参考訳（メタデータ） (2024-07-14T17:40:40Z) - Parameter-Efficient and Memory-Efficient Tuning for Vision Transformer: A Disentangled Approach [87.8330887605381]
本稿では,学習可能なパラメータをわずかに限定して,事前学習した視覚変換器を下流認識タスクに適用する方法を示す。
学習可能で軽量なモジュールを用いてタスク固有のクエリを合成する。
本手法はメモリ制約下での最先端性能を実現し,実環境における適用性を示す。
論文 参考訳（メタデータ） (2024-07-09T15:45:04Z) - Expandable Subspace Ensemble for Pre-Trained Model-Based Class-Incremental Learning [65.57123249246358]
PTMベースのCILのためのExpAndable Subspace Ensemble (EASE)を提案する。
タスク固有のサブスペースを作成することを目的として、新しいタスクごとに異なる軽量アダプタモジュールをトレーニングする。
我々のプロトタイプ補完戦略は、古いクラスのインスタンスを使わずに、古いクラスの新機能を合成します。
論文 参考訳（メタデータ） (2024-03-18T17:58:13Z) - TaE: Task-aware Expandable Representation for Long Tail Class Incremental Learning [42.630413950957795]
本稿では,各タスクから多様な表現を学習するための新しいタスク対応拡張(TaE)フレームワークを提案する。
TaEは最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2024-02-08T16:37:04Z) - RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。
本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
論文 参考訳（メタデータ） (2023-07-05T12:49:02Z) - Complementary Learning Subnetworks for Parameter-Efficient
Class-Incremental Learning [40.13416912075668]
本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。
提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
論文 参考訳（メタデータ） (2023-06-21T01:43:25Z) - Revisiting Class-Incremental Learning with Pre-Trained Models: Generalizability and Adaptivity are All You Need [84.3507610522086]
クラスインクリメンタルラーニング(Class-incremental Learning, CIL)は、古いクラスを忘れずに新しいクラスに適応することを目的としている。
近年の事前訓練は大きな進歩を遂げており、CILには膨大な事前訓練モデル(PTM)が利用できるようになった。
CILの中核となる要素は、モデル更新の適応性と知識伝達の一般化性である。
論文 参考訳（メタデータ） (2023-03-13T17:59:02Z) - CLIPood: Generalizing CLIP to Out-of-Distributions [73.86353105017076]
対照的に、CLIP(Language-image Pre-training)モデルでは、印象的なゼロショット能力を示しているが、下流タスクにおけるCLIPのさらなる適応は、OODのパフォーマンスを好ましくない劣化させる。
ドメインシフトとオープンクラスの両方が見えないテストデータ上で発生する可能性があるOOD状況にCLIPモデルを適用するための微調整手法であるCLIPoodを提案する。
さまざまなOODシナリオによるさまざまなデータセットの実験は、CLIPoodが既存の一般化テクニックを一貫して上回っていることを示している。
論文 参考訳（メタデータ） (2023-02-02T04:27:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。