Fugu-MT 論文翻訳(概要): Continuous Knowledge-Preserving Decomposition for Few-Shot Continual Learning

論文の概要: Continuous Knowledge-Preserving Decomposition for Few-Shot Continual Learning

arxiv url: http://arxiv.org/abs/2501.05017v1
Date: Thu, 09 Jan 2025 07:18:48 GMT
ステータス: 翻訳完了
システム内更新日: 2025-01-10 13:59:13.108408
Title: Continuous Knowledge-Preserving Decomposition for Few-Shot Continual Learning
Title（参考訳）: Few-Shot連続学習のための連続的知識保存分解
Authors: Xiaojie Li, Yibo Yang, Jianlong Wu, David A. Clifton, Yue Yu, Bernard Ghanem, Min Zhang,
Abstract要約: FSCIL(Few-shot class-incremental Learning)は、事前知識を維持しながら、限られたデータから新しいクラスを学習する。モデルの重みを2つの部分に分解するフレームワークである FSCIL (CKPD-FSCIL) の連続的知識保存分解を提案する。複数のベンチマークで実験したところ、CKPD-FSCILは最先端の手法よりも優れていた。
参考スコア（独自算出の注目度）: 89.11481059492608
License:
Abstract: Few-shot class-incremental learning (FSCIL) involves learning new classes from limited data while retaining prior knowledge, and often results in catastrophic forgetting. Existing methods either freeze backbone networks to preserve knowledge, which limits adaptability, or rely on additional modules or prompts, introducing inference overhead. To this end, we propose Continuous Knowledge-Preserving Decomposition for FSCIL (CKPD-FSCIL), a framework that decomposes a model's weights into two parts: one that compacts existing knowledge (knowledge-sensitive components) and another that carries redundant capacity to accommodate new abilities (redundant-capacity components). The decomposition is guided by a covariance matrix from replay samples, ensuring principal components align with classification abilities. During adaptation, we freeze the knowledge-sensitive components and only adapt the redundant-capacity components, fostering plasticity while minimizing interference without changing the architecture or increasing overhead. Additionally, CKPD introduces an adaptive layer selection strategy to identify layers with redundant capacity, dynamically allocating adapters. Experiments on multiple benchmarks show that CKPD-FSCIL outperforms state-of-the-art methods.
Abstract（参考訳）: FSCIL(Few-shot class-incremental Learning)は、事前知識を維持しながら、限られたデータから新しいクラスを学習する。既存の手法は知識を保存するためにバックボーンネットワークを凍結するか、追加モジュールやプロンプトに頼るか、推論オーバーヘッドを導入する。そこで本論文では,FSCIL (Continuous Knowledge-Preserving Decomposition for FSCIL, CKPD-FSCIL) という,モデルの重みを分解するフレームワークを提案する。分解は、リプレイサンプルから共分散行列によって誘導され、主成分が分類能力と整合することを保証する。適応中、我々は知識に敏感なコンポーネントを凍結し、冗長な容量のコンポーネントにのみ適応し、アーキテクチャの変更やオーバーヘッドの増加を伴わずに干渉を最小限にしつつ、可塑性を育みます。さらに、CKPDはアダプタを動的に割り当てる冗長なキャパシティを持つレイヤを識別するアダプティブ層選択戦略を導入している。複数のベンチマークで実験したところ、CKPD-FSCILは最先端の手法よりも優れていた。

関連論文リスト

Temporal-Difference Variational Continual Learning [89.32940051152782]
現実世界のアプリケーションにおける機械学習モデルの重要な機能は、新しいタスクを継続的に学習する能力である。継続的な学習設定では、モデルは以前の知識を保持することで新しいタスクの学習のバランスをとるのに苦労することが多い。複数の先行推定の正則化効果を統合する新たな学習目標を提案する。
論文参考訳（メタデータ） (2024-10-10T10:58:41Z)
Dynamic Integration of Task-Specific Adapters for Class Incremental Learning [31.67570086108542]
非典型的なクラスインクリメンタルラーニング (NECIL) では、モデルがスクラッチからリトレーニングしたり、古いタスクインクリメンタルを格納したりすることなく、新しいクラスを継続的に取得できる。本稿では,タスク特化アダプタ統合(TSAI)とパッチレベルモデルアライメントという,タスク特化アダプタの動的統合(DIA)という新しいフレームワークを提案する。
論文参考訳（メタデータ） (2024-09-23T13:01:33Z)
Learning Prompt-Enhanced Context Features for Weakly-Supervised Video Anomaly Detection [37.99031842449251]
弱い監督下での映像異常検出は重大な課題を呈する。本稿では,効率的なコンテキストモデリングとセマンティック識別性の向上に焦点をあてた,弱教師付き異常検出フレームワークを提案する。提案手法は,特定の異常なサブクラスの検出精度を大幅に向上させ,その実用的価値と有効性を裏付けるものである。
論文参考訳（メタデータ） (2023-06-26T06:45:16Z)
Complementary Learning Subnetworks for Parameter-Efficient Class-Incremental Learning [40.13416912075668]
本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
論文参考訳（メタデータ） (2023-06-21T01:43:25Z)
Evolving Knowledge Mining for Class Incremental Segmentation [113.59611699693092]
クラスインクリメンタルセマンティック(CISS)は、最近、現実世界のアプリケーションにおいて大きな重要性があるため、トレンドとなっている。冷凍バックボーンを用いた新規なkNowleDgeマイニング法を提案する。提案手法を2つの広く使用されているベンチマークで評価し,新しい最先端性能を一貫して示す。
論文参考訳（メタデータ） (2023-06-03T07:03:15Z)
Hierarchical Deep Counterfactual Regret Minimization [53.86223883060367]
本稿では,大規模な状態空間や深部ゲームツリーを含むタスクにおいて,学習効率を向上させる革新的な手法であるDeep CFRの最初の階層バージョンを紹介する。 HDCFRのこれまでの研究よりも顕著な利点は、事前に定義された(人間的な)専門知識による学習の促進と、同様のタスクに移行可能なスキルの獲得を促進する能力である。
論文参考訳（メタデータ） (2023-05-27T02:05:41Z)
Mitigating Catastrophic Forgetting in Task-Incremental Continual Learning with Adaptive Classification Criterion [50.03041373044267]
本稿では,継続的学習のための適応型分類基準を用いた教師付きコントラスト学習フレームワークを提案する。実験により, CFLは最先端の性能を達成し, 分類基準に比べて克服する能力が強いことが示された。
論文参考訳（メタデータ） (2023-05-20T19:22:40Z)
Multimodal Parameter-Efficient Few-Shot Class Incremental Learning [1.9220716793379256]
FSCIL(Few-Shot Class Incremental Learning)は、いくつかの学習セッションで限られたトレーニング例が利用できる、挑戦的な継続的学習タスクである。このタスクを成功させるためには、数発のトレーニングセットにおけるバイアス分布に起因する新しいクラスを過度に適合させるのを避ける必要がある。 CPE-CLIPは、最先端の提案と比較してFSCILの性能を著しく改善すると同時に、学習可能なパラメータの数やトレーニングコストを大幅に削減する。
論文参考訳（メタデータ） (2023-03-08T17:34:15Z)
Mitigating Forgetting in Online Continual Learning via Contrasting Semantically Distinct Augmentations [22.289830907729705]
オンライン連続学習(OCL)は、非定常データストリームからモデル学習を可能とし、新たな知識を継続的に獲得し、学習した知識を維持することを目的としている。主な課題は、"破滅的な忘れる"問題、すなわち、新しい知識を学習しながら学習した知識を十分に記憶できないことにある。
論文参考訳（メタデータ） (2022-11-10T05:29:43Z)
Dual-constrained Deep Semi-Supervised Coupled Factorization Network with Enriched Prior [80.5637175255349]
本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
論文参考訳（メタデータ） (2020-09-08T13:10:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。