論文の概要: PKI: Prior Knowledge-Infused Neural Network for Few-Shot Class-Incremental Learning

• arxiv url: http://arxiv.org/abs/2601.08493v1
• Date: Tue, 13 Jan 2026 12:27:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-14 18:27:19.191944
• Title: PKI: Prior Knowledge-Infused Neural Network for Few-Shot Class-Incremental Learning
• Title（参考訳）: PKI:Few-Shot Class-Incremental Learningのための事前知識注入ニューラルネットワーク
• Authors: Kexin Baoa, Fanzhao Lin, Zichen Wang, Yong Li, Dan Zeng, Shiming Ge,
• Abstract要約: FSCIL(Few-shot class-incremental Learning)は、新しいクラスの限られた例にモデルを継続的に適応させることを目的としている。 FSCILを促進するために,従来の知識注入型ニューラルネットワーク(PKI)を提案する。
• 参考スコア（独自算出の注目度）: 40.263296188954406
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Few-shot class-incremental learning (FSCIL) aims to continually adapt a model on a limited number of new-class examples, facing two well-known challenges: catastrophic forgetting and overfitting to new classes. Existing methods tend to freeze more parts of network components and finetune others with an extra memory during incremental sessions. These methods emphasize preserving prior knowledge to ensure proficiency in recognizing old classes, thereby mitigating catastrophic forgetting. Meanwhile, constraining fewer parameters can help in overcoming overfitting with the assistance of prior knowledge. Following previous methods, we retain more prior knowledge and propose a prior knowledge-infused neural network (PKI) to facilitate FSCIL. PKI consists of a backbone, an ensemble of projectors, a classifier, and an extra memory. In each incremental session, we build a new projector and add it to the ensemble. Subsequently, we finetune the new projector and the classifier jointly with other frozen network components, ensuring the rich prior knowledge is utilized effectively. By cascading projectors, PKI integrates prior knowledge accumulated from previous sessions and learns new knowledge flexibly, which helps to recognize old classes and efficiently learn new classes. Further, to reduce the resource consumption associated with keeping many projectors, we design two variants of the prior knowledge-infused neural network (PKIV-1 and PKIV-2) to trade off a balance between resource consumption and performance by reducing the number of projectors. Extensive experiments on three popular benchmarks demonstrate that our approach outperforms state-of-the-art methods.
• Abstract（参考訳）: FSCIL(Few-shot class-incremental Learning)は、新しいクラスの限られた例にモデルを継続的に適用することを目的としており、破滅的な忘れ込みと新しいクラスへの過度な適合という2つの課題に直面している。 既存のメソッドは、ネットワークコンポーネントのより多くの部分を凍結し、インクリメンタルセッション中に余分なメモリで他のコンポーネントを微調整する傾向がある。 これらの手法は、古いクラスを認識する能力を確保するための事前知識の保存を強調し、破滅的な忘れを緩和する。 一方、パラメータの制限は、事前の知識の助けを借りてオーバーフィッティングを克服するのに役立ちます。 従来の手法に倣って、より事前知識を保持し、FSCILを促進するための事前知識注入ニューラルネットワーク(PKI)を提案する。 PKIは、バックボーン、プロジェクターのアンサンブル、分類器、余分なメモリで構成される。 各インクリメンタルセッションでは、新しいプロジェクタを構築し、それをアンサンブルに追加します。 その後、新しいプロジェクタと分類器を他の凍結ネットワークコンポーネントと組み合わせて微調整し、豊富な事前知識を効果的に活用する。 プロジェクターをカスケードすることで、PKIは以前のセッションから蓄積した知識を統合し、新しい知識を柔軟に学習し、古いクラスを認識し、新しいクラスを効率的に学習するのに役立つ。 さらに,多くのプロジェクタの保持に伴う資源消費を低減するため,従来の知識注入型ニューラルネットワーク (PKIV-1 と PKIV-2) の2つの変種を設計し,プロジェクタの数を減らして資源消費と性能のバランスをとる。 3つの人気のあるベンチマークに関する大規模な実験は、我々のアプローチが最先端の手法より優れていることを示している。

関連論文リスト

• KIF: Knowledge Identification and Fusion for Language Model Continual Learning [41.28933724210434]
  言語モデルのための新しいフレームワーク、Knowledge Identification and Fusion (KIF)を紹介する。 KIFはパラメータ依存に基づいてモデルを'スキルユニット'に分離し、より正確な制御を可能にする。 新たな課題に対するスキルユニットの重要性の分布を確認するために,新しいグループ単位の知識識別技術を採用している。 その結果、KIFは、事前知識の保持と、新しいタスクの卓越とを最適なバランスで達成する。
  論文  参考訳（メタデータ） (2024-08-09T17:44:45Z)
• Few-Shot Class-Incremental Learning with Prior Knowledge [94.95569068211195]
  本稿では,事前学習モデルの一般化能力を高めるために,先行知識を用いた学習(LwPK)を提案する。 実験結果から,LwPKは破滅的忘れ込みに対するモデルレジリエンスを効果的に向上させることが示された。
  論文  参考訳（メタデータ） (2024-02-02T08:05:35Z)
• Learning Prompt with Distribution-Based Feature Replay for Few-Shot Class-Incremental Learning [56.29097276129473]
  分散型特徴再現(LP-DiF)を用いた学習プロンプト(Learning Prompt)という,シンプルで効果的なフレームワークを提案する。 新しいセッションでは,学習可能なプロンプトが古い知識を忘れないようにするため,擬似機能的リプレイ手法を提案する。 新しいセッションに進むと、古いクラスのディストリビューションと現在のセッションのトレーニングイメージを組み合わせて擬似フィーチャーをサンプリングして、プロンプトを最適化する。
  論文  参考訳（メタデータ） (2024-01-03T07:59:17Z)
• The Role of Bio-Inspired Modularity in General Learning [0.0]
  汎用知能の1つの目標は、事前学習を上書きすることなく、新しい情報を学ぶことである。 以前の知識をブートストラップすることで、新しいタスクの学習を早めることができる。 モジュール性は、破滅的な忘れとブートストラップの制約なしに学習に固執する、重み付けされた学習方法のソリューションを提供するかもしれない。
  論文  参考訳（メタデータ） (2021-09-23T18:45:34Z)
• Preserving Earlier Knowledge in Continual Learning with the Help of All Previous Feature Extractors [63.21036904487014]
  時間とともに新しい知識の継続的な学習は、インテリジェントシステムがより多くのオブジェクトのクラスを認識するのに望ましい能力の1つである。 これまでに学んだすべての特徴抽出器をインテリジェントモデルに組み込むことで、シンプルで効果的な融合メカニズムを提案します。 複数の分類タスクの実験により,提案手法は従来の知識の忘れを効果的に減らし,最先端の継続的学習性能を達成できることが示されている。
  論文  参考訳（メタデータ） (2021-04-28T07:49:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。