論文の概要: First Session Adaptation: A Strong Replay-Free Baseline for Class-Incremental Learning

• arxiv url: http://arxiv.org/abs/2303.13199v3
• Date: Fri, 12 Jan 2024 12:31:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-16 00:15:35.059114
• Title: First Session Adaptation: A Strong Replay-Free Baseline for Class-Incremental Learning
• Title（参考訳）: First Session Adaptation: クラス増分学習のための強力なリプレイフリーベースライン
• Authors: Aristeidis Panos, Yuriko Kobe, Daniel Olmeda Reino, Rahaf Aljundi, Richard E. Turner
• Abstract要約: First Session Adaptation (FSA)は、トレーニング済みのニューラルネットワーク本体を最初の学習セッションのみに適応させ、その後修正する。 FSAは検討された16項目のうち15項目において、最先端よりも大幅に改善されている。 本稿では,身体適応の利点を予測できる非ラベル入力の集合に適用可能な尺度を提案する。
• 参考スコア（独自算出の注目度）: 26.88977803220915
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In Class-Incremental Learning (CIL) an image classification system is exposed to new classes in each learning session and must be updated incrementally. Methods approaching this problem have updated both the classification head and the feature extractor body at each session of CIL. In this work, we develop a baseline method, First Session Adaptation (FSA), that sheds light on the efficacy of existing CIL approaches and allows us to assess the relative performance contributions from head and body adaption. FSA adapts a pre-trained neural network body only on the first learning session and fixes it thereafter; a head based on linear discriminant analysis (LDA), is then placed on top of the adapted body, allowing exact updates through CIL. FSA is replay-free i.e.~it does not memorize examples from previous sessions of continual learning. To empirically motivate FSA, we first consider a diverse selection of 22 image-classification datasets, evaluating different heads and body adaptation techniques in high/low-shot offline settings. We find that the LDA head performs well and supports CIL out-of-the-box. We also find that Featurewise Layer Modulation (FiLM) adapters are highly effective in the few-shot setting, and full-body adaption in the high-shot setting. Second, we empirically investigate various CIL settings including high-shot CIL and few-shot CIL, including settings that have previously been used in the literature. We show that FSA significantly improves over the state-of-the-art in 15 of the 16 settings considered. FSA with FiLM adapters is especially performant in the few-shot setting. These results indicate that current approaches to continuous body adaptation are not working as expected. Finally, we propose a measure that can be applied to a set of unlabelled inputs which is predictive of the benefits of body adaptation.
• Abstract（参考訳）: 授業増分学習(CIL)では、画像分類システムは各学習セッションで新しいクラスに露出し、段階的に更新する必要がある。 この問題にアプローチする手法は、cilの各セッションで分類ヘッドと特徴抽出体の両方を更新した。 本研究では,既存のcilアプローチの有効性に光を当てる第1セッション適応(fsa)というベースライン手法を開発し,頭部と身体の適応による相対的パフォーマンスの寄与度を評価する。 FSAは、トレーニング済みのニューラルネットワーク本体を最初の学習セッションのみに適応させ、その後修正し、線形判別分析(LDA)に基づくヘッドを適応された本体の上に配置し、CILによる正確な更新を可能にする。 fsaはリプレイフリーであり、前回の継続的学習の例を記憶していない。 実験的にfsaを動機付けるために,まず,22種類の画像分類データセットの多種多様な選択を検討した。 LDAヘッドは良好に動作し、CILのアウト・オブ・ボックスをサポートしています。 また,FiLM(Featurewise Layer Modulation)アダプタは,複数ショット設定において非常に有効であり,ハイショット設定ではフルボディ適応が可能であることも確認した。 第2に,従来文献で使用されていた高精細度CILや小精細度CILなどの各種CIL設定を実証的に検討した。 検討した16項目のうち15項目において,FSAは最先端よりも有意に改善した。 FiLMアダプタを備えたFSAは、特に数ショット設定でパフォーマンスが良い。 これらの結果は, 連続体適応への現在のアプローチが期待通りに機能していないことを示している。 最後に,身体適応の利点を予測可能な非ラベル入力の集合に適用可能な尺度を提案する。

関連論文リスト

• Learning Prompt with Distribution-Based Feature Replay for Few-Shot Class-Incremental Learning [56.29097276129473]
  分散型特徴再現(LP-DiF)を用いた学習プロンプト(Learning Prompt)という,シンプルで効果的なフレームワークを提案する。 新しいセッションでは,学習可能なプロンプトが古い知識を忘れないようにするため,擬似機能的リプレイ手法を提案する。 新しいセッションに進むと、古いクラスのディストリビューションと現在のセッションのトレーニングイメージを組み合わせて擬似フィーチャーをサンプリングして、プロンプトを最適化する。
  論文  参考訳（メタデータ） (2024-01-03T07:59:17Z)
• Class Incremental Learning with Pre-trained Vision-Language Models [59.15538370859431]
  本稿では、事前学習された視覚言語モデル(例えば、CLIP)を利用して、さらなる適応を可能にするアプローチを提案する。 いくつかの従来のベンチマークの実験は、常に現在の最先端よりも顕著な改善のマージンを示している。
  論文  参考訳（メタデータ） (2023-10-31T10:45:03Z)
• Strong Baselines for Parameter Efficient Few-Shot Fine-tuning [50.83426196335385]
  FSC (Few-shot Classification) は、事前訓練(メタトレーニング)フェーズの後にクラス毎にいくつかの例を与えられた新しいクラスを学習する。 近年の研究では、新しいテストクラスで事前訓練された視覚変換器(ViT)を微調整することが、FSCにとって強力なアプローチであることが示されている。 しかし、微調整のViTは、時間、計算、ストレージに費用がかかる。 これにより、Transformerのパラメータのごく一部だけを微調整するPEFT法が考案された。
  論文  参考訳（メタデータ） (2023-04-04T16:14:39Z)
• Incremental Few-Shot Object Detection via Simple Fine-Tuning Approach [6.808112517338073]
  iFSDは、いくつかの例を使って、ベースクラスを再考することなく、新しいクラスを漸進的に学習する。 そこで本研究では,iFSDのための単純な微調整手法であるIncrmental Two-stage Fine-tuning Approach (iTFA)を提案する。 iTFAはCOCOの競争性能を達成し、LVISデータセットのメタラーニング手法よりも30%高いAP精度を示す。
  論文  参考訳（メタデータ） (2023-02-20T05:48:46Z)
• Class-Incremental Learning with Strong Pre-trained Models [97.84755144148535]
  CIL(Class-incremental Learning)は、少数のクラス(ベースクラス)から始まる設定で広く研究されている。 我々は、多数のベースクラスで事前訓練された強力なモデルから始まるCILの実証済み実世界の設定について検討する。 提案手法は、解析されたCIL設定すべてに頑健で一般化されている。
  論文  参考訳（メタデータ） (2022-04-07T17:58:07Z)
• Learning What Not to Segment: A New Perspective on Few-Shot Segmentation [63.910211095033596]
  近年では、FSS ( few-shot segmentation) が広く開発されている。 本稿では,問題を緩和するための新鮮で直接的な知見を提案する。 提案されたアプローチのユニークな性質を踏まえて、より現実的で挑戦的な設定にまで拡張する。
  論文  参考訳（メタデータ） (2022-03-15T03:08:27Z)
• No Fear of Heterogeneity: Classifier Calibration for Federated Learning with Non-IID Data [78.69828864672978]
  実世界のフェデレーションシステムにおける分類モデルのトレーニングにおける中心的な課題は、非IIDデータによる学習である。 このアルゴリズムは, 近似されたssian混合モデルからサンプリングした仮想表現を用いて分類器を調整する。 実験の結果,CIFAR-10,CIFAR-100,CINIC-10など,一般的なフェデレーション学習ベンチマークにおけるCCVRの現状が示された。
  論文  参考訳（メタデータ） (2021-06-09T12:02:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。