論文の概要: MgSvF: Multi-Grained Slow vs. Fast Framework for Few-Shot Class-Incremental Learning

• arxiv url: http://arxiv.org/abs/2006.15524v4
• Date: Tue, 12 Mar 2024 12:53:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-14 02:54:00.863067
• Title: MgSvF: Multi-Grained Slow vs. Fast Framework for Few-Shot Class-Incremental Learning
• Title（参考訳）: mgsvf: クラスインクリメンタル学習のための多粒度スロー対高速フレームワーク
• Authors: Hanbin Zhao, Yongjian Fu, Mintong Kang, Qi Tian, Fei Wu, Xi Li
• Abstract要約: FSCIL(Few-shot class-incremental Learning)は、一連のタスクを継続的に学習する。 スロー vs. ファスト" (SvF) ジレンマによって、どの知識コンポーネントを遅い方法で、あるいは速い方法で更新すべきかを決定する。 2つの異なる粒子からSvFジレンマに対処する多粒SvF学習戦略を提案する。
• 参考スコア（独自算出の注目度）: 64.2428844593338
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As a challenging problem, few-shot class-incremental learning (FSCIL) continually learns a sequence of tasks, confronting the dilemma between slow forgetting of old knowledge and fast adaptation to new knowledge. In this paper, we concentrate on this "slow vs. fast" (SvF) dilemma to determine which knowledge components to be updated in a slow fashion or a fast fashion, and thereby balance old-knowledge preservation and new-knowledge adaptation. We propose a multi-grained SvF learning strategy to cope with the SvF dilemma from two different grains: intra-space (within the same feature space) and inter-space (between two different feature spaces). The proposed strategy designs a novel frequency-aware regularization to boost the intra-space SvF capability, and meanwhile develops a new feature space composition operation to enhance the inter-space SvF learning performance. With the multi-grained SvF learning strategy, our method outperforms the state-of-the-art approaches by a large margin.
• Abstract（参考訳）: 難題として、FSCIL(英語版)は課題の連続を継続的に学習し、古い知識の忘れが遅いことと新しい知識への適応が速いというジレンマに直面している。 本稿では,この「遅い対速い」(SvF)ジレンマに集中して,どの知識コンポーネントを遅い方法で,あるいは速い方法で更新すべきかを判断し,古知識保存と新知識適応のバランスをとる。 本研究では,SvFジレンマを空間内(同じ特徴空間内)と空間間(異なる特徴空間間)の2つの異なる粒子から処理する多粒SvF学習戦略を提案する。 提案手法は空間内svf能力を高めるための新しい周波数認識正規化を設計、一方で空間間svf学習性能を向上させるために新しい特徴空間合成操作を開発する。 マルチグラデーションSvF学習戦略により,本手法は最先端の手法よりも大きなマージンで優れる。

関連論文リスト

• CLOSER: Towards Better Representation Learning for Few-Shot Class-Incremental Learning [52.63674911541416]
  FSCIL(Few-shot class-incremental Learning)は、過剰適合や忘れなど、いくつかの課題に直面している。 FSCILの独特な課題に取り組むため、ベースクラスでの表現学習に重点を置いている。 より制限された機能空間内で機能の拡散を確保することで、学習された表現が、伝達可能性と識別可能性のバランスを良くすることが可能になることが分かりました。
  論文  参考訳（メタデータ） (2024-10-08T02:23:16Z)
• SLCA++: Unleash the Power of Sequential Fine-tuning for Continual Learning with Pre-training [68.7896349660824]
  本稿では,Seq FTのレンズからの進行オーバーフィッティング問題を詳細に解析する。 過度に高速な表現学習と偏りのある分類層がこの問題を構成することを考慮し、先進的なSlow Learner with Alignment(S++)フレームワークを導入する。 提案手法は,バックボーンパラメータの学習率を選択的に減少させるスローラーナーと,ポストホック方式で不規則な分類層を整列させるアライメントを含む。
  論文  参考訳（メタデータ） (2024-08-15T17:50:07Z)
• We Don't Need No Adam, All We Need Is EVE: On The Variance of Dual Learning Rate And Beyond [0.0]
  本稿では、勾配の異なる成分に異なる学習率を革新的に適用する新しい手法である強化速度推定法(EVE)を提案する。 学習率を2倍にすることで、EVEはよりニュアンスな制御とより高速な収束を可能にし、従来の単一学習率アプローチに関連する課題に対処する。
  論文  参考訳（メタデータ） (2023-08-21T14:08:42Z)
• Dense Network Expansion for Class Incremental Learning [61.00081795200547]
  最先端のアプローチでは、ネットワーク拡張(NE)に基づいた動的アーキテクチャを使用し、タスクごとにタスクエキスパートを追加する。 精度とモデル複雑性のトレードオフを改善するために,新しい NE 手法である高密度ネットワーク拡張 (DNE) を提案する。 従来のSOTA法では、類似またはより小さなモデルスケールで、精度の点で4%のマージンで性能が向上した。
  論文  参考訳（メタデータ） (2023-03-22T16:42:26Z)
• Enhancing Adversarial Training with Feature Separability [52.39305978984573]
  本稿では,特徴分離性を備えた対人訓練(ATFS)により,クラス内特徴の類似性を向上し,クラス間特徴分散を増大させることができる,新たな対人訓練グラフ(ATG)を提案する。 包括的な実験を通じて、提案したATFSフレームワークがクリーンかつロバストなパフォーマンスを著しく改善することを示した。
  論文  参考訳（メタデータ） (2022-05-02T04:04:23Z)
• Gap Minimization for Knowledge Sharing and Transfer [24.954256258648982]
  本稿では,学習課題間の距離の直感的かつ新しい尺度であるエンファンパシーギャップの概念を紹介する。 性能ギャップをデータおよびアルゴリズムに依存した正規化器とみなすことができ、モデルの複雑さを制御し、より詳細な保証をもたらす。 私たちはこの原理を2つのアルゴリズムでインスタンス化する: 1. gapBoost, トランスファーラーニングのためのソースとターゲットドメイン間のパフォーマンスギャップを明示的に最小化する新規で原則化されたブースティングアルゴリズム; 2. gapMTNN, ギャップ最小化をセマンティック条件マッチングとして再構成する表現学習アルゴリズム
  論文  参考訳（メタデータ） (2022-01-26T23:06:20Z)
• Learn Faster and Forget Slower via Fast and Stable Task Adaptation [10.696114236900808]
  現在の微調整技術により、事前訓練されたモデルは、新しいタスクが学習される前に、転送された知識を忘れることができる。 本稿では,Fast And Stable Task-Adaptation (FAST)を提案する。 実験により,FASTはより高速に目標タスクを学習し,ソースタスクを遅くすることを示す。
  論文  参考訳（メタデータ） (2020-07-02T21:13:55Z)
• Incremental Few-Shot Object Detection for Robotics [15.082365880914896]
  クラスインクリメンタルなFew-Shot Object Detection (CI-FSOD) フレームワークにより、ディープオブジェクト検出ネットワークは、少数のサンプルから効果的な連続学習を行うことができる。 我々のフレームワークは単純だが有効であり、AP性能において2.4ポイントの差で以前のSOTAより優れています。
  論文  参考訳（メタデータ） (2020-05-06T08:05:08Z)
• Few-Shot Class-Incremental Learning [68.75462849428196]
  本稿では,FSCIL問題に焦点をあてる。 FSCIL は CNN モデルに対して,学習済みのクラスを忘れることなく,ラベル付きサンプルのごく少数から新たなクラスを漸進的に学習することを求めている。 我々は,異なるクラスで形成される特徴多様体のトポロジーを学習し,保存するニューラルネットワーク(NG)ネットワークを用いて,知識を表現する。
  論文  参考訳（メタデータ） (2020-04-23T03:38:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。