論文の概要: Big-model Driven Few-shot Continual Learning

• arxiv url: http://arxiv.org/abs/2309.00862v1
• Date: Sat, 2 Sep 2023 08:39:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-07 00:49:20.895198
• Title: Big-model Driven Few-shot Continual Learning
• Title（参考訳）: ビッグモデル駆動型Few-shot連続学習
• Authors: Ziqi Gu and Chunyan Xu and Zihan Lu and Xin Liu and Anbo Dai and Zhen Cui
• Abstract要約: 本稿では,B-FSCL(Big-model driven Few-shot Continual Learning)フレームワークを提案する。 提案したB-FSCLの3つの一般的なデータセットに対する実験結果が,最先端のFSCL手法を全面的に上回った。
• 参考スコア（独自算出の注目度）: 24.392821997721295
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Few-shot continual learning (FSCL) has attracted intensive attention and achieved some advances in recent years, but now it is difficult to again make a big stride in accuracy due to the limitation of only few-shot incremental samples. Inspired by distinctive human cognition ability in life learning, in this work, we propose a novel Big-model driven Few-shot Continual Learning (B-FSCL) framework to gradually evolve the model under the traction of the world's big-models (like human accumulative knowledge). Specifically, we perform the big-model driven transfer learning to leverage the powerful encoding capability of these existing big-models, which can adapt the continual model to a few of newly added samples while avoiding the over-fitting problem. Considering that the big-model and the continual model may have different perceived results for the identical images, we introduce an instance-level adaptive decision mechanism to provide the high-level flexibility cognitive support adjusted to varying samples. In turn, the adaptive decision can be further adopted to optimize the parameters of the continual model, performing the adaptive distillation of big-model's knowledge information. Experimental results of our proposed B-FSCL on three popular datasets (including CIFAR100, minilmageNet and CUB200) completely surpass all state-of-the-art FSCL methods.
• Abstract（参考訳）: 少数ショット連続学習(英語版) (fscl) は近年、集中的に注目され、いくつかの進歩を遂げているが、少数ショットのインクリメンタルなサンプルが限られているため、再び精度を大きく前進させることは困難である。 ライフラーニングにおける人間の認知能力に触発された本研究では,世界の大モデル(人間の累積知識など)の牽引の下で,モデルを徐々に進化させる,新たなビッグモデル駆動型Few-shot Continual Learning(B-FSCL)フレームワークを提案する。 具体的には,既存の大規模モデルの強力な符号化能力を活用するために,大規模モデル駆動型トランスファー学習を行い,新たなサンプルに連続モデルを適用することで,過度に適合する問題を回避している。 同一画像に対して,大モデルと連続モデルが異なる知覚結果を持つ可能性があることを考慮し,異なるサンプルに適応した高レベル柔軟性認知支援を提供するために,インスタンスレベルの適応的決定機構を導入する。 適応的決定は、大規模モデルの知識情報の適応蒸留を行い、継続モデルのパラメータを最適化するためにさらに適用することができる。 CIFAR100, minilmageNet, CUB200を含む3つの一般的なデータセットに対するB-FSCLの実験結果が, 最先端FSCLの手法を全面的に上回った。

関連論文リスト

• Mamba-FSCIL: Dynamic Adaptation with Selective State Space Model for Few-Shot Class-Incremental Learning [113.89327264634984]
  FSCIL(Few-shot class-incremental Learning)は、最小限のトレーニングサンプルを持つモデルに新しいクラスを統合するという課題に直面している。 従来の手法では、固定パラメータ空間に依存する静的適応を広く採用し、逐次到着するデータから学習する。 本稿では、動的適応のための中間特徴に基づいてプロジェクションパラメータを動的に調整する2つの選択型SSMプロジェクタを提案する。
  論文  参考訳（メタデータ） (2024-07-08T17:09:39Z)
• Boosting Continual Learning of Vision-Language Models via Mixture-of-Experts Adapters [65.15700861265432]
  本稿では,視覚言語モデルを用いた漸進的学習における長期的忘れを緩和するパラメータ効率の連続学習フレームワークを提案する。 提案手法では,Mixture-of-Experts (MoE)アダプタの統合により,事前学習したCLIPモデルの動的拡張を行う。 視覚言語モデルのゼロショット認識能力を維持するために,分布判別オートセレクタを提案する。
  論文  参考訳（メタデータ） (2024-03-18T08:00:23Z)
• Diffusion-Based Neural Network Weights Generation [80.89706112736353]
  D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。 本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。 我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
  論文  参考訳（メタデータ） (2024-02-28T08:34:23Z)
• Enhanced Few-Shot Class-Incremental Learning via Ensemble Models [34.84881941101568]
  クラス増分学習(class-incremental learning)は、新しいクラスを限られたトレーニングデータに継続的に適合させることを目的としている。 主な課題は、珍しい新しいトレーニングサンプルを過度に適合させ、古いクラスを忘れることである。 本稿では,データ拡張と協調して一般化を促進する新しいアンサンブルモデルフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-14T06:07:07Z)
• Fantastic Gains and Where to Find Them: On the Existence and Prospect of General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
  事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。 このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
  論文  参考訳（メタデータ） (2023-10-26T17:59:46Z)
• Mitigating Forgetting in Online Continual Learning via Contrasting Semantically Distinct Augmentations [22.289830907729705]
  オンライン連続学習(OCL)は、非定常データストリームからモデル学習を可能とし、新たな知識を継続的に獲得し、学習した知識を維持することを目的としている。 主な課題は、"破滅的な忘れる"問題、すなわち、新しい知識を学習しながら学習した知識を十分に記憶できないことにある。
  論文  参考訳（メタデータ） (2022-11-10T05:29:43Z)
• FOSTER: Feature Boosting and Compression for Class-Incremental Learning [52.603520403933985]
  ディープニューラルネットワークは、新しいカテゴリーを学ぶ際に破滅的な忘れ方に悩まされる。 本稿では,新たなカテゴリを適応的に学習するためのモデルとして,新しい2段階学習パラダイムFOSTERを提案する。
  論文  参考訳（メタデータ） (2022-04-10T11:38:33Z)
• Closed-form Continuous-Depth Models [99.40335716948101]
  連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。 我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
  論文  参考訳（メタデータ） (2021-06-25T22:08:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。