論文の概要: Make Continual Learning Stronger via C-Flat
- arxiv url: http://arxiv.org/abs/2404.00986v1
- Date: Mon, 1 Apr 2024 08:18:38 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-03 22:56:51.665528
- Title: Make Continual Learning Stronger via C-Flat
- Title(参考訳): C-Flatによる継続的学習の強化
- Authors: Ang Bian, Wei Li, Hangjie Yuan, Chengrong Yu, Zixiang Zhao, Mang Wang, Aojun Lu, Tao Feng,
- Abstract要約: 連続学習(CL)に適した平坦な損失景観を特徴とする連続平坦度(C-Flat)手法を提案する。
C-Flatは1行のコードだけで簡単に呼び出すことができ、任意のCLメソッドにプラグ&プレイできる。
- 参考スコア(独自算出の注目度): 13.042434803115707
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Model generalization ability upon incrementally acquiring dynamically updating knowledge from sequentially arriving tasks is crucial to tackle the sensitivity-stability dilemma in Continual Learning (CL). Weight loss landscape sharpness minimization seeking for flat minima lying in neighborhoods with uniform low loss or smooth gradient is proven to be a strong training regime improving model generalization compared with loss minimization based optimizer like SGD. Yet only a few works have discussed this training regime for CL, proving that dedicated designed zeroth-order sharpness optimizer can improve CL performance. In this work, we propose a Continual Flatness (C-Flat) method featuring a flatter loss landscape tailored for CL. C-Flat could be easily called with only one line of code and is plug-and-play to any CL methods. A general framework of C-Flat applied to all CL categories and a thorough comparison with loss minima optimizer and flat minima based CL approaches is presented in this paper, showing that our method can boost CL performance in almost all cases. Code will be publicly available upon publication.
- Abstract(参考訳): 逐次到着タスクから動的に更新された知識を段階的に獲得するモデル一般化能力は、連続学習(CL)における感度安定ジレンマに取り組む上で重要である。
SGDのような損失最小化に基づく最適化に比べて、均一な低損失やスムーズな勾配を有する地区における平坦な最小化を求める重量損失ランドスケープのシャープネスの最小化は、モデル一般化を改善する強力な訓練方法であることが証明された。
しかし、CLのこのトレーニング体制について議論する研究はごくわずかであり、専用設計のゼロ階シャープネスオプティマイザがCL性能を向上させることを証明している。
本研究では,CLに適した平らなロスランドスケープを備えた連続平坦度(C-Flat)法を提案する。
C-Flatは1行のコードだけで簡単に呼び出すことができ、任意のCLメソッドにプラグ&プレイできる。
本稿では,すべてのCLカテゴリに適用されたC-Flatの一般的なフレームワークと,損失最小化器とフラット最小化方式のCLアプローチとの徹底的な比較を行い,ほぼすべてのケースでCL性能を向上できることを示す。
コードは公開時に公開される。
関連論文リスト
- CLAP4CLIP: Continual Learning with Probabilistic Finetuning for Vision-Language Models [23.398619576886375]
継続学習(CL)は、深層ニューラルネットワークが学習内容を保持しながら新しい知識を学ぶのを支援することを目的としている。
近年、CLIPのような強力な一般化能力を持つ事前学習型視覚言語モデルが、実用的なCL候補として注目を集めている。
我々の研究は、確率的微調整(CLAP)による連続LeArningを提案する。
論文 参考訳(メタデータ) (2024-03-28T04:15:58Z) - FairerCLIP: Debiasing CLIP's Zero-Shot Predictions using Functions in RKHSs [24.991684983495542]
本稿では,CLIPのゼロショット予測をより公平かつ堅牢に行うための一般手法であるFairerCLIPを提案する。
ヒルベルト核空間(RKHS)の再生において,CLIPのイメージとテキスト表現を両立させる問題を定式化する。
論文 参考訳(メタデータ) (2024-03-22T19:41:26Z) - A Hard-to-Beat Baseline for Training-free CLIP-based Adaptation [121.0693322732454]
対照的に、CLIP(Contrastive Language- Image Pretraining)はその目覚ましいゼロショット能力で人気を集めている。
近年の研究では、下流タスクにおけるCLIPの性能を高めるための効率的な微調整手法の開発に焦点が当てられている。
従来のアルゴリズムであるガウス判別分析(GDA)を再検討し,CLIPの下流分類に適用する。
論文 参考訳(メタデータ) (2024-02-06T15:45:27Z) - In-context Learning and Gradient Descent Revisited [3.085927389171139]
トレーニングされていないモデルでさえ、ICLを提示していないにもかかわらず、同等のICL-GD類似度スコアが得られることを示す。
次に、ICLとGDのモデル全体にわたる情報の流れにおける大きな相違について検討し、これをレイヤ因果性(Layer Causality)と呼ぶ。
本稿では,階層因果関係を尊重する単純なGDに基づく最適化手法を提案する。
論文 参考訳(メタデータ) (2023-11-13T21:42:38Z) - Gradient constrained sharpness-aware prompt learning for vision-language
models [99.74832984957025]
本稿では,視覚言語モデル(VLM)の一般化可能な即時学習における新たなトレードオフ問題を提案する。
最先端手法のロスランドスケープとSAMに基づくバニラシャープネス認識最小化法を解析することにより、トレードオフ性能は損失値と損失シャープネスの両方に相関していると結論付けた。
本稿では,GCSCoOp (Gradient Constrained Sharpness-Aware Context Optimization) と表記される,素早い学習のためのSAMベースの新しい手法を提案する。
論文 参考訳(メタデータ) (2023-09-14T17:13:54Z) - Which Features are Learnt by Contrastive Learning? On the Role of
Simplicity Bias in Class Collapse and Feature Suppression [59.97965005675144]
コントラスト学習(CL)は,ラベル管理の有無に関わらず,表現学習の強力な技術として登場した。
CLによって学習される特徴を判定する,理論的に厳密な最初の統合フレームワークを提供する。
本稿では,2つの理論的動機付けされた解として,埋め込み次元の増大とデータ拡張の質の向上について述べる。
論文 参考訳(メタデータ) (2023-05-25T23:37:22Z) - CLIPood: Generalizing CLIP to Out-of-Distributions [73.86353105017076]
対照的に、CLIP(Language-image Pre-training)モデルでは、印象的なゼロショット能力を示しているが、下流タスクにおけるCLIPのさらなる適応は、OODのパフォーマンスを好ましくない劣化させる。
ドメインシフトとオープンクラスの両方が見えないテストデータ上で発生する可能性があるOOD状況にCLIPモデルを適用するための微調整手法であるCLIPoodを提案する。
さまざまなOODシナリオによるさまざまなデータセットの実験は、CLIPoodが既存の一般化テクニックを一貫して上回っていることを示している。
論文 参考訳(メタデータ) (2023-02-02T04:27:54Z) - CLIP is Also an Efficient Segmenter: A Text-Driven Approach for Weakly
Supervised Semantic Segmentation [19.208559353954833]
本稿では,コントラスト言語-画像事前学習モデル(CLIP)が,画像レベルラベルのみを用いて異なるカテゴリをローカライズする可能性について検討する。
高品質なセグメンテーションマスクをCLIPから効率的に生成するために,CLIP-ESと呼ばれる新しいWSSSフレームワークを提案する。
論文 参考訳(メタデータ) (2022-12-16T06:23:59Z) - CLIP Itself is a Strong Fine-tuner: Achieving 85.7% and 88.0% Top-1
Accuracy with ViT-B and ViT-L on ImageNet [139.56863124214905]
CLIPの微調整性能はかなり過小評価されている。
具体的には、CLIP ViT-Base/16とCLIP ViT-Large/14は、ImageNet-1KデータセットのTop-1精度を85.7%、88.0%微調整することができる。
論文 参考訳(メタデータ) (2022-12-12T18:59:59Z) - Do Pre-trained Models Benefit Equally in Continual Learning? [22.457562524649934]
既存の継続学習(CL)の研究は主に、ゼロから訓練されたモデルのアルゴリズムの開発に費やされている。
コントリビュートベンチマークのパフォーマンスは高いが、これらのアルゴリズムは現実のシナリオで劇的なパフォーマンス低下を示す。
本稿では,CLに対する事前学習の体系的導入を提唱する。
論文 参考訳(メタデータ) (2022-10-27T18:03:37Z) - The CLEAR Benchmark: Continual LEArning on Real-World Imagery [77.98377088698984]
連続学習(CL)は、生涯AIにとって重要な課題であると考えられている。
本稿では,視覚概念の自然な時間進化を伴う最初の連続画像分類ベンチマークであるCLEARを紹介する。
単純な教師なし事前学習のステップで、最先端のCLアルゴリズムがすでに強化されていることが分かりました。
論文 参考訳(メタデータ) (2022-01-17T09:09:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。