論文の概要: Make Continual Learning Stronger via C-Flat

• arxiv url: http://arxiv.org/abs/2404.00986v2
• Date: Fri, 01 Nov 2024 05:03:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-04 14:32:58.685957
• Title: Make Continual Learning Stronger via C-Flat
• Title（参考訳）: C-Flatによる継続的学習の強化
• Authors: Ang Bian, Wei Li, Hangjie Yuan, Chengrong Yu, Mang Wang, Zixiang Zhao, Aojun Lu, Pengliang Ji, Tao Feng,
• Abstract要約: 連続学習(CL)に適した平坦な損失景観を特徴とする連続平坦度(C-Flat)手法を提案する。 C-Flatは1行のコードだけで簡単に呼び出すことができ、任意のCLメソッドにプラグ&プレイできる。
• 参考スコア（独自算出の注目度）: 12.569738684003923
• License:
• Abstract: Model generalization ability upon incrementally acquiring dynamically updating knowledge from sequentially arriving tasks is crucial to tackle the sensitivity-stability dilemma in Continual Learning (CL). Weight loss landscape sharpness minimization seeking for flat minima lying in neighborhoods with uniform low loss or smooth gradient is proven to be a strong training regime improving model generalization compared with loss minimization based optimizer like SGD. Yet only a few works have discussed this training regime for CL, proving that dedicated designed zeroth-order sharpness optimizer can improve CL performance. In this work, we propose a Continual Flatness (C-Flat) method featuring a flatter loss landscape tailored for CL. C-Flat could be easily called with only one line of code and is plug-and-play to any CL methods. A general framework of C-Flat applied to all CL categories and a thorough comparison with loss minima optimizer and flat minima based CL approaches is presented in this paper, showing that our method can boost CL performance in almost all cases. Code is available at https://github.com/WanNaa/C-Flat.
• Abstract（参考訳）: 逐次到着タスクから動的に更新された知識を段階的に獲得するモデル一般化能力は、連続学習(CL)における感度安定ジレンマに取り組む上で重要である。 SGDのような損失最小化に基づく最適化に比べて、均一な低損失やスムーズな勾配を有する地区における平坦な最小化を求める重量損失ランドスケープのシャープネスの最小化は、モデル一般化を改善する強力な訓練方法であることが証明された。 しかし、CLのこのトレーニング体制について議論する研究はごくわずかであり、専用設計のゼロ階シャープネスオプティマイザがCL性能を向上させることを証明している。 本研究では,CLに適した平らなロスランドスケープを備えた連続平坦度(C-Flat)法を提案する。 C-Flatは1行のコードだけで簡単に呼び出すことができ、任意のCLメソッドにプラグ&プレイできる。 本稿では,すべてのCLカテゴリに適用されたC-Flatの一般的なフレームワークと,損失最小化器とフラット最小化方式のCLアプローチとの徹底的な比較を行い,ほぼすべてのケースでCL性能を向上できることを示す。 コードはhttps://github.com/WanNaa/C-Flat.comで入手できる。

関連論文リスト

• TS-ACL: A Time Series Analytic Continual Learning Framework for Privacy-Preserving and Class-Incremental Pattern Recognition [14.6394894445113]
  本稿では,TS-ACLと呼ばれる時系列解析連続学習フレームワークを提案する。 解析学習にインスパイアされたTS-ACLは、ニューラルネットワークの更新を勾配のない線形回帰問題に変換する。 我々のフレームワークはリアルタイムアプリケーションや大規模データ処理に非常に適しています。
  論文  参考訳（メタデータ） (2024-10-21T12:34:02Z)
• ICL-TSVD: Bridging Theory and Practice in Continual Learning with Pre-trained Models [103.45785408116146]
  連続学習(CL)は、連続的に提示される複数のタスクを解決できるモデルを訓練することを目的としている。 最近のCLアプローチは、ダウンストリームタスクをうまく一般化する大規模な事前学習モデルを活用することで、強力なパフォーマンスを実現している。 しかし、これらの手法には理論的保証がなく、予期せぬ失敗をしがちである。 私たちは、経験的に強いアプローチを原則化されたフレームワークに統合することで、このギャップを埋めます。
  論文  参考訳（メタデータ） (2024-10-01T12:58:37Z)
• SLCA++: Unleash the Power of Sequential Fine-tuning for Continual Learning with Pre-training [68.7896349660824]
  本稿では,Seq FTのレンズからの進行オーバーフィッティング問題を詳細に解析する。 過度に高速な表現学習と偏りのある分類層がこの問題を構成することを考慮し、先進的なSlow Learner with Alignment(S++)フレームワークを導入する。 提案手法は,バックボーンパラメータの学習率を選択的に減少させるスローラーナーと,ポストホック方式で不規則な分類層を整列させるアライメントを含む。
  論文  参考訳（メタデータ） (2024-08-15T17:50:07Z)
• CLAP4CLIP: Continual Learning with Probabilistic Finetuning for Vision-Language Models [23.398619576886375]
  継続学習(CL)は、ディープラーニングが学習したものを保持しながら、新しい知識を学ぶのを支援することを目的としている。 タスクごとの視覚誘導テキスト機能に対する確率的モデリングフレームワークであるCLAP(Continuous LeArning with Probabilistic Finetuning)を提案する。
  論文  参考訳（メタデータ） (2024-03-28T04:15:58Z)
• A Hard-to-Beat Baseline for Training-free CLIP-based Adaptation [121.0693322732454]
  対照的に、CLIP(Contrastive Language- Image Pretraining)はその目覚ましいゼロショット能力で人気を集めている。 近年の研究では、下流タスクにおけるCLIPの性能を高めるための効率的な微調整手法の開発に焦点が当てられている。 従来のアルゴリズムであるガウス判別分析(GDA)を再検討し,CLIPの下流分類に適用する。
  論文  参考訳（メタデータ） (2024-02-06T15:45:27Z)
• In-context Learning and Gradient Descent Revisited [3.085927389171139]
  トレーニングされていないモデルでさえ、ICLを提示していないにもかかわらず、同等のICL-GD類似度スコアが得られることを示す。 次に、ICLとGDのモデル全体にわたる情報の流れにおける大きな相違について検討し、これをレイヤ因果性(Layer Causality)と呼ぶ。 本稿では,階層因果関係を尊重する単純なGDに基づく最適化手法を提案する。
  論文  参考訳（メタデータ） (2023-11-13T21:42:38Z)
• Which Features are Learnt by Contrastive Learning? On the Role of Simplicity Bias in Class Collapse and Feature Suppression [59.97965005675144]
  コントラスト学習(CL)は,ラベル管理の有無に関わらず,表現学習の強力な技術として登場した。 CLによって学習される特徴を判定する,理論的に厳密な最初の統合フレームワークを提供する。 本稿では,2つの理論的動機付けされた解として,埋め込み次元の増大とデータ拡張の質の向上について述べる。
  論文  参考訳（メタデータ） (2023-05-25T23:37:22Z)
• Does Continual Learning Equally Forget All Parameters? [55.431048995662714]
  連続学習(CL)における分散シフト(タスクやドメインシフトなど)は通常、ニューラルネットワークを壊滅的に忘れてしまう。 ニューラルネットワークのどのモジュールが、CL中のトレーニングダイナミクスを調査することによって忘れやすいかを検討する。 CL中に周期的にトリガされるFPFの1段階ごとのリプレイを完全に取り除き,わずか$k$で置き換える,より効率的でシンプルな手法を提案する。
  論文  参考訳（メタデータ） (2023-04-09T04:36:24Z)
• CLIP Itself is a Strong Fine-tuner: Achieving 85.7% and 88.0% Top-1 Accuracy with ViT-B and ViT-L on ImageNet [139.56863124214905]
  CLIPの微調整性能はかなり過小評価されている。 具体的には、CLIP ViT-Base/16とCLIP ViT-Large/14は、ImageNet-1KデータセットのTop-1精度を85.7%、88.0%微調整することができる。
  論文  参考訳（メタデータ） (2022-12-12T18:59:59Z)
• Do Pre-trained Models Benefit Equally in Continual Learning? [25.959813589169176]
  既存の継続学習(CL)の研究は主に、ゼロから訓練されたモデルのアルゴリズムの開発に費やされている。 コントリビュートベンチマークのパフォーマンスは高いが、これらのアルゴリズムは現実のシナリオで劇的なパフォーマンス低下を示す。 本稿では,CLに対する事前学習の体系的導入を提唱する。
  論文  参考訳（メタデータ） (2022-10-27T18:03:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。