論文の概要: C-Flat++: Towards a More Efficient and Powerful Framework for Continual Learning

• arxiv url: http://arxiv.org/abs/2508.18860v2
• Date: Fri, 29 Aug 2025 11:36:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-01 13:41:09.933742
• Title: C-Flat++: Towards a More Efficient and Powerful Framework for Continual Learning
• Title（参考訳）: C-Flat++: 継続的学習のためのより効率的で強力なフレームワークを目指す
• Authors: Wei Li, Hangjie Yuan, Zixiang Zhao, Yifan Zhu, Aojun Lu, Tao Feng, Yanan Sun,
• Abstract要約: 連続学習に適した平らな損失景観を促進する方法であるtextbfContinual textbfFlatness (textbfC-Flat) を提案する。 C-Flatはプラグインとプレイの互換性を提供し、コードパイプラインへの最小限の変更で簡単に統合できる。 さらに、選択的平坦性駆動の促進を利用する効率的かつ効率的なフレームワークであるC-Flat++を紹介する。
• 参考スコア（独自算出の注目度）: 26.486835539215523
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Balancing sensitivity to new tasks and stability for retaining past knowledge is crucial in continual learning (CL). Recently, sharpness-aware minimization has proven effective in transfer learning and has also been adopted in continual learning (CL) to improve memory retention and learning efficiency. However, relying on zeroth-order sharpness alone may favor sharper minima over flatter ones in certain settings, leading to less robust and potentially suboptimal solutions. In this paper, we propose \textbf{C}ontinual \textbf{Flat}ness (\textbf{C-Flat}), a method that promotes flatter loss landscapes tailored for CL. C-Flat offers plug-and-play compatibility, enabling easy integration with minimal modifications to the code pipeline. Besides, we present a general framework that integrates C-Flat into all major CL paradigms and conduct comprehensive comparisons with loss-minima optimizers and flat-minima-based CL methods. Our results show that C-Flat consistently improves performance across a wide range of settings. In addition, we introduce C-Flat++, an efficient yet effective framework that leverages selective flatness-driven promotion, significantly reducing the update cost required by C-Flat. Extensive experiments across multiple CL methods, datasets, and scenarios demonstrate the effectiveness and efficiency of our proposed approaches. Code is available at https://github.com/WanNaa/C-Flat.
• Abstract（参考訳）: 新しいタスクに対する感受性のバランスと過去の知識を維持するための安定性は、継続的な学習(CL)において不可欠である。 近年、シャープネスを意識した最小化は転帰学習に有効であることが証明され、記憶保持と学習効率を向上させるために連続学習(CL)にも採用されている。 しかし、ゼロ階のシャープネスだけに頼れば、特定の設定で平らなものよりもシャープなミニマが好まれるかもしれない。 本稿では,CLに適した平らなロスランドスケープを促進する手法である \textbf{C}ontinual \textbf{Flat}ness (\textbf{C-Flat})を提案する。 C-Flatはプラグインとプレイの互換性を提供し、コードパイプラインへの最小限の変更で簡単に統合できる。 さらに、C-Flatをすべての主要なCLパラダイムに統合し、損失最小化とフラット最小化に基づくCL手法との包括的な比較を行う汎用フレームワークを提案する。 以上の結果から,C-Flatは幅広い設定で一貫して性能を改善していることがわかった。 さらにC-Flat++は、選択的な平坦性駆動のプロモーションを活用し、C-Flatが必要とする更新コストを大幅に削減する、効率的かつ効率的なフレームワークである。 複数のCLメソッド、データセット、シナリオにわたる大規模な実験は、提案手法の有効性と効率を実証する。 コードはhttps://github.com/WanNaa/C-Flat.comで入手できる。

関連論文リスト

• On the Convergence of Continual Federated Learning Using Incrementally Aggregated Gradients [2.2530496464901106]
  機械学習の聖杯は、連続的フェデレーション学習(CFL)によって、ストリーミングデータから学習しながら、AIシステムの効率、プライバシ、スケーラビリティを高めることである。 本稿では、エッジベースのメモリ勾配更新と、現在のデータに対する集約勾配からなる新しいリプレイメモリベースのフェデレーション戦略を提案する。 我々は,C-FLAGが,タスクとクラスインクリメンタル設定の両方において,精度や忘れなどの指標に関して,最先端のベースラインを上回っていることを実証的に示す。
  論文  参考訳（メタデータ） (2024-11-12T17:36:20Z)
• LoRanPAC: Low-rank Random Features and Pre-trained Models for Bridging Theory and Practice in Continual Learning [103.45785408116146]
  連続学習(CL)は、連続的に提示される複数のタスクを解決できるモデルを訓練することを目的としている。 最近のCLアプローチは、ダウンストリームタスクをうまく一般化する大規模な事前学習モデルを活用することで、強力なパフォーマンスを実現している。 しかし、これらの手法には理論的保証がなく、予期せぬ失敗をしがちである。 理論的に健全で高性能な単純なCL法を設計することで,このギャップを埋めることを目指している。
  論文  参考訳（メタデータ） (2024-10-01T12:58:37Z)
• Continual Learning on a Diet: Learning from Sparsely Labeled Streams Under Constrained Computation [123.4883806344334]
  本研究では,学習アルゴリズムが学習段階ごとに制限された計算予算を付与する,現実的な連続学習環境について検討する。 この設定を,スパースラベル率の高い大規模半教師付き連続学習シナリオに適用する。 広範に分析と改善を行った結果,DietCLはラベル空間,計算予算,その他様々な改善の完全な範囲で安定していることがわかった。
  論文  参考訳（メタデータ） (2024-04-19T10:10:39Z)
• Make Continual Learning Stronger via C-Flat [12.569738684003923]
  連続学習(CL)に適した平坦な損失景観を特徴とする連続平坦度(C-Flat)手法を提案する。 C-Flatは1行のコードだけで簡単に呼び出すことができ、任意のCLメソッドにプラグ&プレイできる。
  論文  参考訳（メタデータ） (2024-04-01T08:18:38Z)
• Does Continual Learning Equally Forget All Parameters? [55.431048995662714]
  連続学習(CL)における分散シフト(タスクやドメインシフトなど)は通常、ニューラルネットワークを壊滅的に忘れてしまう。 ニューラルネットワークのどのモジュールが、CL中のトレーニングダイナミクスを調査することによって忘れやすいかを検討する。 CL中に周期的にトリガされるFPFの1段階ごとのリプレイを完全に取り除き,わずか$k$で置き換える,より効率的でシンプルな手法を提案する。
  論文  参考訳（メタデータ） (2023-04-09T04:36:24Z)
• When Does Contrastive Learning Preserve Adversarial Robustness from Pretraining to Finetuning? [99.4914671654374]
  本稿では,新しい逆比較事前学習フレームワークAdvCLを提案する。 本稿では,AdvCLがモデル精度と微調整効率を損なうことなく,タスク間の堅牢性伝達性を向上できることを示す。
  論文  参考訳（メタデータ） (2021-11-01T17:59:43Z)
• Decoupled Contrastive Learning [23.25775900388382]
  我々は,広く使用されているクロスエントロピー(InfoNCE)損失における顕著な負陽性結合(NPC)効果を同定した。 NPC効果を適切に処理することにより、非結合型コントラスト学習(DCL)目標関数に到達する。 われわれのアプローチは、200時間以内のバッチサイズ256を使用して6.9%のImageNet top-1精度を実現し、ベースラインのSimCLRを5.1%上回った。
  論文  参考訳（メタデータ） (2021-10-13T16:38:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。