Fugu-MT 論文翻訳(概要): C-Flat++: Towards a More Efficient and Powerful Framework for Continual Learning

論文の概要: C-Flat++: Towards a More Efficient and Powerful Framework for Continual Learning

arxiv url: http://arxiv.org/abs/2508.18860v2
Date: Fri, 29 Aug 2025 11:36:39 GMT
ステータス: 翻訳完了
システム内更新日: 2025-09-01 13:41:09.933742
Title: C-Flat++: Towards a More Efficient and Powerful Framework for Continual Learning
Title（参考訳）: C-Flat++: 継続的学習のためのより効率的で強力なフレームワークを目指す
Authors: Wei Li, Hangjie Yuan, Zixiang Zhao, Yifan Zhu, Aojun Lu, Tao Feng, Yanan Sun,
Abstract要約: 連続学習に適した平らな損失景観を促進する方法であるtextbfContinual textbfFlatness (textbfC-Flat) を提案する。 C-Flatはプラグインとプレイの互換性を提供し、コードパイプラインへの最小限の変更で簡単に統合できる。さらに、選択的平坦性駆動の促進を利用する効率的かつ効率的なフレームワークであるC-Flat++を紹介する。
参考スコア（独自算出の注目度）: 26.486835539215523
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Balancing sensitivity to new tasks and stability for retaining past knowledge is crucial in continual learning (CL). Recently, sharpness-aware minimization has proven effective in transfer learning and has also been adopted in continual learning (CL) to improve memory retention and learning efficiency. However, relying on zeroth-order sharpness alone may favor sharper minima over flatter ones in certain settings, leading to less robust and potentially suboptimal solutions. In this paper, we propose \textbf{C}ontinual \textbf{Flat}ness (\textbf{C-Flat}), a method that promotes flatter loss landscapes tailored for CL. C-Flat offers plug-and-play compatibility, enabling easy integration with minimal modifications to the code pipeline. Besides, we present a general framework that integrates C-Flat into all major CL paradigms and conduct comprehensive comparisons with loss-minima optimizers and flat-minima-based CL methods. Our results show that C-Flat consistently improves performance across a wide range of settings. In addition, we introduce C-Flat++, an efficient yet effective framework that leverages selective flatness-driven promotion, significantly reducing the update cost required by C-Flat. Extensive experiments across multiple CL methods, datasets, and scenarios demonstrate the effectiveness and efficiency of our proposed approaches. Code is available at https://github.com/WanNaa/C-Flat.
Abstract（参考訳）: 新しいタスクに対する感受性のバランスと過去の知識を維持するための安定性は、継続的な学習(CL)において不可欠である。近年、シャープネスを意識した最小化は転帰学習に有効であることが証明され、記憶保持と学習効率を向上させるために連続学習(CL)にも採用されている。しかし、ゼロ階のシャープネスだけに頼れば、特定の設定で平らなものよりもシャープなミニマが好まれるかもしれない。本稿では,CLに適した平らなロスランドスケープを促進する手法である \textbf{C}ontinual \textbf{Flat}ness (\textbf{C-Flat})を提案する。 C-Flatはプラグインとプレイの互換性を提供し、コードパイプラインへの最小限の変更で簡単に統合できる。さらに、C-Flatをすべての主要なCLパラダイムに統合し、損失最小化とフラット最小化に基づくCL手法との包括的な比較を行う汎用フレームワークを提案する。以上の結果から,C-Flatは幅広い設定で一貫して性能を改善していることがわかった。さらにC-Flat++は、選択的な平坦性駆動のプロモーションを活用し、C-Flatが必要とする更新コストを大幅に削減する、効率的かつ効率的なフレームワークである。複数のCLメソッド、データセット、シナリオにわたる大規模な実験は、提案手法の有効性と効率を実証する。コードはhttps://github.com/WanNaa/C-Flat.comで入手できる。

関連論文リスト

Beyond Sharpness: A Flatness Decomposition Framework for Efficient Continual Learning [27.583428955764774]
連続学習は、モデルが過去の知識を忘れずに連続的に複数のタスクを学習できるようにすることを目的としている。継続学習のための既存のシャープネス対応手法には2つの重要な制限がある。本稿では、摂動をシャープネス整合成分と勾配雑音成分に分解する新しい最適化フレームワークFLADを提案する。
論文参考訳（メタデータ） (2026-01-12T15:17:04Z)
More Than Memory Savings: Zeroth-Order Optimization Mitigates Forgetting in Continual Learning [10.698225972251839]
Zeroth-order (ZO) 最適化は、一階法(FO) に代わるメモリ効率の代替として注目されている。本研究では,ZOの最適化が自然に損失景観の平ら化を招き,連続学習における忘れを減少させることを示す。この安定性は可塑性のコストを伴い、不正確な勾配推定と緩やかな収束により、ZO最適化は新しいタスク固有の知識を取得する際にFOよりも効果が低い傾向にある。 FO最適化分類器を備えた単一アダプタベースのPEFTモジュールに対して,ZO最適化を適用した簡易かつ効果的なZO-FCを提案する。
論文参考訳（メタデータ） (2025-10-23T21:54:00Z)
AmorLIP: Efficient Language-Image Pretraining via Amortization [52.533088120633785]
Contrastive Language-Image Pretraining (CLIP) は、様々な下流のテキストイメージタスクにまたがる強力なゼロショット性能を示している。軽量ニューラルネットワークによるコントラスト学習に関わる高価な計算を記憶する,効率的なCLIP事前学習フレームワークであるAmorLIPを提案する。
論文参考訳（メタデータ） (2025-05-25T05:30:37Z)
In-context Continual Learning Assisted by an External Continual Learner [19.382196203113836]
既存の継続学習(CL)手法は、大規模言語モデル(LLM)の微調整や適応に頼っている。 InCAは、外部連続学習者(ECL)をICLと統合し、CFなしでスケーラブルなCLを実現する新しいアプローチである。
論文参考訳（メタデータ） (2024-12-20T04:44:41Z)
On the Convergence of Continual Federated Learning Using Incrementally Aggregated Gradients [2.2530496464901106]
機械学習の聖杯は、連続的フェデレーション学習(CFL)によって、ストリーミングデータから学習しながら、AIシステムの効率、プライバシ、スケーラビリティを高めることである。本稿では、エッジベースのメモリ勾配更新と、現在のデータに対する集約勾配からなる新しいリプレイメモリベースのフェデレーション戦略を提案する。我々は,C-FLAGが,タスクとクラスインクリメンタル設定の両方において,精度や忘れなどの指標に関して,最先端のベースラインを上回っていることを実証的に示す。
論文参考訳（メタデータ） (2024-11-12T17:36:20Z)
LoRanPAC: Low-rank Random Features and Pre-trained Models for Bridging Theory and Practice in Continual Learning [103.45785408116146]
連続学習(CL)は、連続的に提示される複数のタスクを解決できるモデルを訓練することを目的としている。最近のCLアプローチは、ダウンストリームタスクをうまく一般化する大規模な事前学習モデルを活用することで、強力なパフォーマンスを実現している。しかし、これらの手法には理論的保証がなく、予期せぬ失敗をしがちである。理論的に健全で高性能な単純なCL法を設計することで,このギャップを埋めることを目指している。
論文参考訳（メタデータ） (2024-10-01T12:58:37Z)
Continual Learning on a Diet: Learning from Sparsely Labeled Streams Under Constrained Computation [123.4883806344334]
本研究では,学習アルゴリズムが学習段階ごとに制限された計算予算を付与する,現実的な連続学習環境について検討する。この設定を,スパースラベル率の高い大規模半教師付き連続学習シナリオに適用する。広範に分析と改善を行った結果,DietCLはラベル空間,計算予算,その他様々な改善の完全な範囲で安定していることがわかった。
論文参考訳（メタデータ） (2024-04-19T10:10:39Z)
Make Continual Learning Stronger via C-Flat [12.569738684003923]
連続学習(CL)に適した平坦な損失景観を特徴とする連続平坦度(C-Flat)手法を提案する。 C-Flatは1行のコードだけで簡単に呼び出すことができ、任意のCLメソッドにプラグ&プレイできる。
論文参考訳（メタデータ） (2024-04-01T08:18:38Z)
ECLIPSE: Efficient Continual Learning in Panoptic Segmentation with Visual Prompt Tuning [54.68180752416519]
パノプティカルセグメンテーション(英: Panoptic segmentation)は、コンピュータビジョンの最先端タスクである。 ECLIPSE と呼ばれる Visual Prompt Tuning をベースとした,新規で効率的なパノプティカルセグメンテーション手法を提案する。我々のアプローチは、基本モデルのパラメータを凍結し、小さなプロンプト埋め込みだけを微調整することであり、破滅的な忘れ物と塑性の両方に対処する。
論文参考訳（メタデータ） (2024-03-29T11:31:12Z)
Does Continual Learning Equally Forget All Parameters? [55.431048995662714]
連続学習(CL)における分散シフト(タスクやドメインシフトなど)は通常、ニューラルネットワークを壊滅的に忘れてしまう。ニューラルネットワークのどのモジュールが、CL中のトレーニングダイナミクスを調査することによって忘れやすいかを検討する。 CL中に周期的にトリガされるFPFの1段階ごとのリプレイを完全に取り除き,わずか$k$で置き換える,より効率的でシンプルな手法を提案する。
論文参考訳（メタデータ） (2023-04-09T04:36:24Z)
When Does Contrastive Learning Preserve Adversarial Robustness from Pretraining to Finetuning? [99.4914671654374]
本稿では,新しい逆比較事前学習フレームワークAdvCLを提案する。本稿では,AdvCLがモデル精度と微調整効率を損なうことなく,タスク間の堅牢性伝達性を向上できることを示す。
論文参考訳（メタデータ） (2021-11-01T17:59:43Z)
Decoupled Contrastive Learning [23.25775900388382]
我々は,広く使用されているクロスエントロピー(InfoNCE)損失における顕著な負陽性結合(NPC)効果を同定した。 NPC効果を適切に処理することにより、非結合型コントラスト学習(DCL)目標関数に到達する。われわれのアプローチは、200時間以内のバッチサイズ256を使用して6.9%のImageNet top-1精度を実現し、ベースラインのSimCLRを5.1%上回った。
論文参考訳（メタデータ） (2021-10-13T16:38:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。