論文の概要: Beyond Sharpness: A Flatness Decomposition Framework for Efficient Continual Learning

• arxiv url: http://arxiv.org/abs/2601.07636v1
• Date: Mon, 12 Jan 2026 15:17:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-13 19:08:01.492695
• Title: Beyond Sharpness: A Flatness Decomposition Framework for Efficient Continual Learning
• Title（参考訳）: シャープネスを超えて: 効果的な継続的学習のための平坦性分解フレームワーク
• Authors: Yanan Chen, Tieliang Gong, Yunjiao Zhang, Wen Wen,
• Abstract要約: 連続学習は、モデルが過去の知識を忘れずに連続的に複数のタスクを学習できるようにすることを目的としている。 継続学習のための既存のシャープネス対応手法には2つの重要な制限がある。 本稿では、摂動をシャープネス整合成分と勾配雑音成分に分解する新しい最適化フレームワークFLADを提案する。
• 参考スコア（独自算出の注目度）: 27.583428955764774
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual Learning (CL) aims to enable models to sequentially learn multiple tasks without forgetting previous knowledge. Recent studies have shown that optimizing towards flatter loss minima can improve model generalization. However, existing sharpness-aware methods for CL suffer from two key limitations: (1) they treat sharpness regularization as a unified signal without distinguishing the contributions of its components. and (2) they introduce substantial computational overhead that impedes practical deployment. To address these challenges, we propose FLAD, a novel optimization framework that decomposes sharpness-aware perturbations into gradient-aligned and stochastic-noise components, and show that retaining only the noise component promotes generalization. We further introduce a lightweight scheduling scheme that enables FLAD to maintain significant performance gains even under constrained training time. FLAD can be seamlessly integrated into various CL paradigms and consistently outperforms standard and sharpness-aware optimizers in diverse experimental settings, demonstrating its effectiveness and practicality in CL.
• Abstract（参考訳）: 連続学習(CL)は、モデルが過去の知識を忘れずに連続的に複数のタスクを学習できるようにすることを目的としている。 近年の研究では、平板損失最小値への最適化がモデル一般化を改善することが示されている。 しかし,既存のCLのシャープネス認識法には,(1)シャープネス正則化を成分の寄与を区別することなく統一信号として扱うという2つの重要な制限がある。 そして(2) 実践的な展開を妨げる計算オーバーヘッドをかなり導入する。 これらの課題に対処するために,勾配と確率的な雑音成分にシャープネスを考慮した摂動を分解する新しい最適化フレームワークFLADを提案し,雑音成分のみを保持することが一般化を促進することを示す。 さらに,制約付きトレーニング時間においてもFLADが大幅な性能向上を維持できる軽量なスケジューリング方式を導入する。 FLADは様々なCLパラダイムにシームレスに統合することができ、様々な実験環境で標準やシャープな最適化よりも優れており、CLの有効性と実用性を示している。

関連論文リスト

• AnaCP: Toward Upper-Bound Continual Learning via Analytic Contrastive Projection [11.750791465488438]
  本稿では,CIL(Class-Incremental Learning)の問題について考察する。 事前訓練モデル(PTM)を使わない従来のCIL法は、破滅的忘れ(CF)に苦しむ 本稿では,AnaCPを提案する。AnaCPは解析的分類器の効率を保ちつつ,段階的特徴適応を実現し,勾配に基づく学習を行なわない新しい手法である。
  論文  参考訳（メタデータ） (2025-11-17T19:56:15Z)
• C-Flat++: Towards a More Efficient and Powerful Framework for Continual Learning [26.486835539215523]
  連続学習に適した平らな損失景観を促進する方法であるtextbfContinual textbfFlatness (textbfC-Flat) を提案する。 C-Flatはプラグインとプレイの互換性を提供し、コードパイプラインへの最小限の変更で簡単に統合できる。 さらに、選択的平坦性駆動の促進を利用する効率的かつ効率的なフレームワークであるC-Flat++を紹介する。
  論文  参考訳（メタデータ） (2025-08-26T09:39:09Z)
• LoRanPAC: Low-rank Random Features and Pre-trained Models for Bridging Theory and Practice in Continual Learning [103.45785408116146]
  連続学習(CL)は、連続的に提示される複数のタスクを解決できるモデルを訓練することを目的としている。 最近のCLアプローチは、ダウンストリームタスクをうまく一般化する大規模な事前学習モデルを活用することで、強力なパフォーマンスを実現している。 しかし、これらの手法には理論的保証がなく、予期せぬ失敗をしがちである。 理論的に健全で高性能な単純なCL法を設計することで,このギャップを埋めることを目指している。
  論文  参考訳（メタデータ） (2024-10-01T12:58:37Z)
• Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
  そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。 自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。 筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
  論文  参考訳（メタデータ） (2024-07-11T10:35:53Z)
• Make Continual Learning Stronger via C-Flat [12.569738684003923]
  連続学習(CL)に適した平坦な損失景観を特徴とする連続平坦度(C-Flat)手法を提案する。 C-Flatは1行のコードだけで簡単に呼び出すことができ、任意のCLメソッドにプラグ&プレイできる。
  論文  参考訳（メタデータ） (2024-04-01T08:18:38Z)
• Gradient constrained sharpness-aware prompt learning for vision-language models [99.74832984957025]
  本稿では,視覚言語モデル(VLM)の一般化可能な即時学習における新たなトレードオフ問題を提案する。 最先端手法のロスランドスケープとSAMに基づくバニラシャープネス認識最小化法を解析することにより、トレードオフ性能は損失値と損失シャープネスの両方に相関していると結論付けた。 本稿では,GCSCoOp (Gradient Constrained Sharpness-Aware Context Optimization) と表記される,素早い学習のためのSAMベースの新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-09-14T17:13:54Z)
• When Does Contrastive Learning Preserve Adversarial Robustness from Pretraining to Finetuning? [99.4914671654374]
  本稿では,新しい逆比較事前学習フレームワークAdvCLを提案する。 本稿では,AdvCLがモデル精度と微調整効率を損なうことなく,タスク間の堅牢性伝達性を向上できることを示す。
  論文  参考訳（メタデータ） (2021-11-01T17:59:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。