論文の概要: Pruned Adaptation Modules: A Simple yet Strong Baseline for Continual Foundation Models

• arxiv url: http://arxiv.org/abs/2603.21170v1
• Date: Sun, 22 Mar 2026 11:15:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-24 19:11:39.271726
• Title: Pruned Adaptation Modules: A Simple yet Strong Baseline for Continual Foundation Models
• Title（参考訳）: Pruned Adaptation Modules: 継続的なファンデーションモデルのためのシンプルで強力なベースライン
• Authors: Elif Ceren Gok Yildirim, Murat Onur Yildirim, Joaquin Vanschoren,
• Abstract要約: Pruned Adaptation Modules (PAM)は、トレーニング済みのResNetの大部分を凍結する、シンプルだが効果的な方法である。 PAMは相変わらず壊滅的な忘れ込みを軽減し、最先端のFMベースのCILアプローチより優れています。
• 参考スコア（独自算出の注目度）: 9.273551382858525
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The continual learning literature has rapidly shifted from traditional class incremental learning (CIL) techniques to foundation model (FM)-based CIL methods without a clear understanding of how these newer approaches compare to strong, lightweight convolutional baselines. This abrupt transition has created a substantial methodological gap, making it difficult to assess whether recent FM-based CIL progress reflects genuine advances or merely the absence of rigorous baselines. To address this gap, we introduce Pruned Adaptation Modules (PAM), a simple yet effective method that freezes the vast majority of the pre-trained ResNet while enabling scalable continual adaptation through sparse task-specific layers. PAM yields up to a ~5x reduction in trainable parameters and a ~6x reduction in total parameters, significantly reducing the cost of continual updates. Across diverse benchmarks, PAM consistently mitigates catastrophic forgetting and outperforms state-of-the-art FM-based CIL approaches. Our findings position PAM as a strong and transparent baseline that helps bridge the gap between traditional and FM-based CIL, guiding future research for a more accurate assessment of true progress in continual adaptation. The code can be found at: https://github.com/ElifCerenGokYildirim/PAM.
• Abstract（参考訳）: 連続的な学習文献は、従来のクラスインクリメンタルラーニング(CIL)技術から基礎モデル(FM)ベースのCIL手法へと急速に移行している。 この急激な遷移は、FMベースの最近のCIL進歩が真の進歩を反映しているか、単に厳密なベースラインが欠如しているかを評価するのを困難にしている。 このギャップに対処するために、我々はPruned Adaptation Modules (PAM)を導入する。これは単純だが効果的な手法で、未学習のResNetの大部分を凍結すると同時に、タスク固有層によるスケーラブルな連続的な適応を可能にする。 PAMはトレーニング可能なパラメータの最大5倍、合計パラメータの最大6倍の削減を達成し、継続的な更新のコストを大幅に削減する。 さまざまなベンチマークを通じて、PAMは破滅的な忘れを常に軽減し、最先端のFMベースのCILアプローチより優れています。 PAMは従来のCILとFMベースのCILのギャップを埋める強力な透明なベースラインとして位置づけられ、継続的な適応における真の進歩をより正確に評価するための将来の研究を導いている。 コードは、https://github.com/ElifCerenGokYildirim/PAM.comで参照できる。

関連論文リスト

• SLE-FNO: Single-Layer Extensions for Task-Agnostic Continual Learning in Fourier Neural Operators [0.4369550829556577]
  新たな実験条件やシミュレーション体制は、以前のデータに再アクセスすることなく、外挿やモデル更新を必要とするため、大きく異なる場合がある。 これにより、破滅的な忘れを防ぎながら、分散シフトに適応できる継続的学習(CL)フレームワークの必要性が生まれます。 本稿では,SLE(Single-Layer Extension)とFNO(Fourier Neural Operator)を組み合わせたアーキテクチャベースアプローチ(SLE-FNO)を提案する。
  論文  参考訳（メタデータ） (2026-03-20T18:30:38Z)
• Forward-Only Continual Learning [8.873948519614244]
  破滅的な忘れ物は、継続的な学習における中心的な課題である。 本稿では,フォロ(FoRo)を提案する。 実験により、FoRoは平均的な忘れを著しく減らし、精度を向上することが示された。
  論文  参考訳（メタデータ） (2025-09-01T15:10:38Z)
• MDPO: Overcoming the Training-Inference Divide of Masked Diffusion Language Models [28.79185891706149]
  拡散言語モデルは、トレーニングと推論の主な相違に悩まされる。 本稿では,マルコフ特性拡散を利用するためのMasked Diffusion Policy Optimization (MDPO)を提案する。 本研究は,MDLMの事前学習と推測の相違を調査するための大きな可能性を見出した。
  論文  参考訳（メタデータ） (2025-08-18T17:58:13Z)
• WSM: Decay-Free Learning Rate Schedule via Checkpoint Merging for LLM Pre-training [64.0932926819307]
  本稿では,学習速度減衰とモデルマージの正式な関係を確立するフレームワークであるWarmup-Stable and Merge(WSM)を紹介する。 WSMは様々な崩壊戦略をエミュレートするための統一された理論基盤を提供する。 私たちのフレームワークは、複数のベンチマークで広く採用されているWarmup-Stable-Decay(WSD)アプローチよりも一貫して優れています。
  論文  参考訳（メタデータ） (2025-07-23T16:02:06Z)
• Fast and Stable Diffusion Planning through Variational Adaptive Weighting [3.745003761050674]
  拡散モデルは、最近オフラインRLで有望であることが示されている。 これらの手法は、しばしば高い訓練コストと緩やかな収束に悩まされる。 本稿では,フローベース生成モデルに基づくオンライン推定のためのクローズドフォーム近似手法を提案する。 Maze2D タスクと Kitchen タスクの実験結果から,本手法は最大10倍のトレーニングステップで競争性能を達成できることが示された。
  論文  参考訳（メタデータ） (2025-06-20T02:12:04Z)
• Beyond Freezing: Sparse Tuning Enhances Plasticity in Continual Learning with Pre-Trained Models [10.904981532789824]
  事前訓練されたモデルによる継続的な学習は、シーケンシャルなタスクにまたがる効率的な適応を大いに約束する。 既存のアプローチはPTMを凍結し、プロンプトやアダプタのような補助モジュールに依存している。 MIST(Mutual Information-Guided Sparse Tuning)は,PTMパラメータのサブセットを選択的に更新するプラグイン・アンド・プレイ方式である。
  論文  参考訳（メタデータ） (2025-05-26T13:09:25Z)
• SLCA++: Unleash the Power of Sequential Fine-tuning for Continual Learning with Pre-training [68.7896349660824]
  本稿では,Seq FTのレンズからの進行オーバーフィッティング問題を詳細に解析する。 過度に高速な表現学習と偏りのある分類層がこの問題を構成することを考慮し、先進的なSlow Learner with Alignment(S++)フレームワークを導入する。 提案手法は,バックボーンパラメータの学習率を選択的に減少させるスローラーナーと,ポストホック方式で不規則な分類層を整列させるアライメントを含む。
  論文  参考訳（メタデータ） (2024-08-15T17:50:07Z)
• Reflecting on the State of Rehearsal-free Continual Learning with Pretrained Models [70.15122130694256]
  単純かつ軽量なPEFTベースラインによるP-RFCL手法の整合性を示す。 P-RFCL の手法が,単純で軽量な PEFT ベースラインでマッチング可能であることを示す。
  論文  参考訳（メタデータ） (2024-06-13T17:57:10Z)
• Meta-Learning with Adaptive Hyperparameters [55.182841228303225]
  我々は、MAMLフレームワークの補完的要素、インナーループ最適化(あるいは高速適応)に焦点を当てる。 高速適応プロセスを大幅に向上させる新しい重み更新ルールを提案する。
  論文  参考訳（メタデータ） (2020-10-31T08:05:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。