論文の概要: Parameter Importance-Driven Continual Learning for Foundation Models

• arxiv url: http://arxiv.org/abs/2511.15375v1
• Date: Wed, 19 Nov 2025 12:07:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-20 15:51:28.791399
• Title: Parameter Importance-Driven Continual Learning for Foundation Models
• Title（参考訳）: 基礎モデルにおけるパラメータ重要度駆動型連続学習
• Authors: Lingxiang Wang, Hainan Zhang, Zhiming Zheng,
• Abstract要約: ドメイン固有のポストトレーニングは、しばしば破滅的な忘れ込みを引き起こし、基礎モデルが一般的な推論能力を失う。 PIECEは,ドメイン知識を効率的に学習しながら,汎用性を保った重要度推定に基づく継続性向上手法である。 我々の結果は、破滅的な忘れをすることなく、スケーラブルでドメイン順応的な基礎モデルへの実践的な道のりを浮き彫りにしている。
• 参考スコア（独自算出の注目度）: 5.471848114633189
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Domain-specific post-training often causes catastrophic forgetting, making foundation models lose their general reasoning ability and limiting their adaptability to dynamic real-world environments. Preserving general capabilities while acquiring downstream domain knowledge is a central challenge for large language and multimodal models. Traditional continual learning methods, such as regularization, replay and architectural isolation, suffer from poor downstream performance, reliance on inaccessible historical data, or additional parameter overhead. While recent parameter-efficient tuning (PET) methods can alleviate forgetting, their effectiveness strongly depends on the choice of parameters and update strategies. In this paper, we introduce PIECE, a Parameter Importance Estimation-based Continual Enhancement method that preserves general ability while efficiently learning domain knowledge without accessing prior training data or increasing model parameters. PIECE selectively updates only 0.1% of core parameters most relevant to new tasks, guided by two importance estimators: PIECE-F based on Fisher Information, and PIECE-S based on a second-order normalization that combines gradient and curvature information. Experiments across three language models and two multimodal models show that PIECE maintains general capabilities and achieves state-of-the-art continual learning performance across diverse downstream tasks. Our results highlight a practical path to scalable, domain-adaptive foundation models without catastrophic forgetting.
• Abstract（参考訳）: ドメイン固有のポストトレーニングは、しばしば破滅的な忘れ込みを引き起こし、ファンデーションモデルは一般的な推論能力を失い、動的な現実世界環境への適応性を制限する。 下流のドメイン知識を取得しながら一般的な機能を維持することは、大規模言語とマルチモーダルモデルにとって重要な課題である。 正規化やリプレイ、アーキテクチャ分離といった従来の継続的学習手法は、下流のパフォーマンスの低下、アクセス不能な履歴データへの依存、追加のパラメータオーバーヘッドに悩まされている。 最近のパラメータ効率チューニング(PET)手法は忘れを緩和するが、その有効性はパラメータの選択と更新戦略に大きく依存する。 本稿では,事前のトレーニングデータにアクセスしたり,モデルパラメータを増大させたりすることなく,ドメイン知識を効率的に学習しながら,汎用性を保ったパラメータ重要度推定に基づく継続性向上手法であるPIECEを紹介する。 PIECEは、新しいタスクに最も関係のあるコアパラメータの0.1%だけを選択的に更新し、PIECE-Fはフィッシャー情報に基づく、PIECE-Sは勾配と曲率情報を組み合わせた2次正規化に基づく、2つの重要な推定器によって導かれる。 3つの言語モデルと2つのマルチモーダルモデルによる実験により、PIECEは一般的な能力を維持し、様々な下流タスクにおける最先端の継続的学習性能を達成することが示された。 我々の結果は、破滅的な忘れをすることなく、スケーラブルでドメイン順応的な基礎モデルへの実践的な道のりを浮き彫りにしている。

関連論文リスト

• EKPC: Elastic Knowledge Preservation and Compensation for Class-Incremental Learning [53.88000987041739]
  クラスインクリメンタルラーニング(Class-Incremental Learning, CIL)は、AIモデルを、時間とともに異なるクラスのシーケンシャルに到着したデータから継続的に学習可能にすることを目的としている。 本稿では, 重要度を考慮した重要度正規化 (IPR) と CIL のためのトレーニング可能なセマンティックドリフト補償 (TSDC) を統合したElastic Knowledge Preservation and Compensation (EKPC) 法を提案する。
  論文  参考訳（メタデータ） (2025-06-14T05:19:58Z)
• Parameter-Efficient Continual Fine-Tuning: A Survey [5.59258786465086]
  AIの次のブレークスルーは、進化する環境への効率的な適応を可能にすることです。 これらの大規模モデルを効率的に適応させる方法の1つが知られている。 PEFT(Efficient Fine-Tuning)
  論文  参考訳（メタデータ） (2025-04-18T17:51:51Z)
• SAFE: Slow and Fast Parameter-Efficient Tuning for Continual Learning with Pre-Trained Models [26.484208658326857]
  継続的な学習は、過去の知識を忘れることに抵抗しながら、データストリームにおける新しい概念を漸進的に獲得することを目的としている。 強力な事前学習モデル(PTM)の台頭に伴い、インクリメンタル学習システムのトレーニングへの関心が高まっている。
  論文  参考訳（メタデータ） (2024-11-04T15:34:30Z)
• SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
  我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。 SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。 画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2024-08-19T17:32:15Z)
• Learn from the Past: A Proxy Guided Adversarial Defense Framework with Self Distillation Regularization [53.04697800214848]
  敵対的訓練(AT)は、ディープラーニングモデルの堅牢性を固める上で重要な要素である。 AT方式は、目標モデルの防御のために直接反復的な更新を頼りにしており、不安定な訓練や破滅的なオーバーフィッティングといった障害に頻繁に遭遇する。 汎用プロキシガイド型防衛フレームワークLAST(bf Pbf astから学ぶ)を提案する。
  論文  参考訳（メタデータ） (2023-10-19T13:13:41Z)
• PILOT: A Pre-Trained Model-Based Continual Learning Toolbox [65.57123249246358]
  本稿では,PILOTとして知られるモデルベース連続学習ツールボックスについて紹介する。 一方、PILOTはL2P、DualPrompt、CODA-Promptといった事前学習モデルに基づいて、最先端のクラスインクリメンタル学習アルゴリズムを実装している。 一方、PILOTは、事前学習されたモデルの文脈に典型的なクラス増分学習アルゴリズムを適合させ、それらの効果を評価する。
  論文  参考訳（メタデータ） (2023-09-13T17:55:11Z)
• Hyperparameter-free Continuous Learning for Domain Classification in Natural Language Understanding [60.226644697970116]
  ドメイン分類は自然言語理解(NLU)の基本課題である 既存の継続的な学習アプローチの多くは、低い精度とパフォーマンスの変動に悩まされている。 本研究では,テキストデータに対するパラメータフリー連続学習モデルを提案する。
  論文  参考訳（メタデータ） (2022-01-05T02:46:16Z)
• Data Augmentation through Expert-guided Symmetry Detection to Improve Performance in Offline Reinforcement Learning [0.0]
  マルコフ決定過程(MDP)の動的モデルのオフライン推定は非自明な作業である。 近年の研究では、密度推定法に依存する専門家誘導パイプラインが、決定論的環境において、この構造を効果的に検出できることが示されている。 学習したMDPを解き、実際の環境に最適化されたポリシーを適用すると、前者の結果が性能改善につながることを示す。
  論文  参考訳（メタデータ） (2021-12-18T14:32:32Z)
• DSEE: Dually Sparsity-embedded Efficient Tuning of Pre-trained Language Models [152.29364079385635]
  事前訓練されたモデルが大きくなればなるほど、微調整のプロセスは時間がかかり、計算コストがかかる可能性がある。 本稿では,重み更新と最終モデルの重み付けに先立って,疎度を活用することで,資源・パラメータ効率の微調整を行うフレームワークを提案する。 提案するフレームワークは,Dually Sparsity-Embeded Efficient Tuning (DSEE)と呼ばれ,パラメータ効率のよい微調整とリソース効率の推論という2つの重要な目標を達成することを目的としている。
  論文  参考訳（メタデータ） (2021-10-30T03:29:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。