論文の概要: AWARe: Mitigating Catastrophic Forgetting via Activation-Weighted Adaptive REtention

• arxiv url: http://arxiv.org/abs/2608.11758v1
• Date: Wed, 12 Aug 2026 07:55:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-13 19:07:54.493953
• Title: AWARe: Mitigating Catastrophic Forgetting via Activation-Weighted Adaptive REtention
• Title（参考訳）: AWARe: アクティベーション重み付き適応的保持による破滅的蓄積の軽減
• Abstract要約: 下流タスクにおける微調整型マルチモーダル言語モデル(MLLM)は破滅的な忘れを招きかねない。 本稿では,破滅的忘れを緩和する微調整法であるアクティベーション重み付き適応保持(AWARe)を提案する。 AWAReはモデルアーキテクチャを変更することなく動作し、既存の推論エンジンとの互換性を確保する。
• 参考スコア（独自算出の注目度）: 25.769695367340628
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal Large Language Models (MLLMs) exhibit strong generalization and reasoning abilities due to large-scale multimodal pre-training. However, fine-tuning these models on downstream tasks often leads to catastrophic forgetting, where newly learned task-specific knowledge degrades previously acquired capabilities. This issue arises because gradient updates for new tasks overwrite parameters critical to prior knowledge, limiting the practical deployment of MLLMs. To address this challenge, we propose Activation-Weighted Adaptive REtention (AWARe), a fine-tuning method that mitigates catastrophic forgetting by dynamically controlling parameter updates based on activation patterns. AWARe assigns activation-based importance scores to parameters, selectively freezing those essential for preserving prior capabilities while allowing less important parameters to adapt to new tasks. Importantly, AWARe operates without modifying model architectures, ensuring compatibility with existing inference engines. Extensive experiments demonstrate that AWARe effectively preserves upstream capabilities while achieving superior downstream performance compared to existing methods. Code is available at https://github.com/kaln27/AWARe.
• Abstract（参考訳）: マルチモーダル大規模言語モデル(MLLM)は、大規模マルチモーダル事前学習による強力な一般化と推論能力を示す。 しかし、これらのモデルを下流タスクで微調整すると、しばしば破滅的な忘れがちになり、新しく学習されたタスク固有の知識は、以前取得した能力を低下させる。 この問題は、新しいタスクの勾配更新が、事前知識に不可欠なパラメータを上書きし、MLLMの実践的なデプロイを制限しているためである。 この課題に対処するために,アクティベーションパターンに基づいたパラメータ更新を動的に制御することにより,破滅的忘れを緩和する微調整手法であるActivation-Weighted Adaptive Retention (AWARe)を提案する。 AWAReはアクティベーションベースの重要度スコアをパラメータに割り当て、以前の機能を維持する上で不可欠なものを選択的に凍結すると同時に、新しいタスクに適応する重要なパラメータを少なくする。 重要なのは、AWAReはモデルアーキテクチャを変更することなく動作し、既存の推論エンジンとの互換性を保証することだ。 大規模な実験により、AWAReは上流の機能を効果的に保ちながら、既存の方法よりも優れた下流のパフォーマンスを実現していることが示された。 コードはhttps://github.com/kaln27/AWARe.comで入手できる。

関連論文リスト

• Attribution-Guided Continual Learning for Large Language Models [32.34727629126595]
  大規模言語モデル(LLM)は、連続学習における破滅的な忘れ込みに悩まされることが多い。 既存の方法は、データ再生、パラメータ凍結、正規化によって破滅的な忘れを緩和する。 LLMのための帰属誘導型連続微調整フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-06T17:38:13Z)
• Improving Sparse Memory Finetuning [6.491055956716639]
  大規模言語モデル(LLM)は通常、トレーニング後に静的になるが、現実のアプリケーションは既存の能力を劣化させることなく、新しい知識への継続的な適応を必要とする。 完全な微調整やパラメータ効率の手法のようなモデル更新の標準的なアプローチは、基本的なトレードオフに直面します。 Sparse Memory Finetuning (SMF)は、明示的なメモリ層内のパラメータの小さなサブセットにアップデートをローカライズすることで、有望な代替手段を提供する。
  論文  参考訳（メタデータ） (2026-04-06T23:16:10Z)
• Unlocking Prototype Potential: An Efficient Tuning Framework for Few-Shot Class-Incremental Learning [69.28860905525057]
  FSCIL(Few-shot class-incremental Learning)は、非常に限られたサンプルから新しいクラスを継続的に学習することを目的としている。 本稿では,静的セントロイドを動的に学習可能なコンポーネントに進化させる,効率的なファインチューニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-05T03:50:53Z)
• Spectral Imbalance Causes Forgetting in Low-Rank Continual Adaptation [58.3773038915023]
  継続的な学習は、事前訓練されたモデルを、以前取得した知識を忘れずにシーケンシャルなタスクに適応することを目的としている。 既存のほとんどのアプローチは、現在のタスク固有の更新が以前取得した知識を自然に保存するプロパティを考慮せずに、継続的な学習を過去の更新への干渉を避けるものとして扱う。 本稿では,視覚言語モデルで使用される標準深度ドットと互換性のある一階述語法を用いてこの問題に対処する。
  論文  参考訳（メタデータ） (2026-01-31T13:27:02Z)
• High-Rank Structured Modulation for Parameter-Efficient Fine-Tuning [57.85676271833619]
  低ランク適応 (LoRA) は、全パラメータの微調整をシミュレートするために低ランク更新法を用いる。 textbfStructured textbfMOdulation textbfAdapterは、より高いランクを維持しながらトレーニング可能なパラメータを少なくする。
  論文  参考訳（メタデータ） (2026-01-12T13:06:17Z)
• Mixtures of SubExperts for Large Language Continual Learning [6.425296129700846]
  タスクの連続ストリームに大規模言語モデルを適用することは、決定的だが挑戦的な取り組みである。 1組のPEFTパラメータを新しいタスクに再利用すると、しばしば以前の知識を壊滅的に忘れてしまう。 本稿では,最小限の忘れ込みと効率のよい拡張性を実現するための,新しい連続学習フレームワークであるTextitMixtures of SubExperts (MoSEs)を提案する。
  論文  参考訳（メタデータ） (2025-11-09T05:44:45Z)
• Sculpting Subspaces: Constrained Full Fine-Tuning in LLMs for Continual Learning [19.27175827358111]
  大規模言語モデル(LLM)における継続的な学習は破滅的な忘れがちである。 適応特異値分解(SVD)を利用した連続的完全微調整手法を提案する。 我々は,Encoder-decoder (T5-Large) モデルとdecoder-only (LLaMA-2 7B) モデルの両方を用いて,標準連続学習ベンチマークを広範囲に評価した。
  論文  参考訳（メタデータ） (2025-04-09T17:59:42Z)
• How to Alleviate Catastrophic Forgetting in LLMs Finetuning? Hierarchical Layer-Wise and Element-Wise Regularization [15.434072331989878]
  大きな言語モデル(LLM)は、強力な汎用言語能力を示す。 これらのモデルをドメイン固有のタスクで微調整すると、大惨な忘れがちになり、そこではモデルが事前訓練中に得られた重要な知識を上書きまたは失う。 本研究では,微調整時の一般知識の保存に不可欠なモデルパラメータの要素的重要性を計算するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-01-23T13:54:53Z)
• LiNeS: Post-training Layer Scaling Prevents Forgetting and Enhances Model Merging [80.17238673443127]
  LiNeSは、微調整タスク性能を向上しつつ、事前訓練された一般化を維持するために設計されたポストトレーニング編集技術である。 LiNeSは、視覚と自然言語処理のさまざまなベンチマークにおいて、シングルタスクとマルチタスクの両方で大幅に改善されている。
  論文  参考訳（メタデータ） (2024-10-22T16:26:05Z)
• Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
  大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 In-Context Learning (ICL) など。 効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。 下流タスクへのLLM。 我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
  論文  参考訳（メタデータ） (2024-09-30T10:48:20Z)
• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。