論文の概要: Attribution-Guided Continual Learning for Large Language Models

• arxiv url: http://arxiv.org/abs/2605.05285v1
• Date: Wed, 06 May 2026 17:38:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-08 22:27:11.343314
• Title: Attribution-Guided Continual Learning for Large Language Models
• Title（参考訳）: 大規模言語モデルに対する属性誘導型連続学習
• Abstract要約: 大規模言語モデル(LLM)は、連続学習における破滅的な忘れ込みに悩まされることが多い。 既存の方法は、データ再生、パラメータ凍結、正規化によって破滅的な忘れを緩和する。 LLMのための帰属誘導型連続微調整フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 32.34727629126595
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) often suffer from catastrophic forgetting in continual learning: after learning new tasks sequentially, they perform worse on earlier tasks. Existing methods mitigate catastrophic forgetting by data replay, parameter freezing, or regularization. However, these methods lack semantic awareness of internal knowledge distribution in LLMs. As a result, they cannot distinguish parameters that should be preserved or updated. We propose an attribution-guided continual fine-tuning framework for LLMs. Our method estimates task-specific, element-wise parameter importance in each Transformer layer and uses these scores to modulate gradients. Parameters important to previous tasks receive smaller updates, while less relevant ones remain plastic for learning new tasks. Experiments on continual learning benchmarks show that our method consistently outperforms baselines, achieving better retention of old tasks while maintaining competitive performance on new tasks.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、連続的な学習において破滅的な忘れに悩まされることが多い。 既存の方法は、データ再生、パラメータ凍結、正規化によって破滅的な忘れを緩和する。 しかし、これらの手法はLLMの内部知識分布のセマンティックな認識を欠いている。 結果として、保存または更新されるべきパラメータを区別することはできない。 LLMのための帰属誘導型連続微調整フレームワークを提案する。 本手法は,各トランスフォーマー層におけるタスク固有要素パラメータの重要度を推定し,これらのスコアを用いて勾配を変調する。 以前のタスクにとって重要なパラメータは、より小さな更新を受けるが、新しいタスクを学ぶための可塑性は低い。 連続学習ベンチマーク実験により,本手法は,新しいタスクの競争性能を維持しつつ,従来のタスクの維持性を向上し,ベースラインを一貫して上回ることを示す。

関連論文リスト

• TRACE: Discovering Task-Specific Parameter via Adaptation-Aware Probing for Continual Fine-Tuning [33.07713704586859]
  本稿では,タスク固有のpaRameterを探索するための新しいアプローチであるTRACEを紹介する。 提案手法の優れた性能を示すため,複数の標準ベンチマークを用いて実験を行った。
  論文  参考訳（メタデータ） (2026-05-29T08:57:06Z)
• Learning, Fast and Slow: Towards LLMs That Adapt Continually [83.9214051113102]
  大規模言語モデル(LLM)は、パラメータを更新することで下流タスクのために訓練される。 高速スロートレーニング(FST)は、推論タスクのスローラーニング(RL)よりも最大3倍のサンプリング効率を持つ。
  論文  参考訳（メタデータ） (2026-05-12T17:58:20Z)
• Spectral Imbalance Causes Forgetting in Low-Rank Continual Adaptation [58.3773038915023]
  継続的な学習は、事前訓練されたモデルを、以前取得した知識を忘れずにシーケンシャルなタスクに適応することを目的としている。 既存のほとんどのアプローチは、現在のタスク固有の更新が以前取得した知識を自然に保存するプロパティを考慮せずに、継続的な学習を過去の更新への干渉を避けるものとして扱う。 本稿では,視覚言語モデルで使用される標準深度ドットと互換性のある一階述語法を用いてこの問題に対処する。
  論文  参考訳（メタデータ） (2026-01-31T13:27:02Z)
• Dynamic Orthogonal Continual Fine-tuning for Mitigating Catastrophic Forgettings [13.325021114990241]
  大規模言語モデルの継続的な学習において、破滅的な忘れは依然として重要な課題である。 本研究では,動的直交連続(DOC)ファインチューニングを提案する。これは関数方向のドリフトを追跡し,ファインチューニングプロセス中に動的に更新する新しいアプローチである。
  論文  参考訳（メタデータ） (2025-09-28T13:55:05Z)
• Continuous Subspace Optimization for Continual Learning [24.597922531045846]
  継続的な学習は、先行知識を維持しながら、連続的に複数のタスクを学習することを目的としている。 連続学習のための連続部分空間最適化(CoSO)を提案する。 CoSOは、特に長いタスクシーケンスを持つ挑戦的なシナリオにおいて、最先端のメソッドを著しく上回る。
  論文  参考訳（メタデータ） (2025-05-17T03:53:21Z)
• Sculpting Subspaces: Constrained Full Fine-Tuning in LLMs for Continual Learning [19.27175827358111]
  大規模言語モデル(LLM)における継続的な学習は破滅的な忘れがちである。 適応特異値分解(SVD)を利用した連続的完全微調整手法を提案する。 我々は,Encoder-decoder (T5-Large) モデルとdecoder-only (LLaMA-2 7B) モデルの両方を用いて,標準連続学習ベンチマークを広範囲に評価した。
  論文  参考訳（メタデータ） (2025-04-09T17:59:42Z)
• LiNeS: Post-training Layer Scaling Prevents Forgetting and Enhances Model Merging [80.17238673443127]
  LiNeSは、微調整タスク性能を向上しつつ、事前訓練された一般化を維持するために設計されたポストトレーニング編集技術である。 LiNeSは、視覚と自然言語処理のさまざまなベンチマークにおいて、シングルタスクとマルチタスクの両方で大幅に改善されている。
  論文  参考訳（メタデータ） (2024-10-22T16:26:05Z)
• Orthogonal Subspace Learning for Language Model Continual Learning [45.35861158925975]
  O-LoRAは、言語モデルにおける継続学習のためのシンプルで効率的なアプローチである。 提案手法は,パラメータの余分な追加コストのみを誘導し,再生にユーザデータストレージを必要としない。
  論文  参考訳（メタデータ） (2023-10-22T02:23:44Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)
• CLR: Channel-wise Lightweight Reprogramming for Continual Learning [63.94773340278971]
  継続的な学習は、逐次的なタスクを通じて継続的に知識を蓄積する人間の能力をエミュレートすることを目的としている。 主な課題は、新しいタスクを学習した後、以前に学習したタスクのパフォーマンスを維持することである。 本稿では、畳み込みニューラルネットワークが破滅的な忘れを克服するのに役立つチャネルワイドなライトウェイト・リプログラミング手法を提案する。
  論文  参考訳（メタデータ） (2023-07-21T06:56:21Z)
• TAG: Task-based Accumulated Gradients for Lifelong learning [21.779858050277475]
  タスク間の関連性に基づいて学習率を適応させるタスク認識システムを提案する。 提案する適応学習率は, 破滅的な記憶の喪失だけでなく, 正の後方移動にも寄与することを示した。
  論文  参考訳（メタデータ） (2021-05-11T16:10:32Z)
• Continual Learning via Bit-Level Information Preserving [88.32450740325005]
  我々は情報理論のレンズを通して連続学習過程を研究する。 モデルパラメータの情報利得を維持するビットレベル情報保存(BLIP)を提案する。 BLIPは、連続的な学習を通してメモリオーバーヘッドを一定に保ちながら、ほとんど忘れることができない。
  論文  参考訳（メタデータ） (2021-05-10T15:09:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。