論文の概要: Continual Learning in Large Language Models: Methods, Challenges, and Opportunities

• arxiv url: http://arxiv.org/abs/2603.12658v1
• Date: Fri, 13 Mar 2026 05:01:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-16 17:38:11.911423
• Title: Continual Learning in Large Language Models: Methods, Challenges, and Opportunities
• Title（参考訳）: 大規模言語モデルにおける継続的な学習:方法、課題、機会
• Authors: Hongyang Chen, Zhongwu Sun, Hongfei Ye, Kunchi Li, Xuemin Lin,
• Abstract要約: 継続学習(CL)は、大きな言語モデル(LLM)が進化する知識やシーケンシャルなタスクに動的に適応できるように、重要なパラダイムとして登場した。 本研究は, 連続的事前学習, 連続的微調整, 連続的アライメントの3段階を中心に構成されたLCMに適したCL手法の概要を概説する。
• 参考スコア（独自算出の注目度）: 39.68332777229783
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual learning (CL) has emerged as a pivotal paradigm to enable large language models (LLMs) to dynamically adapt to evolving knowledge and sequential tasks while mitigating catastrophic forgetting-a critical limitation of the static pre-training paradigm inherent to modern LLMs. This survey presents a comprehensive overview of CL methodologies tailored for LLMs, structured around three core training stages: continual pre-training, continual fine-tuning, and continual alignment.Beyond the canonical taxonomy of rehearsal-, regularization-, and architecture-based methods, we further subdivide each category by its distinct forgetting mitigation mechanisms and conduct a rigorous comparative analysis of the adaptability and critical improvements of traditional CL methods for LLMs. In doing so, we explicitly highlight core distinctions between LLM CL and traditional machine learning, particularly with respect to scale, parameter efficiency, and emergent capabilities. Our analysis covers essential evaluation metrics, including forgetting rates and knowledge transfer efficiency, along with emerging benchmarks for assessing CL performance. This survey reveals that while current methods demonstrate promising results in specific domains, fundamental challenges persist in achieving seamless knowledge integration across diverse tasks and temporal scales. This systematic review contributes to the growing body of knowledge on LLM adaptation, providing researchers and practitioners with a structured framework for understanding current achievements and future opportunities in lifelong learning for language models.
• Abstract（参考訳）: 継続学習(CL)は、大規模言語モデル(LLM)が進化する知識やシーケンシャルなタスクに動的に適応し、破滅的な忘れ込みを軽減し、現代のLLMに固有の静的事前学習パラダイムの限界を緩和するための重要なパラダイムとして登場した。 本研究は,LLMに適したCL手法を総合的に概説し,連続的事前学習,連続的微調整,連続的アライメントの3段階を中心に構成し,リハーサル法,正規化法,アーキテクチャに基づく手法の標準的分類法に加えて,それぞれのカテゴリを,その異なる緩和機構によって分割し,LLMの従来のCL手法の適応性と重要な改善に関する厳密な比較分析を行う。 そのために,LLM CLと従来の機械学習,特にスケール,パラメータ効率,創発的能力の区別を強調した。 本分析では,CL性能評価のための新たなベンチマークとともに,知識伝達率や知識伝達効率などの重要な評価指標について検討する。 この調査は、現在の手法が特定のドメインで有望な結果を示す一方で、多様なタスクや時間スケールにわたるシームレスな知識統合を実現する上で、根本的な課題が続いていることを明らかにした。 この体系的なレビューは、LLM適応に関する知識の増大に寄与し、研究者や実践者が言語モデルのための生涯学習における現在の成果と将来の機会を理解するための構造化された枠組みを提供する。

関連論文リスト

• In-Context Learning can Perform Continual Learning Like Humans [12.499724976235534]
  大規模言語モデル(LLM)は、パラメータを更新することなく、ICL(In-context Learning)を介して新しいタスクに適応することができる。 マルチタスク環境におけるICLの保持特性について検討し,それを文脈内連続学習(ICCL)に拡張する。 ICCLは、人間に類似した方法で分散プラクティスの恩恵を受けており、維持のための「スイートスポット」の間隔を一貫して明らかにしている。
  論文  参考訳（メタデータ） (2025-09-26T15:08:06Z)
• MLLM-CL: Continual Learning for Multimodal Large Language Models [39.19456474036905]
  ドメインと能力の連続学習を含む新しいベンチマークであるMLLM-CLを紹介する。 本稿では,パラメータ分離とMLLMに基づくルーティング機構による破滅的干渉を防止することを提案する。 我々のアプローチは、ドメイン固有の知識と機能的能力とを最小限の忘れ込みで統合することができ、既存の手法よりもはるかに優れています。
  論文  参考訳（メタデータ） (2025-06-05T17:58:13Z)
• LLM Post-Training: A Deep Dive into Reasoning Large Language Models [131.10969986056]
  大規模言語モデル (LLMs) は自然言語処理の状況を変え、多様な応用をもたらした。 ポストトレーニング手法により、LLMは知識を洗練させ、推論を改善し、事実の正確性を高め、ユーザの意図や倫理的配慮をより効果的に整合させることができる。
  論文  参考訳（メタデータ） (2025-02-28T18:59:54Z)
• Continual Learning Should Move Beyond Incremental Classification [51.23416308775444]
  連続学習(Continuous Learning, CL)は、動的環境における知識の蓄積に関わる機械学習のサブフィールドである。 ここでは、このような焦点を維持することは、CL法の理論的発展と実践的適用性の両方を制限すると論じる。 C1) 学習課題における連続性の性質,(C2) 類似性を測定するための適切な空間とメトリクスの選択,(C3) 学習目標が分類を超えた役割である。
  論文  参考訳（メタデータ） (2025-02-17T15:40:13Z)
• Temporal-Difference Variational Continual Learning [77.92320830700797]
  複数の先行推定の正則化効果を統合する新たな学習目標を提案する。 提案手法は, 変分CL法より優れたカタストロフィックフォーミングを効果的に緩和する。
  論文  参考訳（メタデータ） (2024-10-10T10:58:41Z)
• Train-Attention: Meta-Learning Where to Focus in Continual Knowledge Learning [15.475427498268393]
  TAALM(Train-Attention-Augmented Language Model)は,トークンに対する重み付けを動的に予測・適用することにより,学習効率を向上させる。 我々は,TAALMがベースライン上での最先端性能を証明し,従来のCKLアプローチと統合した場合に相乗的互換性を示すことを示す。
  論文  参考訳（メタデータ） (2024-07-24T01:04:34Z)
• Recent Advances of Foundation Language Models-based Continual Learning: A Survey [31.171203978742447]
  基礎言語モデル (LM) は自然言語処理 (NLP) とコンピュータビジョン (CV) の分野において重要な成果を上げている。 しかし、破滅的な忘れ物のため、人間のような継続的学習をエミュレートすることはできない。 従来の知識を忘れずに新しいタスクに適応できるように、様々な連続学習(CL)ベースの方法論が開発されている。
  論文  参考訳（メタデータ） (2024-05-28T23:32:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。