論文の概要: Continual Learning in Large Language Models: Methods, Challenges, and Opportunities
- arxiv url: http://arxiv.org/abs/2603.12658v1
- Date: Fri, 13 Mar 2026 05:01:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-16 17:38:11.911423
- Title: Continual Learning in Large Language Models: Methods, Challenges, and Opportunities
- Title（参考訳）: 大規模言語モデルにおける継続的な学習:方法、課題、機会
- Abstract要約: 継続学習(CL)は、大きな言語モデル(LLM)が進化する知識やシーケンシャルなタスクに動的に適応できるように、重要なパラダイムとして登場した。
本研究は, 連続的事前学習, 連続的微調整, 連続的アライメントの3段階を中心に構成されたLCMに適したCL手法の概要を概説する。
- 参考スコア（独自算出の注目度）: 39.68332777229783
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Continual learning (CL) has emerged as a pivotal paradigm to enable large language models (LLMs) to dynamically adapt to evolving knowledge and sequential tasks while mitigating catastrophic forgetting-a critical limitation of the static pre-training paradigm inherent to modern LLMs. This survey presents a comprehensive overview of CL methodologies tailored for LLMs, structured around three core training stages: continual pre-training, continual fine-tuning, and continual alignment.Beyond the canonical taxonomy of rehearsal-, regularization-, and architecture-based methods, we further subdivide each category by its distinct forgetting mitigation mechanisms and conduct a rigorous comparative analysis of the adaptability and critical improvements of traditional CL methods for LLMs. In doing so, we explicitly highlight core distinctions between LLM CL and traditional machine learning, particularly with respect to scale, parameter efficiency, and emergent capabilities. Our analysis covers essential evaluation metrics, including forgetting rates and knowledge transfer efficiency, along with emerging benchmarks for assessing CL performance. This survey reveals that while current methods demonstrate promising results in specific domains, fundamental challenges persist in achieving seamless knowledge integration across diverse tasks and temporal scales. This systematic review contributes to the growing body of knowledge on LLM adaptation, providing researchers and practitioners with a structured framework for understanding current achievements and future opportunities in lifelong learning for language models.
- Abstract（参考訳）: 継続学習(CL)は、大規模言語モデル(LLM)が進化する知識やシーケンシャルなタスクに動的に適応し、破滅的な忘れ込みを軽減し、現代のLLMに固有の静的事前学習パラダイムの限界を緩和するための重要なパラダイムとして登場した。
本研究は,LLMに適したCL手法を総合的に概説し,連続的事前学習,連続的微調整,連続的アライメントの3段階を中心に構成し,リハーサル法,正規化法,アーキテクチャに基づく手法の標準的分類法に加えて,それぞれのカテゴリを,その異なる緩和機構によって分割し,LLMの従来のCL手法の適応性と重要な改善に関する厳密な比較分析を行う。
そのために,LLM CLと従来の機械学習,特にスケール,パラメータ効率,創発的能力の区別を強調した。
本分析では,CL性能評価のための新たなベンチマークとともに,知識伝達率や知識伝達効率などの重要な評価指標について検討する。
この調査は、現在の手法が特定のドメインで有望な結果を示す一方で、多様なタスクや時間スケールにわたるシームレスな知識統合を実現する上で、根本的な課題が続いていることを明らかにした。
この体系的なレビューは、LLM適応に関する知識の増大に寄与し、研究者や実践者が言語モデルのための生涯学習における現在の成果と将来の機会を理解するための構造化された枠組みを提供する。
関連論文リスト
- In-Context Learning can Perform Continual Learning Like Humans [12.499724976235534]
大規模言語モデル(LLM)は、パラメータを更新することなく、ICL(In-context Learning)を介して新しいタスクに適応することができる。
マルチタスク環境におけるICLの保持特性について検討し,それを文脈内連続学習(ICCL)に拡張する。
ICCLは、人間に類似した方法で分散プラクティスの恩恵を受けており、維持のための「スイートスポット」の間隔を一貫して明らかにしている。
論文 参考訳（メタデータ） (2025-09-26T15:08:06Z) - Discrete Tokenization for Multimodal LLMs: A Comprehensive Survey [69.45421620616486]
本研究は、大規模言語モデル(LLM)用に設計された離散トークン化手法の最初の構造的分類と解析である。
古典的および近代的なパラダイムにまたがる8つの代表的なVQ変種を分類し、アルゴリズムの原理を分析し、力学を訓練し、LLMパイプラインとの統合に挑戦する。
コードブックの崩壊、不安定な勾配推定、モダリティ固有の符号化制約など、重要な課題を特定する。
論文 参考訳（メタデータ） (2025-07-21T10:52:14Z) - MLLM-CL: Continual Learning for Multimodal Large Language Models [39.19456474036905]
ドメインと能力の連続学習を含む新しいベンチマークであるMLLM-CLを紹介する。
本稿では,パラメータ分離とMLLMに基づくルーティング機構による破滅的干渉を防止することを提案する。
我々のアプローチは、ドメイン固有の知識と機能的能力とを最小限の忘れ込みで統合することができ、既存の手法よりもはるかに優れています。
論文 参考訳（メタデータ） (2025-06-05T17:58:13Z) - LLM Post-Training: A Deep Dive into Reasoning Large Language Models [131.10969986056]
大規模言語モデル (LLMs) は自然言語処理の状況を変え、多様な応用をもたらした。
ポストトレーニング手法により、LLMは知識を洗練させ、推論を改善し、事実の正確性を高め、ユーザの意図や倫理的配慮をより効果的に整合させることができる。
論文 参考訳（メタデータ） (2025-02-28T18:59:54Z) - Continual Learning Should Move Beyond Incremental Classification [51.23416308775444]
連続学習(Continuous Learning, CL)は、動的環境における知識の蓄積に関わる機械学習のサブフィールドである。
ここでは、このような焦点を維持することは、CL法の理論的発展と実践的適用性の両方を制限すると論じる。
C1) 学習課題における連続性の性質,(C2) 類似性を測定するための適切な空間とメトリクスの選択,(C3) 学習目標が分類を超えた役割である。
論文 参考訳（メタデータ） (2025-02-17T15:40:13Z) - Temporal-Difference Variational Continual Learning [77.92320830700797]
複数の先行推定の正則化効果を統合する新たな学習目標を提案する。
提案手法は, 変分CL法より優れたカタストロフィックフォーミングを効果的に緩和する。
論文 参考訳（メタデータ） (2024-10-10T10:58:41Z) - Train-Attention: Meta-Learning Where to Focus in Continual Knowledge Learning [15.475427498268393]
TAALM(Train-Attention-Augmented Language Model)は,トークンに対する重み付けを動的に予測・適用することにより,学習効率を向上させる。
我々は,TAALMがベースライン上での最先端性能を証明し,従来のCKLアプローチと統合した場合に相乗的互換性を示すことを示す。
論文 参考訳（メタデータ） (2024-07-24T01:04:34Z) - Probing the Decision Boundaries of In-context Learning in Large Language Models [31.977886254197138]
本稿では,テキスト内二項分類のための決定境界のレンズからテキスト内学習を探索し,理解するための新しいメカニズムを提案する。
驚いたことに、単純な二項分類タスクにおいて、現在のLLMによって学習される決定境界は、しばしば不規則で非滑らかである。
論文 参考訳（メタデータ） (2024-06-17T06:00:24Z) - Recent Advances of Foundation Language Models-based Continual Learning: A Survey [31.171203978742447]
基礎言語モデル (LM) は自然言語処理 (NLP) とコンピュータビジョン (CV) の分野において重要な成果を上げている。
しかし、破滅的な忘れ物のため、人間のような継続的学習をエミュレートすることはできない。
従来の知識を忘れずに新しいタスクに適応できるように、様々な連続学習(CL)ベースの方法論が開発されている。
論文 参考訳（メタデータ） (2024-05-28T23:32:46Z) - A Unified and General Framework for Continual Learning [58.72671755989431]
継続学習(CL)は、以前取得した知識を維持しながら、動的かつ変化するデータ分布から学ぶことに焦点を当てている。
正規化ベース、ベイズベース、メモリ再生ベースなど、破滅的な忘れ込みの課題に対処する様々な手法が開発されている。
本研究の目的は,既存の方法論を包含し,整理する包括的かつ包括的な枠組みを導入することで,このギャップを埋めることである。
論文 参考訳（メタデータ） (2024-03-20T02:21:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。