論文の概要: Continual Learning of Large Language Models: A Comprehensive Survey
- arxiv url: http://arxiv.org/abs/2404.16789v1
- Date: Thu, 25 Apr 2024 17:38:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-26 13:01:06.697104
- Title: Continual Learning of Large Language Models: A Comprehensive Survey
- Title(参考訳): 大規模言語モデルの継続的な学習:包括的調査
- Authors: Haizhou Shi, Zihao Xu, Hengyi Wang, Weiyi Qin, Wenyuan Wang, Yibin Wang, Hao Wang,
- Abstract要約: 静的、コンパイル済み、一般的なデータセットに基づいてトレーニングされた大規模言語モデル(LLMs)は、多くの研究方向や応用を引き起こしている。
そのような方向の1つは、トレーニング済みのLLMを動的データ分散、タスク構造、ユーザの好みに組み込むという、簡単ではない課題に対処する。
CL(Continuous Learning)コミュニティで広く研究されているが、LSMの領域では新たなマニフェストが提示されている。
- 参考スコア(独自算出の注目度): 11.794988994566642
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The recent success of large language models (LLMs) trained on static, pre-collected, general datasets has sparked numerous research directions and applications. One such direction addresses the non-trivial challenge of integrating pre-trained LLMs into dynamic data distributions, task structures, and user preferences. Pre-trained LLMs, when tailored for specific needs, often experience significant performance degradation in previous knowledge domains -- a phenomenon known as "catastrophic forgetting". While extensively studied in the continual learning (CL) community, it presents new manifestations in the realm of LLMs. In this survey, we provide a comprehensive overview of the current research progress on LLMs within the context of CL. This survey is structured into four main sections: we first describe an overview of continually learning LLMs, consisting of two directions of continuity: vertical continuity (or vertical continual learning), i.e., continual adaptation from general to specific capabilities, and horizontal continuity (or horizontal continual learning), i.e., continual adaptation across time and domains (Section 3). We then summarize three stages of learning LLMs in the context of modern CL: Continual Pre-Training (CPT), Domain-Adaptive Pre-training (DAP), and Continual Fine-Tuning (CFT) (Section 4). Then we provide an overview of evaluation protocols for continual learning with LLMs, along with the current available data sources (Section 5). Finally, we discuss intriguing questions pertaining to continual learning for LLMs (Section 6). The full list of papers examined in this survey is available at https://github.com/Wang-ML-Lab/llm-continual-learning-survey.
- Abstract(参考訳): 最近の大規模言語モデル(LLM)の成功は、静的で、事前にコンパイルされた一般的なデータセットに基づいて訓練され、多くの研究の方向性と応用を引き起こした。
そのような方向の1つは、トレーニング済みのLLMを動的データ分散、タスク構造、ユーザの好みに組み込むという、簡単ではない課題に対処する。
特定のニーズに合わせて調整された事前訓練されたLLMは、しばしば「破滅的な忘れ物」として知られる、以前の知識領域で顕著なパフォーマンス劣化を経験する。
CL(Continuous Learning)コミュニティで広く研究されているが、LSMの領域では新たなマニフェストが提示されている。
本稿では,CL の文脈における LLM 研究の現状について概観する。
縦連続性(縦連続性学習)、一般から特定の能力への連続的適応(横連続性学習)、横連続性(横連続性学習)、時間と領域をまたいだ連続的適応(第3部)の2つの方向からなる連続的学習 LLM の概要を最初に記述する(第3部)。
次に,CPT(Continuous Pre-Training),DAP(Domain-Adaptive Pre-Training),CFT(Continuous Fine-Tuning)(Section 4)の3つの段階について述べる。
次に、LLMを用いた連続学習のための評価プロトコルの概要と、現在利用可能なデータソースについて概説する(第5部)。
最後に,LLMの継続学習に関する興味深い疑問について論じる(第6部)。
この調査で調査された論文の完全なリストはhttps://github.com/Wang-ML-Lab/llm-continual-learning-surveyで公開されている。
関連論文リスト
- Continual Learning for Large Language Models: A Survey [95.79977915131145]
大規模言語モデル(LLM)は、大規模なトレーニングコストが高いため、頻繁な再トレーニングには適さない。
本稿では,LLMの連続学習に関する最近の研究について述べる。
論文 参考訳(メタデータ) (2024-02-02T12:34:09Z) - Chain of History: Learning and Forecasting with LLMs for Temporal
Knowledge Graph Completion [24.545917737620197]
時間知識グラフ補完(TKGC)は、将来のタイムスタンプにおけるイベントリンクの欠落を予測する複雑なタスクである。
本稿では,時間的知識グラフの推論において,大規模言語モデルの利点を活用するための総合的な視点を提供することを目的とする。
論文 参考訳(メタデータ) (2024-01-11T17:42:47Z) - Examining Forgetting in Continual Pre-training of Aligned Large Language
Models [66.62800021628276]
本研究では,既存の微調整LDMの連続事前訓練中に発生する忘れ現象について検討する。
実験結果は、連続的な事前訓練中に破滅的な忘れに対処する非自明な課題を浮き彫りにした。
論文 参考訳(メタデータ) (2024-01-06T05:34:09Z) - Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。
自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。
本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
論文 参考訳(メタデータ) (2023-12-26T07:24:46Z) - A Survey on Large Language Models for Software Engineering [16.134715510164366]
大規模言語モデル(LLM)は、幅広いソフトウェア工学(SE)タスクを自動化するために使われる。
LLMベースのSEコミュニティにおける最先端の研究を要約するために、系統的な調査を行う。
本稿では,LLMが一般的に用いられている最近のSE研究について,43の特定のコード関連タスクに関する155の研究を含む詳細な要約を行う。
論文 参考訳(メタデータ) (2023-12-23T11:09:40Z) - Vision-Language Instruction Tuning: A Review and Analysis [52.218690619616474]
VLIT(Vision-Language Instruction Tuning)は、純粋なテキスト命令チューニングよりも複雑な特徴を示す。
既存のVLITデータセットの詳細な分類と、高品質なVLITデータが持つべき特性を識別する。
これらの特徴を既存のVLITデータ構築プロセスに導出する原理として取り入れることで、我々は広範囲な実験を行い、調整されたマルチモーダルLCMの性能に対する肯定的な影響を検証した。
論文 参考訳(メタデータ) (2023-11-14T14:02:32Z) - Survey on Factuality in Large Language Models: Knowledge, Retrieval and
Domain-Specificity [61.54815512469125]
本調査は,大規模言語モデル(LLM)における事実性の重要課題に対処する。
LLMが様々な領域にまたがる応用を見出すにつれ、その出力の信頼性と正確性は重要となる。
論文 参考訳(メタデータ) (2023-10-11T14:18:03Z) - TRACE: A Comprehensive Benchmark for Continual Learning in Large
Language Models [52.734140807634624]
調整された大規模言語モデル(LLM)は、タスク解決、指示に従うこと、安全性を確保することにおいて、例外的な能力を示す。
既存の連続学習ベンチマークでは、LLMをリードする上で十分な課題が欠如している。
LLMにおける継続学習を評価するための新しいベンチマークであるTRACEを紹介する。
論文 参考訳(メタデータ) (2023-10-10T16:38:49Z) - Large Language Models for Software Engineering: A Systematic Literature Review [34.12458948051519]
大規模言語モデル(LLM)は、ソフトウェア工学(SE)を含む多くの領域に大きな影響を与えている。
我々は、2017年1月から2024年1月までの395件の研究論文を選定、分析し、4つの重要な研究質問(RQ)に答える。
これらのRQに対する回答から、現在の最先端とトレンド、既存の研究のギャップの特定、今後の研究に向けた有望な領域のフラグ付けなどについて論じる。
論文 参考訳(メタデータ) (2023-08-21T10:37:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。