論文の概要: Towards Lifelong Learning of Large Language Models: A Survey

• arxiv url: http://arxiv.org/abs/2406.06391v1
• Date: Mon, 10 Jun 2024 15:46:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-11 13:18:57.725523
• Title: Towards Lifelong Learning of Large Language Models: A Survey
• Title（参考訳）: 大規模言語モデルの生涯学習に向けて:調査
• Authors: Junhao Zheng, Shengjie Qiu, Chengming Shi, Qianli Ma,
• Abstract要約: この調査は、生涯学習の洗練された風景を掘り下げ、戦略を2つの主要なグループ、内的知識と内的知識に分類する。 本研究では,実世界のアプリケーションにおける大規模言語モデルの適応性,信頼性,全体的な性能を向上させることを目的とする。
• 参考スコア（独自算出の注目度）: 20.0936011355535
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As the applications of large language models (LLMs) expand across diverse fields, the ability of these models to adapt to ongoing changes in data, tasks, and user preferences becomes crucial. Traditional training methods, relying on static datasets, are increasingly inadequate for coping with the dynamic nature of real-world information. Lifelong learning, also known as continual or incremental learning, addresses this challenge by enabling LLMs to learn continuously and adaptively over their operational lifetime, integrating new knowledge while retaining previously learned information and preventing catastrophic forgetting. This survey delves into the sophisticated landscape of lifelong learning, categorizing strategies into two primary groups: Internal Knowledge and External Knowledge. Internal Knowledge includes continual pretraining and continual finetuning, each enhancing the adaptability of LLMs in various scenarios. External Knowledge encompasses retrieval-based and tool-based lifelong learning, leveraging external data sources and computational tools to extend the model's capabilities without modifying core parameters. The key contributions of our survey are: (1) Introducing a novel taxonomy categorizing the extensive literature of lifelong learning into 12 scenarios; (2) Identifying common techniques across all lifelong learning scenarios and classifying existing literature into various technique groups within each scenario; (3) Highlighting emerging techniques such as model expansion and data selection, which were less explored in the pre-LLM era. Through a detailed examination of these groups and their respective categories, this survey aims to enhance the adaptability, reliability, and overall performance of LLMs in real-world applications.
• Abstract（参考訳）: 大規模言語モデル(LLM)の応用が多種多様な分野にまたがるにつれて、これらのモデルがデータ、タスク、ユーザの好みの継続的な変化に適応する能力は重要となる。 静的なデータセットに依存する従来のトレーニング手法は、現実の情報の動的な性質に対処する上で、ますます不十分になっている。 生涯学習(英: Lifelong learning)または連続学習(英: Continuousal learning)または漸進学習(英: incremental learning)は、LCMが運用期間を通じて継続的に適応的に学習することを可能にし、学習済みの情報を保持しながら新たな知識を統合し、破滅的な忘れを防ぎながら、この課題に対処する。 この調査は、生涯学習の洗練された風景を掘り下げ、戦略を2つの主要なグループ、内的知識と内的知識に分類する。 内部知識には、連続的な事前訓練と連続的な微調整が含まれ、それぞれが様々なシナリオにおけるLLMの適応性を高める。 外部知識は検索ベースおよびツールベースの生涯学習を含み、コアパラメータを変更することなく、外部データソースと計算ツールを活用してモデルの能力を拡張する。 本研究の主な貢献は,(1)生涯学習の広範な文献を12つのシナリオに分類する新しい分類法の導入,(2)生涯学習シナリオの共通技術を特定し,既存の文献を各シナリオの様々なテクニックグループに分類すること,(3)モデル拡張やデータ選択といった,LLM以前の研究の少ない新たなテクニックのハイライトである。 本研究は,これらのグループとそのカテゴリの詳細な調査を通じて,実世界のアプリケーションにおけるLCMの適応性,信頼性,全体的な性能の向上を目的とする。

関連論文リスト

• A Practitioner's Guide to Continual Multimodal Pretraining [83.63894495064855]
  マルチモーダル・ファンデーション・モデルは視覚と言語を交わす多くのアプリケーションに役立っている。 モデルを更新し続けるために、継続事前トレーニングの研究は主に、大規模な新しいデータに対する頻度の低い、差別的な更新、あるいは頻繁に行われるサンプルレベルの更新のシナリオを探求する。 本稿では,FoMo-in-Flux(FoMo-in-Flux)について紹介する。
  論文  参考訳（メタデータ） (2024-08-26T17:59:01Z)
• Probing the Decision Boundaries of In-context Learning in Large Language Models [31.977886254197138]
  本稿では,テキスト内二項分類のための決定境界のレンズからテキスト内学習を探索し,理解するための新しいメカニズムを提案する。 驚いたことに、単純な二項分類タスクにおいて、現在のLLMによって学習される決定境界は、しばしば不規則で非滑らかである。
  論文  参考訳（メタデータ） (2024-06-17T06:00:24Z)
• Recent Advances of Foundation Language Models-based Continual Learning: A Survey [31.171203978742447]
  基礎言語モデル (LM) は自然言語処理 (NLP) とコンピュータビジョン (CV) の分野において重要な成果を上げている。 しかし、破滅的な忘れ物のため、人間のような継続的学習をエミュレートすることはできない。 従来の知識を忘れずに新しいタスクに適応できるように、様々な連続学習(CL)ベースの方法論が開発されている。
  論文  参考訳（メタデータ） (2024-05-28T23:32:46Z)
• Scalable Language Model with Generalized Continual Learning [58.700439919096155]
  The Joint Adaptive Re-ization (JARe) is integrated with Dynamic Task-related Knowledge Retrieval (DTKR) to enable adapt adjust of language model based on specific downstream task。 提案手法は,様々なバックボーンやベンチマーク上での最先端性能を実証し,最小限の忘れを伴い,フルセットおよび少数ショットのシナリオにおいて効果的な連続学習を実現する。
  論文  参考訳（メタデータ） (2024-04-11T04:22:15Z)
• Continual Learning for Large Language Models: A Survey [95.79977915131145]
  大規模言語モデル(LLM)は、大規模なトレーニングコストが高いため、頻繁な再トレーニングには適さない。 本稿では,LLMの連続学習に関する最近の研究について述べる。
  論文  参考訳（メタデータ） (2024-02-02T12:34:09Z)
• Continual Learning with Pre-Trained Models: A Survey [61.97613090666247]
  継続的な学習は、新しい知識を学ぶ際に、かつての知識の破滅的な忘れを克服することを目的としている。 本稿では, PTM を用いた CL の最近の進歩を包括的に調査する。
  論文  参考訳（メタデータ） (2024-01-29T18:27:52Z)
• A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
  大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。 本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。 我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
  論文  参考訳（メタデータ） (2024-01-02T16:54:58Z)
• Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
  大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。 自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。 本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
  論文  参考訳（メタデータ） (2023-12-26T07:24:46Z)
• From Supervised to Generative: A Novel Paradigm for Tabular Deep Learning with Large Language Models [18.219485459836285]
  GTL(Generative Tabular Learning)は、大規模言語モデル(LLM)の高度な機能を統合する新しいフレームワークである。 我々の実証的研究は、GTLのスケーリングの振る舞いを厳格に分析し、384の公開データセットにまたがる。 GTL-LLaMA-2モデルは、多くの分類および回帰タスクにまたがる優れたゼロショットおよびインコンテキスト学習能力を示す。
  論文  参考訳（メタデータ） (2023-10-11T09:37:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。