論文の概要: Towards Incremental Learning in Large Language Models: A Critical Review

• arxiv url: http://arxiv.org/abs/2404.18311v4
• Date: Sun, 5 May 2024 08:46:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-07 12:36:45.068376
• Title: Towards Incremental Learning in Large Language Models: A Critical Review
• Title（参考訳）: 大規模言語モデルにおけるインクリメンタルラーニングに向けて:批判的レビュー
• Authors: Mladjan Jovanovic, Peter Voss,
• Abstract要約: このレビューは、大規模言語モデルにおける漸進的学習の包括的分析を提供する。 それは、継続的な学習、メタラーニング、パラメータ効率の学習、およびエキスパートの混合学習を含む、最先端の漸進的な学習パラダイムを合成する。 重要な発見は、これらのアプローチの多くはコアモデルを更新せず、リアルタイムでインクリメンタルに更新するものではないことである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Incremental learning is the ability of systems to acquire knowledge over time, enabling their adaptation and generalization to novel tasks. It is a critical ability for intelligent, real-world systems, especially when data changes frequently or is limited. This review provides a comprehensive analysis of incremental learning in Large Language Models. It synthesizes the state-of-the-art incremental learning paradigms, including continual learning, meta-learning, parameter-efficient learning, and mixture-of-experts learning. We demonstrate their utility for incremental learning by describing specific achievements from these related topics and their critical factors. An important finding is that many of these approaches do not update the core model, and none of them update incrementally in real-time. The paper highlights current problems and challenges for future research in the field. By consolidating the latest relevant research developments, this review offers a comprehensive understanding of incremental learning and its implications for designing and developing LLM-based learning systems.
• Abstract（参考訳）: インクリメンタルラーニング(Incremental learning)とは、システムが時間とともに知識を習得し、新しいタスクへの適応と一般化を可能にする能力である。 これは知的で現実世界のシステムにとって重要な能力であり、特にデータが頻繁に変化したり、制限されたりする場合に有効である。 このレビューは、大規模言語モデルにおける漸進的学習の包括的分析を提供する。 それは、継続的な学習、メタラーニング、パラメータ効率の学習、およびエキスパートの混合学習を含む、最先端の漸進的な学習パラダイムを合成する。 本研究は,これらのトピックから得られた特定の成果とその重要な要因を説明することで,段階的な学習に有効であることを実証する。 重要な発見は、これらのアプローチの多くはコアモデルを更新せず、リアルタイムでインクリメンタルに更新するものではないことである。 本報告では,今後の研究課題と課題について述べる。 最新の研究成果を集約することにより、インクリメンタルラーニングの包括的理解と、LLMベースのラーニングシステムの設計・開発におけるその意義について考察する。

関連論文リスト

• GrowOVER: How Can LLMs Adapt to Growing Real-World Knowledge? [36.987716816134984]
  本稿では,更新の連続サイクルを経たGrowOVER-QAとGrowOVER-Dialogue,動的オープンドメインQA,ダイアログベンチマークを提案する。 本研究は,検索強化言語モデル(RaLM)が,まだトレーニングされていない知識や最近更新されていない知識に悩まされていることを示唆している。 本稿では,新たな検索対話型言語モデルフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-09T01:16:04Z)
• Enhancing Generative Class Incremental Learning Performance with Model Forgetting Approach [50.36650300087987]
  本研究は, ジェネレーティブ・クラス・インクリメンタル・ラーニング(GCIL, Generative Class Incremental Learning)への新たなアプローチを提案する。 我々は, 忘れる機構の統合により, 新たな知識獲得におけるモデルの性能が著しく向上することを発見した。
  論文  参考訳（メタデータ） (2024-03-27T05:10:38Z)
• A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
  大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。 本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。 我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
  論文  参考訳（メタデータ） (2024-01-02T16:54:58Z)
• Online Continual Knowledge Learning for Language Models [3.654507524092343]
  大規模言語モデル(LLM)は、幅広い世界の知識のリポジトリとして機能し、質問応答やファクトチェックなどのタスクを実行できる。 オンライン連続知識学習(OCKL)は,実時間制約下での世界知識の動的性質を管理することを目的としている。
  論文  参考訳（メタデータ） (2023-11-16T07:31:03Z)
• Carpe Diem: On the Evaluation of World Knowledge in Lifelong Language Models [74.81091933317882]
  進化するウィキペディアデータベース上でのLMのトレーニングと評価を目的とした,時間的に進化する質問応答ベンチマークであるEvolvingQAを紹介する。 既存の継続的な学習ベースラインが、時代遅れの知識の更新と削除に悩まされていることを明らかにする。 本研究の目的は,実世界の情報の動的性質をモデル化することであり,言語モデルの進化適応性を忠実に評価することである。
  論文  参考訳（メタデータ） (2023-11-14T12:12:02Z)
• When Meta-Learning Meets Online and Continual Learning: A Survey [39.53836535326121]
  メタ学習は学習アルゴリズムを最適化するためのデータ駆動型アプローチである。 継続的な学習とオンライン学習はどちらも、ストリーミングデータでモデルを漸進的に更新する。 本稿では,一貫した用語と形式記述を用いて,様々な問題設定を整理する。
  論文  参考訳（メタデータ） (2023-11-09T09:49:50Z)
• Beyond Factuality: A Comprehensive Evaluation of Large Language Models as Knowledge Generators [78.63553017938911]
  大規模言語モデル(LLM)は、下流の知識集約タスクのための情報検索技術より優れている。 しかし、コミュニティの懸念は、この無検閲の知識を使用することの事実と潜在的意味について多岐にわたる。 本研究では,6つの重要な視点から生成した知識を評価するために設計されたCONNERを紹介する。
  論文  参考訳（メタデータ） (2023-10-11T08:22:37Z)
• The Life Cycle of Knowledge in Big Language Models: A Survey [39.955688635216056]
  事前訓練された言語モデル(PLM)は、言語モデルによって知識を取得、維持、更新、利用する方法に大きな注目を集めている。 膨大な量の関連する研究にもかかわらず、学習、チューニング、アプリケーションプロセスを通して、言語モデル内で知識がどのように循環するかについての統一された見解はいまだに存在しない。 我々は, PLMにおける知識のライフサイクルを5つの臨界期間に分割し, 構築, 維持, 使用の際の知識の循環について検討することによって, PLMを知識ベースシステムとして再考する。
  論文  参考訳（メタデータ） (2023-03-14T03:49:22Z)
• A Comprehensive Survey of Continual Learning: Theory, Method and Application [64.23253420555989]
  本稿では,基礎的設定,理論的基礎,代表的方法,実践的応用を橋渡しする継続的学習に関する包括的調査を行う。 連続学習の一般的な目的は、資源効率の文脈において、適切な安定性と塑性のトレードオフと適切なタスク内/タスク内一般化性を保証することであると要約する。
  論文  参考訳（メタデータ） (2023-01-31T11:34:56Z)
• Knowledge as Invariance -- History and Perspectives of Knowledge-augmented Machine Learning [69.99522650448213]
  機械学習の研究は転換点にある。 研究の関心は、高度にパラメータ化されたモデルのパフォーマンス向上から、非常に具体的なタスクへとシフトしている。 このホワイトペーパーは、機械学習研究におけるこの新興分野の紹介と議論を提供する。
  論文  参考訳（メタデータ） (2020-12-21T15:07:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。