論文の概要: From Static to Dynamic: A Continual Learning Framework for Large Language Models

• arxiv url: http://arxiv.org/abs/2310.14248v1
• Date: Sun, 22 Oct 2023 10:18:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-25 00:51:37.443764
• Title: From Static to Dynamic: A Continual Learning Framework for Large Language Models
• Title（参考訳）: 静的から動的へ:大規模言語モデルのための連続学習フレームワーク
• Authors: Mingzhe Du, Anh Tuan Luu, Bin Ji, See-kiong Ng
• Abstract要約: 本稿では,大規模言語モデル(LLM)のための新しい連続学習フレームワークであるDynaMindについて述べる。 DynaMindはメモリ機構を導入し、新しい知識とモジュラー演算子を同化してモデル推論プロセスを強化する。 ベンチマーク実験は、これらの課題を克服するDynaMindの有効性を実証している。
• 参考スコア（独自算出の注目度）: 41.59643329735528
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The vast number of parameters in large language models (LLMs) endows them with remarkable capabilities, allowing them to excel in a variety of natural language processing tasks. However, this complexity also presents challenges, making LLMs difficult to train and inhibiting their ability to continuously assimilate new knowledge, which may lead to inaccuracies in their outputs. To mitigate these issues, this paper presents DynaMind, a novel continual learning framework designed for LLMs. DynaMind incorporates memory mechanisms to assimilate new knowledge and modular operators to enhance the model inference process with the newly assimilated knowledge, consequently improving the accuracies of LLMs' outputs. Benchmark experiments demonstrate DynaMind's effectiveness in overcoming these challenges. The code and demo of DynaMind are available on GitHub: https://github.com/Elfsong/DynaMind.
• Abstract（参考訳）: 大きな言語モデル(LLM)の膨大な数のパラメータは、それらに顕著な能力を与え、様々な自然言語処理タスクに優れる。 しかし、この複雑さはまた、LSMを訓練しにくくし、新たな知識を継続的に同化する能力を阻害し、出力の不正確性を引き起こす可能性がある。 そこで本稿では,llms用に設計された新しい連続学習フレームワークdynamindを提案する。 DynaMindはメモリ機構を取り入れて新しい知識とモジュラー演算子を同化し、モデル推論プロセスと新たな知識の同化を図り、LLMの出力の精度を向上させる。 ベンチマーク実験は、これらの課題を克服するDynaMindの有効性を実証している。 DynaMindのコードとデモはGitHubで公開されている。

関連論文リスト

• MoExtend: Tuning New Experts for Modality and Task Extension [61.29100693866109]
  MoExtendは、Mixture-of-Experts (MoE)モデルのモダリティ適応と拡張を効率化する効果的なフレームワークである。 MoExtendは、新しいエキスパートをトレーニング済みのMoEモデルにシームレスに統合し、トレーニング済みのモデルをチューニングすることなく、新しい知識を提供する。
  論文  参考訳（メタデータ） (2024-08-07T02:28:37Z)
• CoMMIT: Coordinated Instruction Tuning for Multimodal Large Language Models [68.64605538559312]
  本稿では,MLLM命令のチューニングを理論的・経験的両面から解析する。 そこで本研究では,学習バランスを定量的に評価する尺度を提案する。 さらに,MLLMの生成分布の更新を促進する補助的損失正規化手法を提案する。
  論文  参考訳（メタデータ） (2024-07-29T23:18:55Z)
• When Life gives you LLMs, make LLM-ADE: Large Language Models with Adaptive Data Engineering [0.0]
  LLM-ADEは、大規模言語モデルのトレーニングを継続するための方法論である。 それは破滅的な忘れと二重降下の課題に対処する。 これは、以前に取得した知識を保持しながら、新しいデータに対するモデル適応性を高める。
  論文  参考訳（メタデータ） (2024-04-19T17:43:26Z)
• ST-LLM: Large Language Models Are Effective Temporal Learners [58.79456373423189]
  大規模言語モデル(LLM)は、テキストの理解と生成において印象的な能力を示した。 ビデオベースの対話システムでビデオを効果的にエンコードし、理解する方法は、まだ解決されていない。 LLM内部の時空間シーケンスをモデル化したビデオLLMベースラインST-LLMを提案する。
  論文  参考訳（メタデータ） (2024-03-30T10:11:26Z)
• Towards Modeling Learner Performance with Large Language Models [7.002923425715133]
  本稿では,LLMのパターン認識とシーケンスモデリング機能が,知識追跡の領域にまで拡張できるかどうかを検討する。 ゼロショットプロンプト(ゼロショットプロンプト)とモデル微調整(モデル微調整)の2つの手法と,既存のLLM以外の知識追跡手法を比較した。 LLMベースのアプローチは最先端のパフォーマンスを達成しないが、微調整のLLMは素早いベースラインモデルの性能を上回り、標準的なベイズ的知識追跡手法と同等に機能する。
  論文  参考訳（メタデータ） (2024-02-29T14:06:34Z)
• Continual Learning for Large Language Models: A Survey [95.79977915131145]
  大規模言語モデル(LLM)は、大規模なトレーニングコストが高いため、頻繁な再トレーニングには適さない。 本稿では,LLMの連続学習に関する最近の研究について述べる。
  論文  参考訳（メタデータ） (2024-02-02T12:34:09Z)
• Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
  大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。 自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。 本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
  論文  参考訳（メタデータ） (2023-12-26T07:24:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。