論文の概要: Large Language Model Can Continue Evolving From Mistakes

• arxiv url: http://arxiv.org/abs/2404.08707v5
• Date: Mon, 16 Sep 2024 18:02:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-18 22:10:43.479712
• Title: Large Language Model Can Continue Evolving From Mistakes
• Title（参考訳）: 大きな言語モデルは間違いから進化し続けることができる
• Authors: Haokun Zhao, Haixia Han, Jie Shi, Chengyu Du, Jiaqing Liang, Yanghua Xiao,
• Abstract要約: 継続的な学習(CL)は、大規模言語モデル(LLM)を最新に保ち、その欠点に対処するために不可欠である。 本稿では,CPTデータ収集を目的としたデータ効率の高い手法であるCEM法を提案する。 実験により、CEMはモデル性能と連続進化を著しく向上させることが示された。
• 参考スコア（独自算出の注目度）: 36.14056870453356
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As world knowledge evolves and new task schemas emerge, Continual Learning (CL) is crucial for keeping Large Language Models (LLMs) up-to-date and addressing their shortcomings. LLMs typically require continual instruction tuning (CIT) and continual pre-training (CPT) to adapt to new tasks and acquire essential knowledge. However, collecting sufficient CPT data while addressing knowledge gaps remains challenging, as does optimizing the efficiency of utilizing this data. Inspired by the 'summarizing mistakes' strategy, we propose the Continue Evolving from Mistakes (CEM) method, a data-efficient approach aiming to collect CPT data and continually improve LLMs' performance through iterative evaluation and supplementation with mistake-relevant knowledge. To enhance data utilization and mitigate forgetting, we introduce a novel training paradigm that combines CIT and CPT data. Experiments demonstrate that CEM significantly enhances model performance and continual evolution. The code and dataset are available in the GitHub.
• Abstract（参考訳）: 世界の知識が進化し、新しいタスクスキーマが出現するにつれて、継続的な学習(CL)は、大きな言語モデル(LLM)を最新に保つ上で不可欠であり、その欠点に対処する。 LLMは、通常、新しいタスクに適応し、本質的な知識を得るために、連続的命令チューニング(CIT)と連続的事前訓練(CPT)を必要とする。 しかし、知識ギャップに対処しながら十分なCPTデータを集めることは依然として困難であり、このデータを利用する効率を最適化する。 そこで我々は,CPTデータを収集し,誤り関連知識による反復的評価と補足によってLCMの性能を継続的に向上することを目的とした,データ効率のよい手法であるCEM(Continuue Evolving from Mistakes)手法を提案する。 そこで本研究では,CITとCPTデータを組み合わせた新たなトレーニングパラダイムを提案する。 実験により、CEMはモデル性能と連続進化を著しく向上させることが示された。 コードとデータセットはGitHubで入手できる。

関連論文リスト

• Efficient Knowledge Feeding to Language Models: A Novel Integrated Encoder-Decoder Architecture [0.0]
  ICVは言語モデルの潜在埋め込みを用いて、コンテキスト内学習をリキャストする。 ICVは直接情報をモデルに統合し、この情報をより効率的に処理することができる。
  論文  参考訳（メタデータ） (2025-02-07T04:24:07Z)
• Multi-Stage Knowledge Integration of Vision-Language Models for Continual Learning [79.46570165281084]
  蒸留法における人間の学習過程をエミュレートするマルチステージ知識統合ネットワーク(MulKI)を提案する。 Mulkiは、イデオロギーの排除、新しいイデオロギーの追加、イデオロギーの排除、コネクティクスの作りという4つの段階を通じてこれを達成している。 提案手法は,下流タスク間の連続学習をサポートしながら,ゼロショット能力の維持における大幅な改善を示す。
  論文  参考訳（メタデータ） (2024-11-11T07:36:19Z)
• Temporal-Difference Variational Continual Learning [89.32940051152782]
  現実世界のアプリケーションにおける機械学習モデルの重要な機能は、新しいタスクを継続的に学習する能力である。 継続的な学習設定では、モデルは以前の知識を保持することで新しいタスクの学習のバランスをとるのに苦労することが多い。 複数の先行推定の正則化効果を統合する新たな学習目標を提案する。
  論文  参考訳（メタデータ） (2024-10-10T10:58:41Z)
• SIaM: Self-Improving Code-Assisted Mathematical Reasoning of Large Language Models [54.78329741186446]
  本稿では,コードに基づく批判モデルを用いて,質問コードデータ構築,品質管理,補完的評価などのステップをガイドする新しいパラダイムを提案する。 英語と中国語におけるドメイン内ベンチマークとドメイン外ベンチマークの両方の実験は、提案したパラダイムの有効性を実証している。
  論文  参考訳（メタデータ） (2024-08-28T06:33:03Z)
• Learning to Learn without Forgetting using Attention [5.6739565497512405]
  継続学習(きゅうがく、Continuous Learning, CL)とは、学習経験を維持しつつ、新たな知識を付加することで、時間とともに継続的に学習する能力である。 現在の機械学習手法は、以前に学んだパターンを上書きし、過去の経験を忘れやすい。 手作りの効果的な更新機構は難しいため,変圧器をベースとしたメタラーニングによるCLの強化を提案する。
  論文  参考訳（メタデータ） (2024-08-06T14:25:23Z)
• Learning to Unlearn for Robust Machine Unlearning [6.488418950340473]
  学習過程を最適化する新しいLTU(Learning-to-Unlearn)フレームワークを提案する。 LTUは、モデルが一般化可能な知識を効果的に保存することを容易にするメタ最適化スキームを含んでいる。 また、記憶と忘れのための最適化トラジェクトリを整列するグラディエント調和戦略も導入する。
  論文  参考訳（メタデータ） (2024-07-15T07:36:00Z)
• DELTA: Decoupling Long-Tailed Online Continual Learning [7.507868991415516]
  Long-Tailed Online Continual Learning (LTOCL)は、クラス不均衡なデータストリームのシーケンシャルな到着から新しいタスクを学ぶことを目的としている。 DELTAは,学習表現の強化を目的とした非結合型学習手法である。 我々は,DELTAが既存のOCL手法を超越して,インクリメンタル学習の能力を向上させることを実証した。
  論文  参考訳（メタデータ） (2024-04-06T02:33:04Z)
• Boosting Continual Learning of Vision-Language Models via Mixture-of-Experts Adapters [65.15700861265432]
  本稿では,視覚言語モデルを用いた漸進的学習における長期的忘れを緩和するパラメータ効率の連続学習フレームワークを提案する。 提案手法では,Mixture-of-Experts (MoE)アダプタの統合により,事前学習したCLIPモデルの動的拡張を行う。 視覚言語モデルのゼロショット認識能力を維持するために,分布判別オートセレクタを提案する。
  論文  参考訳（メタデータ） (2024-03-18T08:00:23Z)
• Unlearn What You Want to Forget: Efficient Unlearning for LLMs [92.51670143929056]
  大規模言語モデル(LLM)は、幅広いテキストデータを事前学習し記憶することで大きな進歩を遂げた。 このプロセスはプライバシー問題やデータ保護規則違反に悩まされる可能性がある。 データ削除後のモデル全体を再トレーニングすることなく、LLMを効率的に更新できる効率的なアンラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-31T03:35:59Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。