論文の概要: Large Language Model Can Continue Evolving From Mistakes

• arxiv url: http://arxiv.org/abs/2404.08707v1
• Date: Thu, 11 Apr 2024 17:44:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-16 19:11:57.969566
• Title: Large Language Model Can Continue Evolving From Mistakes
• Title（参考訳）: 大きな言語モデルは間違いから進化し続けることができる
• Authors: Haokun Zhao, Haixia Han, Jie Shi, Chengyu Du, Jiaqing Liang, Yanghua Xiao,
• Abstract要約: 大きな言語モデル(LLM)は、様々な下流タスクで素晴らしいパフォーマンスを示す。 知識不足と欠陥のある事前学習データのために、特定のシナリオで誤った応答を発生させる可能性がある。 そこで我々は,ミスの学習スキルに触発されたCEM(Continuue Evolving from Mistakes)手法を提案する。
• 参考スコア（独自算出の注目度）: 36.14056870453356
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) demonstrate impressive performance in various downstream tasks. However, they may still generate incorrect responses in certain scenarios due to the knowledge deficiencies and the flawed pre-training data. Continual Learning (CL) is a commonly used method to address this issue. Traditional CL is task-oriented, using novel or factually accurate data to retrain LLMs from scratch. However, this method requires more task-related training data and incurs expensive training costs. To address this challenge, we propose the Continue Evolving from Mistakes (CEM) method, inspired by the 'summarize mistakes' learning skill, to achieve iterative refinement of LLMs. Specifically, the incorrect responses of LLMs indicate knowledge deficiencies related to the questions. Therefore, we collect corpora with these knowledge from multiple data sources and follow it up with iterative supplementary training for continuous, targeted knowledge updating and supplementation. Meanwhile, we developed two strategies to construct supplementary training sets to enhance the LLM's understanding of the corpus and prevent catastrophic forgetting. We conducted extensive experiments to validate the effectiveness of this CL method. In the best case, our method resulted in a 17.00\% improvement in the accuracy of the LLM.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、様々な下流タスクで素晴らしいパフォーマンスを示す。 しかし、知識不足と欠陥のある事前学習データのために、特定のシナリオで誤った応答を生成する可能性がある。 継続的学習(CL)は、この問題に対処するための一般的な方法である。 従来のCLはタスク指向であり、スクラッチからLLMを再訓練するために、新しいデータまたは事実的正確性を用いている。 しかし,本手法では,タスク関連トレーニングデータが多くなり,高価なトレーニングコストがかかる。 この課題に対処するために,LLMの反復的改良を実現するために,「ミスの要約」学習スキルにインスパイアされたCEM法を提案する。 特に, LLMの誤った応答は, 疑問に関連する知識不足を示している。 そこで我々は,これらの知識を複数のデータソースから収集し,継続的かつ目標とする知識更新と補足のための反復的な補足訓練を行う。 一方,LLMのコーパス理解を高めるための補助的トレーニングセットの構築と,破滅的な忘れ込みを防止するための2つの戦略を開発した。 我々は,このCL法の有効性を検証するために,広範囲な実験を行った。 その結果, LLMの精度は17.00\%向上した。

関連論文リスト

• Multi-Stage Knowledge Integration of Vision-Language Models for Continual Learning [79.46570165281084]
  蒸留法における人間の学習過程をエミュレートするマルチステージ知識統合ネットワーク(MulKI)を提案する。 Mulkiは、イデオロギーの排除、新しいイデオロギーの追加、イデオロギーの排除、コネクティクスの作りという4つの段階を通じてこれを達成している。 提案手法は,下流タスク間の連続学習をサポートしながら,ゼロショット能力の維持における大幅な改善を示す。
  論文  参考訳（メタデータ） (2024-11-11T07:36:19Z)
• Learning to Learn without Forgetting using Attention [5.6739565497512405]
  継続学習(きゅうがく、Continuous Learning, CL)とは、学習経験を維持しつつ、新たな知識を付加することで、時間とともに継続的に学習する能力である。 現在の機械学習手法は、以前に学んだパターンを上書きし、過去の経験を忘れやすい。 手作りの効果的な更新機構は難しいため,変圧器をベースとしたメタラーニングによるCLの強化を提案する。
  論文  参考訳（メタデータ） (2024-08-06T14:25:23Z)
• Learn while Unlearn: An Iterative Unlearning Framework for Generative Language Models [49.043599241803825]
  Iterative Contrastive Unlearning (ICU)フレームワークは3つのコアコンポーネントで構成されている。 知識未学習誘導モジュールは、未学習の損失を通じて特定の知識を除去する。 Contrastive Learning Enhancementモジュールは、純粋な未学習の目標に対してモデルの表現力を維持する。 また、特定のデータ片の未学習範囲を動的に評価し、反復的な更新を行う反復未学習リファインメントモジュールも用意されている。
  論文  参考訳（メタデータ） (2024-07-25T07:09:35Z)
• Learning to Unlearn for Robust Machine Unlearning [6.488418950340473]
  学習過程を最適化する新しいLTU(Learning-to-Unlearn)フレームワークを提案する。 LTUは、モデルが一般化可能な知識を効果的に保存することを容易にするメタ最適化スキームを含んでいる。 また、記憶と忘れのための最適化トラジェクトリを整列するグラディエント調和戦略も導入する。
  論文  参考訳（メタデータ） (2024-07-15T07:36:00Z)
• DELTA: Decoupling Long-Tailed Online Continual Learning [7.507868991415516]
  Long-Tailed Online Continual Learning (LTOCL)は、クラス不均衡なデータストリームのシーケンシャルな到着から新しいタスクを学ぶことを目的としている。 DELTAは,学習表現の強化を目的とした非結合型学習手法である。 我々は,DELTAが既存のOCL手法を超越して,インクリメンタル学習の能力を向上させることを実証した。
  論文  参考訳（メタデータ） (2024-04-06T02:33:04Z)
• Continual Learning for Large Language Models: A Survey [95.79977915131145]
  大規模言語モデル(LLM)は、大規模なトレーニングコストが高いため、頻繁な再トレーニングには適さない。 本稿では,LLMの連続学習に関する最近の研究について述べる。
  論文  参考訳（メタデータ） (2024-02-02T12:34:09Z)
• Unlearn What You Want to Forget: Efficient Unlearning for LLMs [92.51670143929056]
  大規模言語モデル(LLM)は、幅広いテキストデータを事前学習し記憶することで大きな進歩を遂げた。 このプロセスはプライバシー問題やデータ保護規則違反に悩まされる可能性がある。 データ削除後のモデル全体を再トレーニングすることなく、LLMを効率的に更新できる効率的なアンラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-31T03:35:59Z)
• CLIP: Train Faster with Less Data [3.2575001434344286]
  ディープラーニングモデルは、トレーニングに膨大な量のデータを必要とします。 近年、機械学習はモデル中心のアプローチからデータ中心のアプローチへとシフトしている。 CLIP(CLIP, Curriculum Learning with Iterative data Pruning)を提案する。
  論文  参考訳（メタデータ） (2022-12-02T21:29:48Z)
• Bilevel Continual Learning [76.50127663309604]
  BCL(Bilevel Continual Learning)という,継続的学習の新たな枠組みを提案する。 連続学習ベンチマーク実験では,多くの最先端手法と比較して,提案したBCLの有効性が示された。
  論文  参考訳（メタデータ） (2020-07-30T16:00:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。