論文の概要: Large Language Model Can Continue Evolving From Mistakes
- arxiv url: http://arxiv.org/abs/2404.08707v2
- Date: Fri, 19 Apr 2024 07:22:54 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-22 17:23:46.456261
- Title: Large Language Model Can Continue Evolving From Mistakes
- Title(参考訳): 大きな言語モデルは間違いから進化し続けることができる
- Authors: Haokun Zhao, Haixia Han, Jie Shi, Chengyu Du, Jiaqing Liang, Yanghua Xiao,
- Abstract要約: 大きな言語モデル(LLM)は、様々な下流タスクで素晴らしいパフォーマンスを示す。
知識不足と欠陥のある事前学習データのために、特定のシナリオで誤った応答を発生させる可能性がある。
そこで我々は,ミスの学習スキルに触発されたCEM(Continuue Evolving from Mistakes)手法を提案する。
- 参考スコア(独自算出の注目度): 36.14056870453356
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models (LLMs) demonstrate impressive performance in various downstream tasks. However, they may still generate incorrect responses in certain scenarios due to the knowledge deficiencies and the flawed pre-training data. Continual Learning (CL) is a commonly used method to address this issue. Traditional CL is task-oriented, using novel or factually accurate data to retrain LLMs from scratch. However, this method requires more task-related training data and incurs expensive training costs. To address this challenge, we propose the Continue Evolving from Mistakes (CEM) method, inspired by the 'summarize mistakes' learning skill, to achieve iterative refinement of LLMs. Specifically, the incorrect responses of LLMs indicate knowledge deficiencies related to the questions. Therefore, we collect corpora with these knowledge from multiple data sources and follow it up with iterative supplementary training for continuous, targeted knowledge updating and supplementation. Meanwhile, we developed two strategies to construct supplementary training sets to enhance the LLM's understanding of the corpus and prevent catastrophic forgetting. We conducted extensive experiments to validate the effectiveness of this CL method. In the best case, our method resulted in a 17.00\% improvement in the accuracy of the LLM.
- Abstract(参考訳): 大きな言語モデル(LLM)は、様々な下流タスクで素晴らしいパフォーマンスを示す。
しかし、知識不足と欠陥のある事前学習データのために、特定のシナリオで誤った応答を生成する可能性がある。
継続的学習(CL)は、この問題に対処するための一般的な方法である。
従来のCLはタスク指向であり、スクラッチからLLMを再訓練するために、新しいデータまたは事実的正確性を用いている。
しかし,本手法では,タスク関連トレーニングデータが多くなり,高価なトレーニングコストがかかる。
この課題に対処するために,LLMの反復的改良を実現するために,「ミスの要約」学習スキルにインスパイアされたCEM法を提案する。
特に, LLMの誤った応答は, 疑問に関連する知識不足を示している。
そこで我々は,これらの知識を複数のデータソースから収集し,継続的かつ目標とする知識更新と補足のための反復的な補足訓練を行う。
一方,LLMのコーパス理解を高めるための補助的トレーニングセットの構築と,破滅的な忘れ込みを防止するための2つの戦略を開発した。
我々は,このCL法の有効性を検証するために,広範囲な実験を行った。
その結果, LLMの精度は17.00\%向上した。
関連論文リスト
- Don't Half-listen: Capturing Key-part Information in Continual Instruction Tuning [13.535110749767451]
キーパート情報ゲイン(KPIG)に基づく新しい連続的命令チューニング手法を提案する。
本手法は,マスク部分の情報ゲインを計算し,データを動的に再生し,トレーニング対象を洗練させる。
実験により,本手法は観察タスクと保留タスクの両方において優れた性能を発揮することが示された。
論文 参考訳(メタデータ) (2024-03-15T06:54:20Z) - Small Models, Big Insights: Leveraging Slim Proxy Models To Decide When
and What to Retrieve for LLMs [64.0049955128318]
本稿では,スリムプロキシモデルを用いた大規模言語モデル (LLM) における知識不足を検知する新しい協調手法であるSlimPLMを提案する。
パラメータがはるかに少ないプロキシモデルを採用し、回答を回答としています。
ヒューリスティックな回答は、LLM内の既知の未知の知識と同様に、ユーザの質問に答えるために必要な知識を予測するのに使用される。
論文 参考訳(メタデータ) (2024-02-19T11:11:08Z) - Continual Learning for Large Language Models: A Survey [95.79977915131145]
大規模言語モデル(LLM)は、大規模なトレーニングコストが高いため、頻繁な再トレーニングには適さない。
本稿では,LLMの連続学習に関する最近の研究について述べる。
論文 参考訳(メタデータ) (2024-02-02T12:34:09Z) - Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。
自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。
本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
論文 参考訳(メタデータ) (2023-12-26T07:24:46Z) - Reflection-Tuning: Data Recycling Improves LLM Instruction-Tuning [79.32236399694077]
トレーニングセットの低品質データは、通常、チューニングのチューニングに有害である。
我々は「反射チューニング」と呼ばれる新しい手法を提案する。
このアプローチでは、オラクルLSMを使用して、データ内の命令や応答の質を検査し、向上することで、元のトレーニングデータをリサイクルする。
論文 参考訳(メタデータ) (2023-10-18T05:13:47Z) - In-Context Unlearning: Language Models as Few Shot Unlearners [31.426892450603873]
''In-Context Unlearning''は、モデルパラメータを更新することなく、コンテキスト内のインプットを提供する。
これらのコンテキストは、最先端の未学習手法と競合するパフォーマンスレベルを維持しながら、トレーニングセットから特定の情報を効果的に除去することを示します。
論文 参考訳(メタデータ) (2023-10-11T15:19:31Z) - TRACE: A Comprehensive Benchmark for Continual Learning in Large
Language Models [52.734140807634624]
調整された大規模言語モデル(LLM)は、タスク解決、指示に従うこと、安全性を確保することにおいて、例外的な能力を示す。
既存の連続学習ベンチマークでは、LLMをリードする上で十分な課題が欠如している。
LLMにおける継続学習を評価するための新しいベンチマークであるTRACEを紹介する。
論文 参考訳(メタデータ) (2023-10-10T16:38:49Z) - LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。
タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。
LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
論文 参考訳(メタデータ) (2023-05-19T12:10:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。