論文の概要: InsCL: A Data-efficient Continual Learning Paradigm for Fine-tuning Large Language Models with Instructions
- arxiv url: http://arxiv.org/abs/2403.11435v1
- Date: Mon, 18 Mar 2024 03:10:36 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-19 16:47:44.220547
- Title: InsCL: A Data-efficient Continual Learning Paradigm for Fine-tuning Large Language Models with Instructions
- Title(参考訳): InsCL: 命令付き微調整大規模言語モデルのためのデータ効率のよい連続学習パラダイム
- Authors: Yifan Wang, Yafei Liu, Chufan Shi, Haoling Li, Chen Chen, Haonan Lu, Yujiu Yang,
- Abstract要約: InsCLは、Wasserstein Distanceによって計算されたタスク類似性に基づいて、以前のデータを動的に再生する。
InsCLはRandom Replayと比較して3.0 Relative Gain、No Replayに比べて27.96 Relative Gainのパフォーマンス向上を実現している。
- 参考スコア(独自算出の注目度): 29.682289142922752
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Instruction tuning effectively optimizes Large Language Models (LLMs) for downstream tasks. Due to the changing environment in real-life applications, LLMs necessitate continual task-specific adaptation without catastrophic forgetting. Considering the heavy computational cost, replay-based Continual Learning (CL) methods are the simplest and most widely used for LLMs to address the forgetting issue. However, traditional replay-based methods do not fully utilize instructions to customize the replay strategy. In this work, we propose a novel paradigm called Instruction-based Continual Learning (InsCL). InsCL dynamically replays previous data based on task similarity, calculated by Wasserstein Distance with instructions. Moreover, we further introduce an Instruction Information Metric (InsInfo) to quantify the complexity and diversity of instructions. According to InsInfo, InsCL guides the replay process more inclined to high-quality data. We conduct extensive experiments over 16 tasks with different training orders, observing consistent performance improvements of InsCL. When all tasks have been trained, InsCL achieves performance gains of 3.0 Relative Gain compared with Random Replay, and 27.96 Relative Gain compared with No Replay.
- Abstract(参考訳): インストラクションチューニングは、下流タスクのためのLarge Language Models(LLM)を効果的に最適化する。
現実の応用における環境の変化のため、LLMは破滅的な忘れをせずに連続的なタスク固有の適応を必要とする。
計算コストが重いことを考えると、リプレイベースの連続学習(CL)法は、忘れる問題に対処するために最も単純で広く使われている。
しかし、従来のリプレイベースの手法では、リプレイ戦略をカスタマイズするための命令を十分に活用していない。
本研究では,Instruction-based Continual Learning(InsCL)と呼ばれる新しいパラダイムを提案する。
InsCLは、Wasserstein Distanceによって計算されたタスク類似性に基づいて、以前のデータを動的に再生する。
さらに,命令の複雑さと多様性を定量化するインストラクションインストラクションインストラクション(Instruction Information Metric, InsInfo)を導入する。
InsInfoによると、InsCLは、高品質なデータに傾いたリプレイプロセスをガイドしている。
InsCLの一貫性のある性能改善を観察し、16のタスクに対して異なるトレーニング順序で広範な実験を行う。
すべてのタスクがトレーニングされた場合、InsCLはRandom Replayと比較して3.0 Relative Gain、No Replayに比べて27.96 Relative Gainというパフォーマンス向上を達成した。
関連論文リスト
- Large Language Model Can Continue Evolving From Mistakes [36.14056870453356]
大きな言語モデル(LLM)は、様々な下流タスクで素晴らしいパフォーマンスを示す。
知識不足と欠陥のある事前学習データのために、特定のシナリオで誤った応答を発生させる可能性がある。
そこで我々は,ミスの学習スキルに触発されたCEM(Continuue Evolving from Mistakes)手法を提案する。
論文 参考訳(メタデータ) (2024-04-11T17:44:56Z) - CodecLM: Aligning Language Models with Tailored Synthetic Data [51.59223474427153]
命令追従能力のための高品質な合成データを適応的に生成するフレームワークであるCodecLMを紹介する。
まず、ターゲットの指示分布をキャプチャするために、オンザフライで生成された簡潔なキーワードであるメタデータにシード命令をエンコードする。
また、デコード中に自己論理とコントラストフィルタを導入し、データ効率の良いサンプルを調整する。
論文 参考訳(メタデータ) (2024-04-08T21:15:36Z) - Don't Half-listen: Capturing Key-part Information in Continual Instruction Tuning [13.535110749767451]
キーパート情報ゲイン(KPIG)に基づく新しい連続的命令チューニング手法を提案する。
本手法は,マスク部分の情報ゲインを計算し,データを動的に再生し,トレーニング対象を洗練させる。
実験により,本手法は観察タスクと保留タスクの両方において優れた性能を発揮することが示された。
論文 参考訳(メタデータ) (2024-03-15T06:54:20Z) - CITB: A Benchmark for Continual Instruction Tuning [44.40322919392584]
連続学習(英: Continual Learning, CL)は、人間の学習能力を再現し、継続的に知識を蓄積することを目的としたパラダイムである。
近年のインストラクションチューニング (IT) では, NLP タスクの解法に適応しやすくするための微調整モデルが提案されている。
各種CL手法を体系的に研究するための学習プロトコルと評価プロトコルからなるベンチマークを構築した。
論文 参考訳(メタデータ) (2023-10-23T02:42:32Z) - Reflection-Tuning: Data Recycling Improves LLM Instruction-Tuning [79.32236399694077]
トレーニングセットの低品質データは、通常、チューニングのチューニングに有害である。
我々は「反射チューニング」と呼ばれる新しい手法を提案する。
このアプローチでは、オラクルLSMを使用して、データ内の命令や応答の質を検査し、向上することで、元のトレーニングデータをリサイクルする。
論文 参考訳(メタデータ) (2023-10-18T05:13:47Z) - TRACE: A Comprehensive Benchmark for Continual Learning in Large
Language Models [52.734140807634624]
調整された大規模言語モデル(LLM)は、タスク解決、指示に従うこと、安全性を確保することにおいて、例外的な能力を示す。
既存の連続学習ベンチマークでは、LLMをリードする上で十分な課題が欠如している。
LLMにおける継続学習を評価するための新しいベンチマークであるTRACEを紹介する。
論文 参考訳(メタデータ) (2023-10-10T16:38:49Z) - Introducing Language Guidance in Prompt-based Continual Learning [95.03110230754423]
本稿では,Prompt-based Continual Learning (LGCL) のための言語指導手法を提案する。
LGCLは、新しい最先端技術を設定するために、プロンプトベースの連続学習手法の性能を一貫して改善する。
論文 参考訳(メタデータ) (2023-08-30T08:03:49Z) - ReLLa: Retrieval-enhanced Large Language Models for Lifelong Sequential
Behavior Comprehension in Recommendation [44.89764672511655]
ゼロショットと少数ショットのレコメンデーションタスクのために、純粋に大きな言語モデルを適応し、強化することに重点を置いています。
ゼロショット設定と少数ショット設定の両方でレコメンデーションタスクを行うRetrieval-enhanced Large Language Model (ReLLa)を提案する。
論文 参考訳(メタデータ) (2023-08-22T02:25:04Z) - OverPrompt: Enhancing ChatGPT through Efficient In-Context Learning [49.38867353135258]
複数のタスク入力を処理するために,LLMのコンテキスト内学習機能を活用したOverPromptを提案する。
本実験により,OverPromptはタスク性能を著しく損なうことなく,コスト効率の良いゼロショット分類を実現することができることがわかった。
論文 参考訳(メタデータ) (2023-05-24T10:08:04Z) - Improving information retention in large scale online continual learning [99.73847522194549]
オンライン連続学習は、既存の知識を維持しながら、新しいデータに効率的に適応することを目的としている。
最近の研究は、リプレイバッファが無制限であっても、大規模なOCLでは情報保持が問題であり続けていることを示唆している。
非定常目標に対する最適化を改善するため,移動平均の手法群を提案する。
論文 参考訳(メタデータ) (2022-10-12T16:59:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。