論文の概要: ConPET: Continual Parameter-Efficient Tuning for Large Language Models

• arxiv url: http://arxiv.org/abs/2309.14763v1
• Date: Tue, 26 Sep 2023 08:52:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-27 14:22:22.724781
• Title: ConPET: Continual Parameter-Efficient Tuning for Large Language Models
• Title（参考訳）: ConPET:大規模言語モデルのための連続パラメータ効率チューニング
• Authors: Chenyang Song, Xu Han, Zheni Zeng, Kuai Li, Chen Chen, Zhiyuan Liu, Maosong Sun and Tao Yang
• Abstract要約: 継続的な学習には、新しいタスクへのモデルの継続的な適応が必要である。 継続性を提案する。 効率的なチューニング(ConPET) - 一般化可能なパラダイム。 大規模言語モデルの連続的なタスク適応。
• 参考スコア（独自算出の注目度）: 65.48107393731861
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continual learning necessitates the continual adaptation of models to newly emerging tasks while minimizing the catastrophic forgetting of old ones. This is extremely challenging for large language models (LLMs) with vanilla full-parameter tuning due to high computation costs, memory consumption, and forgetting issue. Inspired by the success of parameter-efficient tuning (PET), we propose Continual Parameter-Efficient Tuning (ConPET), a generalizable paradigm for continual task adaptation of LLMs with task-number-independent training complexity. ConPET includes two versions with different application scenarios. First, Static ConPET can adapt former continual learning methods originally designed for relatively smaller models to LLMs through PET and a dynamic replay strategy, which largely reduces the tuning costs and alleviates the over-fitting and forgetting issue. Furthermore, to maintain scalability, Dynamic ConPET adopts separate PET modules for different tasks and a PET module selector for dynamic optimal selection. In our extensive experiments, the adaptation of Static ConPET helps multiple former methods reduce the scale of tunable parameters by over 3,000 times and surpass the PET-only baseline by at least 5 points on five smaller benchmarks, while Dynamic ConPET gains its advantage on the largest dataset. The codes and datasets are available at https://github.com/Raincleared-Song/ConPET.
• Abstract（参考訳）: 継続学習は、新しいタスクへのモデルの継続的な適応を必要とし、古いタスクの破滅的な忘れを最小化する。 大きな言語モデル(LLM)では、計算コストの高騰、メモリ消費、忘れの問題により、バニラのフルパラメータチューニングが極めて難しい。 パラメータ効率チューニング(PET)の成功に触発されて,タスク数非依存の学習複雑性を持つLLMの連続的タスク適応のための一般化可能なパラダイムであるConPETを提案する。 ConPETには、異なるアプリケーションシナリオを持つ2つのバージョンが含まれている。 第1に、Static ConPETは、もともと比較的小さなモデルのために設計された従来の連続学習手法を、PETと動的リプレイ戦略によりLCMに適応させることができる。 さらに、スケーラビリティを維持するために、Dynamic ConPETは異なるタスクに対して別々のPETモジュールと動的最適選択のためのPETモジュールセレクタを採用する。 大規模な実験では、Static ConPETの適応により、複数の旧手法がチューナブルパラメータのスケールを3000回以上削減し、PETのみのベースラインを5つの小さなベンチマークで少なくとも5ポイント超えるのに対して、Dynamic ConPETは最大のデータセットで優位に立つ。 コードとデータセットはhttps://github.com/Raincleared-Song/ConPETで公開されている。

関連論文リスト

• Dynamic Subset Tuning: Expanding the Operational Range of Parameter-Efficient Training for Large Language Models [14.762222323897978]
  大規模言語モデルのための新しいパラメータ効率訓練法を提案する。 従来の方法とは異なり、このサブセットはロケーションで固定されるのではなく、トレーニングの過程でどのパラメータが修正されるかである。 本手法により, モデル全体の任意の割合で, サブセットサイズをシームレスにスケーリングすることができる。
  論文  参考訳（メタデータ） (2024-11-13T13:53:10Z)
• ETHER: Efficient Finetuning of Large-Scale Models with Hyperplane Reflections [59.839926875976225]
  本稿では,HypErplane Reflectionsによる高効率微調整を行うETHER変換ファミリを提案する。 特に,既存のPEFT法と極めて少ないパラメータで一致または性能を向上するEtheRと緩和ETHER+を導入する。
  論文  参考訳（メタデータ） (2024-05-30T17:26:02Z)
• UniPT: Universal Parallel Tuning for Transfer Learning with Efficient Parameter and Memory [69.33445217944029]
  PETLは、トレーニング済みモデルを下流ドメインに適応するための効果的な戦略である。 最近のPETLは、より価値の高いメモリ効率特性に焦点を当てている。 メモリ効率の良い新しいPETL戦略Universal Parallel Tuning (UniPT)を提案する。
  論文  参考訳（メタデータ） (2023-08-28T05:38:43Z)
• VL-PET: Vision-and-Language Parameter-Efficient Tuning via Granularity Control [44.73827206809393]
  ビジョン・アンド・ランゲージ (VL) では, モジュール修正をエンコーダ・デコーダ PLM に統合するために, パラメータ効率調整 (PET) 技術が提案されている。 我々はビジョン・アンド・ランゲージを提案する。 モジュール化を効果的に制御するための効率的なチューニング(VL-PET)フレームワーク。
  論文  参考訳（メタデータ） (2023-08-18T20:18:30Z)
• Exploring the Impact of Model Scaling on Parameter-Efficient Tuning [100.61202305296275]
  大規模事前学習言語モデル(PLM)を効果的に駆動できるスケーリング効率チューニング(PET)法 小型PLMでは、PET法には通常顕著な性能差がある。 本稿では,Arbitrary PET (APET) 法という,より柔軟なPET法を提案する。
  論文  参考訳（メタデータ） (2023-06-04T10:10:54Z)
• A Unified Continual Learning Framework with General Parameter-Efficient Tuning [56.250772378174446]
  「事前学習$rightarrow$ダウンストリーム適応」は、継続学習の新しい機会と課題を提示する。 我々は,PETの1つのインスタンス化としてプロンプトを位置づけ,ラーニング・アキュミュレーション・アンサンブル(LAE)と呼ばれる統一的なCLフレームワークを提案する。 PET(Adapter、LoRA、Prefixなど)は、トレーニング済みのモデルをより少ないパラメータとリソースで下流のタスクに適応させることができる。
  論文  参考訳（メタデータ） (2023-03-17T15:52:45Z)
• Sparse Structure Search for Parameter-Efficient Tuning [85.49094523664428]
  S$3$PETは、トレーニング可能なパラメータの少ない手動およびランダムな構造を超えることを示す。 探索された構造は、0.01%のトレーニング可能なパラメータで99%以上の微調整性能を維持している。
  論文  参考訳（メタデータ） (2022-06-15T08:45:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。