論文の概要: A Unified Continual Learning Framework with General Parameter-Efficient Tuning

• arxiv url: http://arxiv.org/abs/2303.10070v2
• Date: Sat, 19 Aug 2023 14:51:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-23 00:45:33.034770
• Title: A Unified Continual Learning Framework with General Parameter-Efficient Tuning
• Title（参考訳）: 一般パラメーター効率性を考慮した統一連続学習フレームワーク
• Authors: Qiankun Gao, Chen Zhao, Yifan Sun, Teng Xi, Gang Zhang, Bernard Ghanem, Jian Zhang
• Abstract要約: 「事前学習$rightarrow$ダウンストリーム適応」は、継続学習の新しい機会と課題を提示する。 我々は,PETの1つのインスタンス化としてプロンプトを位置づけ,ラーニング・アキュミュレーション・アンサンブル(LAE)と呼ばれる統一的なCLフレームワークを提案する。 PET(Adapter、LoRA、Prefixなど)は、トレーニング済みのモデルをより少ないパラメータとリソースで下流のタスクに適応させることができる。
• 参考スコア（独自算出の注目度）: 56.250772378174446
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The "pre-training $\rightarrow$ downstream adaptation" presents both new opportunities and challenges for Continual Learning (CL). Although the recent state-of-the-art in CL is achieved through Parameter-Efficient-Tuning (PET) adaptation paradigm, only prompt has been explored, limiting its application to Transformers only. In this paper, we position prompting as one instantiation of PET, and propose a unified CL framework with general PET, dubbed as Learning-Accumulation-Ensemble (LAE). PET, e.g., using Adapter, LoRA, or Prefix, can adapt a pre-trained model to downstream tasks with fewer parameters and resources. Given a PET method, our LAE framework incorporates it for CL with three novel designs. 1) Learning: the pre-trained model adapts to the new task by tuning an online PET module, along with our adaptation speed calibration to align different PET modules, 2) Accumulation: the task-specific knowledge learned by the online PET module is accumulated into an offline PET module through momentum update, 3) Ensemble: During inference, we respectively construct two experts with online/offline PET modules (which are favored by the novel/historical tasks) for prediction ensemble. We show that LAE is compatible with a battery of PET methods and gains strong CL capability. For example, LAE with Adaptor PET surpasses the prior state-of-the-art by 1.3% and 3.6% in last-incremental accuracy on CIFAR100 and ImageNet-R datasets, respectively. Code is available at \url{https://github.com/gqk/LAE}.
• Abstract（参考訳）: この「事前学習$\rightarrow$ダウンストリーム適応」では、継続学習(CL)の新たな機会と課題が提示される。 最近のCLの最先端はパラメータ・効率・チューニング(PET)適応パラダイムによって達成されているが、プロンプトのみが検討されており、トランスフォーマーのみに制限されている。 本稿では,PETの1つのインスタンス化と位置づけ,ラーニング・アキュミュレーション・アンサンブル(LAE)と呼ばれる一般PETを用いた統合CLフレームワークを提案する。 PET(Adapter、LoRA、Prefixなど)は、トレーニング済みのモデルをより少ないパラメータとリソースで下流のタスクに適応させることができる。 LAEフレームワークは,PET法によりCLに3つの新しい設計を組み込む。 1)学習:事前学習モデルでは,オンラインPETモジュールを調整し,異なるPETモジュールを調整するために適応速度校正を行う。 2)蓄積:オンラインPETモジュールが学習したタスク固有の知識をモーメント更新によりオフラインPETモジュールに蓄積する。 3)アンサンブルでは,オンライン/オフラインPETモジュール(新規/歴史的タスクに好まれる)を用いて,それぞれ2人の専門家による予測アンサンブルを構築した。 LAEはPET方式のバッテリと互換性があり,CL能力も高いことを示す。 例えば、Adaptor PETを使用したLAEは、CIFAR100とImageNet-Rデータセットにおける最終段階の精度をそれぞれ1.3%と3.6%上回る。 コードは \url{https://github.com/gqk/LAE} で入手できる。

関連論文リスト

• Selection of Prompt Engineering Techniques for Code Generation through Predicting Code Complexity [2.576214343259399]
  本稿では,クエリを分類するプロキシとしてコード複雑性を利用するPET非依存の選択モデルであるPET-Selectを提案する。 PET-Selectは単純な問題と複雑な問題を区別し、各クエリの複雑性レベルに最も適したPETを選択することができる。 MBPPとHumanEvalベンチマークによる評価では、パス@1の精度が1.9%向上し、トークン使用率が74.8%減少した。
  論文  参考訳（メタデータ） (2024-09-24T19:28:55Z)
• HiDe-PET: Continual Learning via Hierarchical Decomposition of Parameter-Efficient Tuning [55.88910947643436]
  予備学習モデル(PTM)とパラメータ効率チューニング(PET)を組み合わせた連続学習(CL)統合フレームワークを提案する。 タスク固有知識とタスク共有知識を取り入れることで目的を明示的に最適化する革新的な手法である階層分解PET(HiDe-PET)を提案する。 提案手法は,近年の強いベースラインの幅広いスペクトルに対して,極めて優れた性能を示す。
  論文  参考訳（メタデータ） (2024-07-07T01:50:25Z)
• SAPT: A Shared Attention Framework for Parameter-Efficient Continual Learning of Large Language Models [71.78800549517298]
  大規模言語モデル(LLM)を動的世界に展開するには,継続的な学習(CL)能力が不可欠である。 既存の方法は、パラメータ効率チューニング(PET)ブロックを用いてタスク固有の知識を取得するための学習モジュールと、テスト入力に対して対応するものを選択するための選択モジュールを考案する。 本稿では,共有注意学習と選択モジュールを通じてPET学習と選択を調整するための新しい共有注意フレームワーク(SAPT)を提案する。
  論文  参考訳（メタデータ） (2024-01-16T11:45:03Z)
• ConPET: Continual Parameter-Efficient Tuning for Large Language Models [65.48107393731861]
  継続的な学習には、新しいタスクへのモデルの継続的な適応が必要である。 継続性を提案する。 効率的なチューニング(ConPET) - 一般化可能なパラダイム。 大規模言語モデルの連続的なタスク適応。
  論文  参考訳（メタデータ） (2023-09-26T08:52:04Z)
• VL-PET: Vision-and-Language Parameter-Efficient Tuning via Granularity Control [44.73827206809393]
  ビジョン・アンド・ランゲージ (VL) では, モジュール修正をエンコーダ・デコーダ PLM に統合するために, パラメータ効率調整 (PET) 技術が提案されている。 我々はビジョン・アンド・ランゲージを提案する。 モジュール化を効果的に制御するための効率的なチューニング(VL-PET)フレームワーク。
  論文  参考訳（メタデータ） (2023-08-18T20:18:30Z)
• Exploring the Impact of Model Scaling on Parameter-Efficient Tuning [100.61202305296275]
  大規模事前学習言語モデル(PLM)を効果的に駆動できるスケーリング効率チューニング(PET)法 小型PLMでは、PET法には通常顕著な性能差がある。 本稿では,Arbitrary PET (APET) 法という,より柔軟なPET法を提案する。
  論文  参考訳（メタデータ） (2023-06-04T10:10:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。