論文の概要: CPET: Effective Parameter-Efficient Tuning for Compressed Large Language Models

• arxiv url: http://arxiv.org/abs/2307.07705v2
• Date: Wed, 15 Nov 2023 17:02:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-16 19:59:10.579146
• Title: CPET: Effective Parameter-Efficient Tuning for Compressed Large Language Models
• Title（参考訳）: cpet:圧縮大言語モデルにおけるパラメータ効率の効果的なチューニング
• Authors: Weilin Zhao, Yuxiang Huang, Xu Han, Zhiyuan Liu, Zhengyan Zhang, Maosong Sun
• Abstract要約: 圧縮言語モデル(LLM)に基づく効果的なPETフレームワークを提案する。 主流圧縮技術がPET性能に与える影響を評価する。 次に,これらの圧縮技術によって引き起こされる知識損失を回復するために,知識継承と回復戦略を導入する。
• 参考スコア（独自算出の注目度）: 86.63730733413796
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Parameter-efficient tuning (PET) has been widely explored in recent years because it tunes much fewer parameters (PET modules) than full-parameter fine-tuning (FT) while still stimulating sufficient knowledge from large language models (LLMs) for downstream tasks. Moreover, when PET is employed to serve multiple tasks, different task-specific PET modules can be built on a frozen LLM, avoiding redundant LLM deployments. Although PET significantly reduces the cost of tuning and deploying LLMs, its inference still suffers from the computational bottleneck of LLMs. To address the above issue, we propose an effective PET framework based on compressed LLMs, named "CPET". In CPET, we evaluate the impact of mainstream LLM compression techniques on PET performance and then introduce knowledge inheritance and recovery strategies to restore the knowledge loss caused by these compression techniques. Our experimental results demonstrate that, owing to the restoring strategies of CPET, collaborating task-specific PET modules with a compressed LLM can achieve comparable performance to collaborating PET modules with the original version of the compressed LLM and outperform directly applying vanilla PET methods to the compressed LLM.
• Abstract（参考訳）: パラメータ効率チューニング (PET) は, パラメータ (PETモジュール) をフルパラメータ細調整 (FT) よりもはるかに少なく調整できる一方で, 下流タスクのための大規模言語モデル (LLM) からの十分な知識を刺激できるため, 近年広く研究されている。 さらに、複数のタスクにPETを使う場合、異なるタスク固有のPETモジュールを凍結したLCM上に構築することができ、冗長なLCM配置を避けることができる。 PET は LLM のチューニングとデプロイのコストを大幅に削減するが、その推論は LLM の計算ボトルネックに悩まされている。 上記の課題に対処するため, 圧縮LCMをベースとした効果的なPETフレームワーク"CPET"を提案する。 CPETでは,LLM圧縮技術がPET性能に与える影響を評価し,これらの圧縮技術による知識損失を回復するための知識継承と回復戦略を導入する。 実験の結果, CPET の復元戦略により, 圧縮 LLM を用いたタスク固有 PET モジュールの協調作業は, 圧縮 LLM のオリジナルバージョンによる PET モジュールの協調作業に匹敵し, 圧縮 LLM に対してバニラ PET メソッドを直接適用した場合よりも優れることがわかった。

関連論文リスト

• HiDe-PET: Continual Learning via Hierarchical Decomposition of Parameter-Efficient Tuning [55.88910947643436]
  予備学習モデル(PTM)とパラメータ効率チューニング(PET)を組み合わせた連続学習(CL)統合フレームワークを提案する。 タスク固有知識とタスク共有知識を取り入れることで目的を明示的に最適化する革新的な手法である階層分解PET(HiDe-PET)を提案する。 提案手法は,近年の強いベースラインの幅広いスペクトルに対して,極めて優れた性能を示す。
  論文  参考訳（メタデータ） (2024-07-07T01:50:25Z)
• Delta-CoMe: Training-Free Delta-Compression with Mixed-Precision for Large Language Models [79.46938238953916]
  多様なアプリケーションへの微調整された大規模言語モデル(LLM)は、複雑な要求を満たすために不可欠である。 近年の研究では、微調整LDMをベースモデルと対応するデルタウェイトに分解し、低ランクまたは低ビットのアプローチで圧縮してコストを削減することが示唆されている。 本研究では,従来の低ランク圧縮法と低ビット圧縮法がタスク固有の微調整LDMのモデル性能を著しく損なうことを観察する。
  論文  参考訳（メタデータ） (2024-06-13T07:57:27Z)
• ConPET: Continual Parameter-Efficient Tuning for Large Language Models [65.48107393731861]
  継続的な学習には、新しいタスクへのモデルの継続的な適応が必要である。 継続性を提案する。 効率的なチューニング(ConPET) - 一般化可能なパラダイム。 大規模言語モデルの連続的なタスク適応。
  論文  参考訳（メタデータ） (2023-09-26T08:52:04Z)
• VL-PET: Vision-and-Language Parameter-Efficient Tuning via Granularity Control [44.73827206809393]
  ビジョン・アンド・ランゲージ (VL) では, モジュール修正をエンコーダ・デコーダ PLM に統合するために, パラメータ効率調整 (PET) 技術が提案されている。 我々はビジョン・アンド・ランゲージを提案する。 モジュール化を効果的に制御するための効率的なチューニング(VL-PET)フレームワーク。
  論文  参考訳（メタデータ） (2023-08-18T20:18:30Z)
• Exploring the Impact of Model Scaling on Parameter-Efficient Tuning [100.61202305296275]
  大規模事前学習言語モデル(PLM)を効果的に駆動できるスケーリング効率チューニング(PET)法 小型PLMでは、PET法には通常顕著な性能差がある。 本稿では,Arbitrary PET (APET) 法という,より柔軟なPET法を提案する。
  論文  参考訳（メタデータ） (2023-06-04T10:10:54Z)
• A Unified Continual Learning Framework with General Parameter-Efficient Tuning [56.250772378174446]
  「事前学習$rightarrow$ダウンストリーム適応」は、継続学習の新しい機会と課題を提示する。 我々は,PETの1つのインスタンス化としてプロンプトを位置づけ,ラーニング・アキュミュレーション・アンサンブル(LAE)と呼ばれる統一的なCLフレームワークを提案する。 PET(Adapter、LoRA、Prefixなど)は、トレーニング済みのモデルをより少ないパラメータとリソースで下流のタスクに適応させることができる。
  論文  参考訳（メタデータ） (2023-03-17T15:52:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。