論文の概要: Exploring the Impact of Model Scaling on Parameter-Efficient Tuning

• arxiv url: http://arxiv.org/abs/2306.02320v2
• Date: Sun, 10 Dec 2023 19:43:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-12 22:44:24.184835
• Title: Exploring the Impact of Model Scaling on Parameter-Efficient Tuning
• Title（参考訳）: モデルのスケーリングがパラメーター効率のチューニングに与える影響を探る
• Authors: Yusheng Su, Chi-Min Chan, Jiali Cheng, Yujia Qin, Yankai Lin, Shengding Hu, Zonghan Yang, Ning Ding, Xingzhi Sun, Guotong Xie, Zhiyuan Liu, Maosong Sun
• Abstract要約: 大規模事前学習言語モデル(PLM)を効果的に駆動できるスケーリング効率チューニング(PET)法 小型PLMでは、PET法には通常顕著な性能差がある。 本稿では,Arbitrary PET (APET) 法という,より柔軟なPET法を提案する。
• 参考スコア（独自算出の注目度）: 100.61202305296275
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Parameter-efficient tuning (PET) methods can effectively drive extremely large pre-trained language models (PLMs) by training only minimal parameters. Different PET methods utilize different manually designed tunable modules. In small PLMs, there are usually noticeable performance differences among PET methods. Nevertheless, as the model scale increases, the performance differences become marginal. Hence, we hypothesize that model scaling mitigates the impact of design differences on PET methods. To investigate this hypothesis, we introduce a more flexible PET method called Arbitrary PET (APET) method. The APET method is compatible with a tunable module, which consists of any number of parameters distributed in arbitrary positions. Then, we utilize it and conduct experiments on 11 NLP tasks across 3 representative PLMs. Our investigations reveal that model scaling (1) mitigates the effects of the positions of tunable parameters on performance, and (2) enables tuning methods to achieve performance comparable to full-parameter fine-tuning by optimizing fewer tunable parameters. Intriguingly, we also observe that tuning methods optimize the similar number of tunable parameters to exceed random guess performance on different tasks. We collectively discuss this phenomenon and the two aforementioned findings from an optimization perspective to understand the underlying mechanisms. These conclusions enhance our understanding of the impact of model scaling on PET and assist in designing more effective and efficient PET methods for PLMs of different scales. The source code can be obtained from this GitHub repository: \url{https://github.com/yushengsu-thu/PET_Scaling}.
• Abstract（参考訳）: パラメータ効率チューニング(PET)手法は、最小限のパラメータのみを訓練することによって、非常に大きな事前学習言語モデル(PLM)を効果的に駆動することができる。 異なるPET法は、異なる手動で設計したチューナブルモジュールを利用する。 小型PLMでは、PET法には通常顕著な性能差がある。 しかし、モデルスケールが大きくなるにつれて、性能の差は狭まる。 したがって、モデルスケーリングはpetメソッドに対する設計の違いの影響を緩和する、と仮定する。 そこで本研究では,Arbitrary PET(APET)法という,より柔軟なPET法を提案する。 APET法は任意の位置に分布する任意の数のパラメータからなるチューナブルモジュールと互換性がある。 そして,これを利用し,11のNLPタスクを3つの代表的PLMで実験する。 本研究は,モデルスケーリングが,(1)調整可能なパラメータの位置が性能に与える影響を緩和し,(2)調整可能なパラメータを最適化することで,フルパラメータの微調整に匹敵する性能を実現することを明らかにする。 興味深いことに、チューニング手法は、異なるタスクにおけるランダムな推測性能を超えるように、類似の調整可能なパラメータ数を最適化する。 本稿では,この現象と,その基礎となるメカニズムを理解するための最適化の観点から,上記の2つの知見をまとめて論じる。 これらの結論は, モデルスケーリングがPETに与える影響の理解を深め, 異なるスケールのPLMに対して, より効率的かつ効率的なPET手法の設計を支援する。 ソースコードは、このgithubリポジトリから取得することができる。

関連論文リスト

• When Scaling Meets LLM Finetuning: The Effect of Data, Model and Finetuning Method [56.571951345048355]
  大規模言語モデル(LLM)は、ダウンストリームアプリケーションにその機能をアンロックするためにファインチューニングを採用することが多い。 LLMモデルのサイズ、事前学習データサイズ、新しい微調整パラメータサイズ、微調整データサイズなどの異なるスケーリング要因が微調整性能に与える影響について検討した。
  論文  参考訳（メタデータ） (2024-02-27T04:18:49Z)
• ConPET: Continual Parameter-Efficient Tuning for Large Language Models [65.48107393731861]
  継続的な学習には、新しいタスクへのモデルの継続的な適応が必要である。 継続性を提案する。 効率的なチューニング(ConPET) - 一般化可能なパラダイム。 大規模言語モデルの連続的なタスク適応。
  論文  参考訳（メタデータ） (2023-09-26T08:52:04Z)
• CPET: Effective Parameter-Efficient Tuning for Compressed Large Language Models [86.63730733413796]
  圧縮言語モデル(LLM)に基づく効果的なPETフレームワークを提案する。 主流圧縮技術がPET性能に与える影響を評価する。 次に,これらの圧縮技術によって引き起こされる知識損失を回復するために,知識継承と回復戦略を導入する。
  論文  参考訳（メタデータ） (2023-07-15T04:37:11Z)
• Gradient-Based Automated Iterative Recovery for Parameter-Efficient Tuning [11.124310650599146]
  我々はTracInを用いてパラメータ効率チューニング(PET)設定におけるモデル性能を改善する。 モデル性能を改善するために,勾配に基づく説明可能性技術を用いた新しい手法を開発した。
  論文  参考訳（メタデータ） (2023-02-13T18:54:58Z)
• KronA: Parameter Efficient Tuning with Kronecker Adapter [17.175408603709712]
  我々は、Kronecker製品ベースのアダプタモジュールであるKronAを導入し、TransformerベースのPLMを効率的に微調整する。 提案手法をGLUEベンチマークに応用し, Kronecker をベースとしたモジュールを組み込むことで, 最先端の PET 手法より優れていることを示す。
  論文  参考訳（メタデータ） (2022-12-20T20:56:52Z)
• Towards a Unified View on Visual Parameter-Efficient Transfer Learning [96.99924127527002]
  本稿では,視覚PETL(visual-PETL)と呼ばれる統一的な視点を持つフレームワークを提案し,トレードオフに影響を与えるさまざまな側面について検討する。 提案したV-PETLフレームワークから派生したSwin-BAPATは、最先端のAdaptFormer-Swinよりも大幅に性能が向上する。
  論文  参考訳（メタデータ） (2022-10-03T09:54:39Z)
• Sparse Structure Search for Parameter-Efficient Tuning [85.49094523664428]
  S$3$PETは、トレーニング可能なパラメータの少ない手動およびランダムな構造を超えることを示す。 探索された構造は、0.01%のトレーニング可能なパラメータで99%以上の微調整性能を維持している。
  論文  参考訳（メタデータ） (2022-06-15T08:45:21Z)
• Revisiting Parameter-Efficient Tuning: Are We Really There Yet? [33.13293845589329]
  PETuning法はファインタニングと同等かそれ以上のパフォーマンスを達成したと主張している。 本研究はPETuning法について,PETuning法の訓練と評価に関する総合的研究を行い,PETuning法を再検討するものである。
  論文  参考訳（メタデータ） (2022-02-16T10:11:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。