論文の概要: Sparse Structure Search for Parameter-Efficient Tuning

• arxiv url: http://arxiv.org/abs/2206.07382v1
• Date: Wed, 15 Jun 2022 08:45:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-17 03:09:46.963531
• Title: Sparse Structure Search for Parameter-Efficient Tuning
• Title（参考訳）: パラメータ効率チューニングのためのスパース構造探索
• Authors: Shengding Hu, Zhen Zhang, Ning Ding, Yadao Wang, Yasheng Wang, Zhiyuan Liu, Maosong Sun
• Abstract要約: S$3$PETは、トレーニング可能なパラメータの少ない手動およびランダムな構造を超えることを示す。 探索された構造は、0.01%のトレーニング可能なパラメータで99%以上の微調整性能を維持している。
• 参考スコア（独自算出の注目度）: 85.49094523664428
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Adapting large pre-trained models (PTMs) through fine-tuning imposes prohibitive computational and storage burdens. Recent studies of parameter-efficient tuning (PET) find that only optimizing a small portion of parameters conditioned on PTMs could yield on-par performance compared to conventional fine-tuning. Generally, PET methods exquisitely design parameter-efficient modules (PET modules) which could be applied to arbitrary fine-grained positions inside PTMs. However, the effectiveness of these fine-grained positions largely relies on sophisticated manual designation, thereby usually producing sub-optimal results. In contrast to the manual designation, we explore constructing PET modules in an automatic manner. We automatically \textbf{S}earch for the \textbf{S}parse \textbf{S}tructure of \textbf{P}arameter-\textbf{E}fficient \textbf{T}uning (S$^3$PET). Based on a unified framework of various PET methods, S$^3$PET conducts the differentiable PET structure search through bi-level optimization and proposes shifted global sigmoid method to explicitly control the number of trainable parameters. Extensive experiments show that S$^3$PET surpasses manual and random structures with less trainable parameters. The searched structures preserve more than 99\% fine-tuning performance with 0.01\% trainable parameters. Moreover, the advantage of S$^3$PET is amplified with extremely low trainable parameters budgets (0.0009\%$\sim$0.01\%). The searched structures are transferable and explainable, providing suggestions and guidance for the future design of PET methods.
• Abstract（参考訳）: 微調整による大規模事前訓練モデル(PTM)の適応は、計算や記憶の負担を禁ずる。 パラメータ効率チューニング(PET)の最近の研究は、PTMで条件付けられたパラメータのごく一部だけを最適化するだけで、従来の微調整に比べてオンパー性能が向上することを示した。 一般的にPET法はパラメータ効率のよいモジュール (PETモジュール) を設計し, PTM内の任意の微粒な位置に適用できる。 しかし、これらの微粒な位置の有効性は、主に高度な手動の指定に依存しており、通常は準最適結果を生み出す。 手動による指定とは対照的に,PETモジュールの自動構築について検討する。 我々は、自動的に \textbf{S}parse \textbf{S}tructure of \textbf{P}arameter-\textbf{E}fficient \textbf{T}uning (S$3$PET) に対して \textbf{S}earch を生成する。 S$^3$PETは、様々なPET手法の統一された枠組みに基づいて、二段階最適化による微分可能なPET構造探索を行い、トレーニング可能なパラメータの数を明示的に制御するシフトグローバルシグモノイド法を提案する。 大規模な実験により、S$^3$PETは訓練可能なパラメータの少ない手動構造やランダム構造を上回ることが示されている。 探索された構造は、0.01\%のトレーニング可能なパラメータで99\%以上の微調整性能を保持する。 さらに、S$3$PETの利点は、非常に低いトレーニング可能なパラメータ予算(0.0009\%$\sim$0.01\%)で増幅される。 検索された構造は伝達可能で説明可能であり、PET法の将来設計に関する提案とガイダンスを提供する。

関連論文リスト

• Dynamic Subset Tuning: Expanding the Operational Range of Parameter-Efficient Training for Large Language Models [14.762222323897978]
  大規模言語モデルのための新しいパラメータ効率訓練法を提案する。 従来の方法とは異なり、このサブセットはロケーションで固定されるのではなく、トレーニングの過程でどのパラメータが修正されるかである。 本手法により, モデル全体の任意の割合で, サブセットサイズをシームレスにスケーリングすることができる。
  論文  参考訳（メタデータ） (2024-11-13T13:53:10Z)
• ETHER: Efficient Finetuning of Large-Scale Models with Hyperplane Reflections [59.839926875976225]
  本稿では,HypErplane Reflectionsによる高効率微調整を行うETHER変換ファミリを提案する。 特に,既存のPEFT法と極めて少ないパラメータで一致または性能を向上するEtheRと緩和ETHER+を導入する。
  論文  参考訳（メタデータ） (2024-05-30T17:26:02Z)
• ConPET: Continual Parameter-Efficient Tuning for Large Language Models [65.48107393731861]
  継続的な学習には、新しいタスクへのモデルの継続的な適応が必要である。 継続性を提案する。 効率的なチューニング(ConPET) - 一般化可能なパラダイム。 大規模言語モデルの連続的なタスク適応。
  論文  参考訳（メタデータ） (2023-09-26T08:52:04Z)
• Exploring the Impact of Model Scaling on Parameter-Efficient Tuning [100.61202305296275]
  大規模事前学習言語モデル(PLM)を効果的に駆動できるスケーリング効率チューニング(PET)法 小型PLMでは、PET法には通常顕著な性能差がある。 本稿では,Arbitrary PET (APET) 法という,より柔軟なPET法を提案する。
  論文  参考訳（メタデータ） (2023-06-04T10:10:54Z)
• Stochastic Bridges as Effective Regularizers for Parameter-Efficient Tuning [98.27893964124829]
  中間状態の正則化(ランニングコスト)としてブリッジを使用するPETの正則化を提案する。 潜在能力と能力を考えると、より洗練された正則化器はPET用に設計できると信じている。
  論文  参考訳（メタデータ） (2023-05-28T09:22:44Z)
• Sensitivity-Aware Visual Parameter-Efficient Fine-Tuning [91.5113227694443]
  私たちは新しいビジュアルを提案します。 Sensuous-Aware Fine-Tuning (SPT) スキーム。 SPTはタスク固有の重要な位置にトレーニング可能なパラメータを割り当てる。 ダウンストリーム認識タスクの幅広い実験により,SPTは既存のPEFT法と相補的であることが示された。
  論文  参考訳（メタデータ） (2023-03-15T12:34:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。