論文の概要: On the Effectiveness of Parameter-Efficient Fine-Tuning

• arxiv url: http://arxiv.org/abs/2211.15583v1
• Date: Mon, 28 Nov 2022 17:41:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-29 14:47:04.202537
• Title: On the Effectiveness of Parameter-Efficient Fine-Tuning
• Title（参考訳）: パラメータ効率の良いファインチューニングの有効性について
• Authors: Zihao Fu, Haoran Yang, Anthony Man-Cho So, Wai Lam, Lidong Bing, Nigel Collier
• Abstract要約: 現在、多くの研究が、パラメータのごく一部のみを微調整し、異なるタスク間で共有されるパラメータのほとんどを保持することを提案している。 これらの手法は, いずれも細粒度モデルであり, 新たな理論的解析を行う。 我々の理論に根ざした空間性の有効性にもかかわらず、調整可能なパラメータをどう選ぶかという問題はまだ未解決のままである。
• 参考スコア（独自算出の注目度）: 79.6302606855302
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fine-tuning pre-trained models has been ubiquitously proven to be effective in a wide range of NLP tasks. However, fine-tuning the whole model is parameter inefficient as it always yields an entirely new model for each task. Currently, many research works propose to only fine-tune a small portion of the parameters while keeping most of the parameters shared across different tasks. These methods achieve surprisingly good performance and are shown to be more stable than their corresponding fully fine-tuned counterparts. However, such kind of methods is still not well understood. Some natural questions arise: How does the parameter sparsity lead to promising performance? Why is the model more stable than the fully fine-tuned models? How to choose the tunable parameters? In this paper, we first categorize the existing methods into random approaches, rule-based approaches, and projection-based approaches based on how they choose which parameters to tune. Then, we show that all of the methods are actually sparse fine-tuned models and conduct a novel theoretical analysis of them. We indicate that the sparsity is actually imposing a regularization on the original model by controlling the upper bound of the stability. Such stability leads to better generalization capability which has been empirically observed in a lot of recent research works. Despite the effectiveness of sparsity grounded by our theory, it still remains an open problem of how to choose the tunable parameters. To better choose the tunable parameters, we propose a novel Second-order Approximation Method (SAM) which approximates the original problem with an analytically solvable optimization function. The tunable parameters are determined by directly optimizing the approximation function. The experimental results show that our proposed SAM model outperforms many strong baseline models and it also verifies our theoretical analysis.
• Abstract（参考訳）: 微調整事前学習モデルは、幅広いNLPタスクに有効であることが広く証明されている。 しかし、モデル全体を微調整することはパラメータ非効率であり、常にタスクごとに全く新しいモデルを生成する。 現在、多くの研究がパラメータのごく一部だけを微調整し、多くのパラメータを異なるタスクで共有することを提案している。 これらの手法は驚くほど優れた性能を達成し、対応する完全微調整のものよりも安定であることが示される。 しかし、そのような方法はまだよく分かっていない。 パラメータの空間性は、どのように有望なパフォーマンスをもたらすのか? なぜモデルは完全に調整されたモデルよりも安定しているのか? チューニング可能なパラメータの選び方? 本稿では,既存の手法をまずランダムアプローチ,ルールベースアプローチ,投射ベースアプローチに分類し,どのパラメータをチューニングするかを選択する。 そして,全ての手法が実際に微調整されたモデルに分散していることを示し,新しい理論解析を行う。 安定性の上限を制御して元のモデルに正規化を実際に与えていることを示す。 このような安定性は、最近の多くの研究で実証的に観察されたより優れた一般化能力をもたらす。 我々の理論が根拠としているスパーシティの有効性にもかかわらず、チューニング可能なパラメータを選択する方法は依然として未解決の問題である。 調整可能なパラメータをよりよく選択するために,解析的に解ける最適化関数を用いて元の問題を近似する新しい二階近似法(SAM)を提案する。 可変パラメータは近似関数を直接最適化することによって決定される。 実験結果から,提案するsamモデルは,強いベースラインモデルよりも優れており,理論解析も検証できることがわかった。

関連論文リスト

• SaRA: High-Efficient Diffusion Model Fine-tuning with Progressive Sparse Low-Rank Adaptation [52.6922833948127]
  本研究では,事前学習した拡散モデルにおけるパラメータの重要性について検討する。 本稿では,これらの非効率パラメータをフル活用するための新しいモデル微調整法を提案する。 本手法は,下流アプリケーションにおける事前学習モデルの生成能力を向上する。
  論文  参考訳（メタデータ） (2024-09-10T16:44:47Z)
• Scaling Exponents Across Parameterizations and Optimizers [94.54718325264218]
  本稿では,先行研究における重要な仮定を考察し,パラメータ化の新たな視点を提案する。 私たちの経験的調査には、3つの組み合わせでトレーニングされた数万のモデルが含まれています。 最高の学習率のスケーリング基準は、以前の作業の仮定から除外されることがよくあります。
  論文  参考訳（メタデータ） (2024-07-08T12:32:51Z)
• A Unified Gaussian Process for Branching and Nested Hyperparameter Optimization [19.351804144005744]
  ディープラーニングでは、条件に依存したパラメータのチューニングが一般的に行われている。 新しいGPモデルでは、新しいカーネル関数を通じて入力変数間の依存構造が説明される。 ニューラルネットワークの一連の合成シミュレーションおよび実データ応用において、高い予測精度とより良い最適化効率が観察される。
  論文  参考訳（メタデータ） (2024-01-19T21:11:32Z)
• Should We Learn Most Likely Functions or Parameters? [51.133793272222874]
  モデルとデータによって示唆される最も可能性の高い関数を直接推定する利点と欠点について検討する。 関数空間MAP推定は, より平坦な最小化, 一般化, オーバーフィッティングの改善につながる可能性がある。
  論文  参考訳（メタデータ） (2023-11-27T16:39:55Z)
• A Stability Analysis of Fine-Tuning a Pre-Trained Model [46.6761331971071]
  訓練済みモデルの微調整は、最近のNLP研究で最も有望なパラダイムの1つである。 微調整は不安定な問題、すなわち同じ設定で同じモデルをチューニングすることで、性能が著しく異なる。 本稿では,2つの一般的な設定に焦点をあてたファインチューニングの理論的安定性解析を提案する。
  論文  参考訳（メタデータ） (2023-01-24T05:11:17Z)
• Scaling & Shifting Your Features: A New Baseline for Efficient Model Tuning [126.84770886628833]
  既存の微調整法は、事前訓練されたモデルの全てのパラメータ(フル微調整)をチューニングするか、最後の線形層(線形プローブ)のみをチューニングする。 そこで本研究では,SSFと呼ばれるパラメータ効率の高いファインタニング手法を提案する。
  論文  参考訳（メタデータ） (2022-10-17T08:14:49Z)
• Delta Tuning: A Comprehensive Study of Parameter Efficient Methods for Pre-trained Language Models [90.24999406296867]
  標準の微調整とは対照的に、デルタチューニングはモデルパラメータのごく一部を微調整するだけであり、残りは触れないままである。 近年の研究では、パラメータ選択の異なる一連のデルタチューニング手法が、フルパラメータの微調整と同等の性能を達成できることが示されている。
  論文  参考訳（メタデータ） (2022-03-14T07:56:32Z)
• Lazy Parameter Tuning and Control: Choosing All Parameters Randomly From a Power-Law Distribution [8.34061303235504]
  ほとんどの進化的アルゴリズムは複数のパラメータを持ち、その値は性能に大きな影響を及ぼす。 そこで本研究では,各繰り返しにおけるパラメータの値を,適切にスケールされたパワー・ロー分布からランダムに選択する,遅延だが効果的な解を提案する。 静的パラメータで知られている最高のパフォーマンスに匹敵する性能を保証する。
  論文  参考訳（メタデータ） (2021-04-14T09:17:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。