論文の概要: Look Within or Look Beyond? A Theoretical Comparison Between Parameter-Efficient and Full Fine-Tuning

• arxiv url: http://arxiv.org/abs/2505.22355v1
• Date: Wed, 28 May 2025 13:35:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-29 17:35:50.632529
• Title: Look Within or Look Beyond? A Theoretical Comparison Between Parameter-Efficient and Full Fine-Tuning
• Title（参考訳）: 内見・外見?パラメータ効率とフルファインチューニングの理論的比較
• Authors: Yongkang Liu, Xingle Xu, Ercong Nie, Zijing Wang, Shi Feng, Daling Wang, Qian Li, Hinrich Schütze,
• Abstract要約: フルファインチューニング(FFT)に匹敵する性能を実現するPEFT法 最適化理論に基づく表現能力とロバスト性の観点から,PEFTとFFTの特性を比較した。 分類,生成,推論,微調整タスクを含む15のデータセットの実験と,11の逆検定セットによる理論の検証を行った。
• 参考スコア（独自算出の注目度）: 50.05207363001145
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Parameter-Efficient Fine-Tuning (PEFT) methods achieve performance comparable to Full Fine-Tuning (FFT) while requiring significantly fewer computing resources, making it the go-to choice for researchers. We find that although PEFT can achieve competitive results on some benchmarks, its performance falls short of FFT in complex tasks, such as reasoning and instruction-based fine-tuning. In this paper, we compare the characteristics of PEFT and FFT in terms of representational capacity and robustness based on optimization theory. We theoretically demonstrate that PEFT is a strict subset of FFT. By providing theoretical upper bounds for PEFT, we show that the limited parameter space constrains the model's representational ability, making it more susceptible to perturbations. Experiments on 15 datasets encompassing classification, generation, reasoning, instruction fine-tuning tasks and 11 adversarial test sets validate our theories. We hope that these results spark further research beyond the realms of well established PEFT. The source code is in the anonymous Github repository\footnote{https://github.com/misonsky/PEFTEval}.
• Abstract（参考訳）: パラメータ効率の良いファインチューニング (PEFT) 法は、FFT (Full Fine-Tuning) に匹敵する性能を達成するが、計算資源は大幅に少なく、研究者にとって選択肢となる。 PEFTはいくつかのベンチマークで競合する結果が得られるが、その性能は推論や命令ベースの微調整といった複雑なタスクではFFTに劣っている。 本稿では,PEFTとFFTの特性を,最適化理論に基づく表現能力とロバスト性の観点から比較する。 理論的には、PEFTはFFTの厳密な部分集合である。 PEFTの理論上界を提供することにより、制限されたパラメータ空間がモデルの表現能力を制約し、摂動の影響を受けやすいことを示す。 分類,生成,推論,微調整タスクを含む15のデータセットの実験と,11の逆検定セットによる理論の検証を行った。 これらの結果が、確立されたPEFTの領域を超えてさらなる研究のきっかけになることを願っている。 ソースコードは匿名のGithubリポジトリ\footnote{https://github.com/misonsky/PEFTEval}にある。

関連論文リスト

• Parameter-Efficient Fine-Tuning with Column Space Projection [4.379304291229695]
  そこで我々は,微調整重みのスペクトル特性に基づくPEFT法として初めて理論的に確立されたPiCaを提案する。 従来のPEFT法と比較して,PiCaは最先端性能を実現していることを示す。
  論文  参考訳（メタデータ） (2025-05-26T16:52:40Z)
• Lessons and Insights from a Unifying Study of Parameter-Efficient Fine-Tuning (PEFT) in Visual Recognition [36.031972728327894]
  視覚変換器を用いた代表PEFT手法の統一実験を行った。 VTAB-1Kでは,異なるPEFT法で類似の精度が得られた。 類似した精度にもかかわらず、PEFT法は、異なる帰納バイアスのために、異なる誤りと高い信頼率の予測を行う。
  論文  参考訳（メタデータ） (2024-09-24T19:57:40Z)
• ReFT: Representation Finetuning for Language Models [74.51093640257892]
  我々はRepresentation Finetuning(ReFT)手法のファミリーを開発する。 ReFTはフリーズベースモデルで動作し、隠れた表現に対するタスク固有の介入を学ぶ。 我々は,8つの常識推論タスク,4つの算術推論タスク,命令チューニング,GLUEについてLoReFTを紹介する。
  論文  参考訳（メタデータ） (2024-04-04T17:00:37Z)
• Delving into Parameter-Efficient Fine-Tuning in Code Change Learning: An Empirical Study [10.052053069122652]
  PEFTは、いくつかのコード理解タスクにおいて、優れた性能と計算オーバーヘッドを実証している。 トレーニング済みの汎用知識を下流タスクに活用する。 PEFTがFMFTよりもコード変更関連タスクのタスク特化に優れているかどうかは不明だ。
  論文  参考訳（メタデータ） (2024-02-09T08:40:41Z)
• ComPEFT: Compression for Communicating Parameter Efficient Updates via Sparsification and Quantization [100.90624220423634]
  PEFTモデルにおける微調整残差(タスクベクトル)を圧縮する新しい手法であるComPEFTを提案する。 200M - 65Bパラメータを持つT5, T0, LLaMA ベースのモデルにおいて, ComPEFT は圧縮比 8x - 50x を達成する。
  論文  参考訳（メタデータ） (2023-11-22T05:28:59Z)
• Strong Baselines for Parameter Efficient Few-Shot Fine-tuning [50.83426196335385]
  FSC (Few-shot Classification) は、事前訓練(メタトレーニング)フェーズの後にクラス毎にいくつかの例を与えられた新しいクラスを学習する。 近年の研究では、新しいテストクラスで事前訓練された視覚変換器(ViT)を微調整することが、FSCにとって強力なアプローチであることが示されている。 しかし、微調整のViTは、時間、計算、ストレージに費用がかかる。 これにより、Transformerのパラメータのごく一部だけを微調整するPEFT法が考案された。
  論文  参考訳（メタデータ） (2023-04-04T16:14:39Z)
• AutoPEFT: Automatic Configuration Search for Parameter-Efficient Fine-Tuning [77.61565726647784]
  ニューラルアーキテクチャ検索の進歩により,自動PEFT設定選択のためのAutoPEFTを提案する。 本稿では,AutoPEFTが検出した構成が既存のPEFT法よりも大幅に優れており,FFTと同等かそれ以上であることを示す。
  論文  参考訳（メタデータ） (2023-01-28T08:51:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。