論文の概要: Lessons and Insights from a Unifying Study of Parameter-Efficient Fine-Tuning (PEFT) in Visual Recognition

• arxiv url: http://arxiv.org/abs/2409.16434v4
• Date: Mon, 24 Mar 2025 07:14:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-25 14:32:41.639498
• Title: Lessons and Insights from a Unifying Study of Parameter-Efficient Fine-Tuning (PEFT) in Visual Recognition
• Title（参考訳）: 視覚認識におけるパラメータ有効微調整(PEFT)の統一研究からの教訓と展望
• Authors: Zheda Mai, Ping Zhang, Cheng-Hao Tu, Hong-You Chen, Li Zhang, Wei-Lun Chao,
• Abstract要約: 視覚変換器を用いた代表PEFT法について検討する。 VTAB-1Kでは,異なるPEFT法で類似の精度が得られた。 類似した精度にもかかわらず、PEFT法は異なる誤りを犯し、高い信頼度予測を行う。
• 参考スコア（独自算出の注目度）: 36.031972728327894
• License:
• Abstract: Parameter-efficient fine-tuning (PEFT) has attracted significant attention due to the growth of pre-trained model sizes and the need to fine-tune (FT) them for superior downstream performance. Despite a surge in new PEFT methods, a systematic study to understand their performance and suitable application scenarios is lacking, leaving questions like "when to apply PEFT" and "which method to use" largely unanswered, especially in visual recognition. In this paper, we conduct a unifying empirical study of representative PEFT methods with Vision Transformers. We systematically tune their hyper-parameters to fairly compare their accuracy on downstream tasks. Our study offers a practical user guide and unveils several new insights. First, if tuned carefully, different PEFT methods achieve similar accuracy in the low-shot benchmark VTAB-1K. This includes simple approaches like FT the bias terms that were reported inferior. Second, despite similar accuracy, we find that PEFT methods make different mistakes and high-confidence predictions, likely due to their different inductive biases. Such an inconsistency (or complementarity) opens up the opportunity for ensemble methods, and we make preliminary attempts at this. Third, going beyond the commonly used low-shot tasks, we find that PEFT is also useful in many-shot regimes, achieving comparable or better accuracy than full FT while using significantly fewer parameters. Lastly, we investigate PEFT's ability to preserve a pre-trained model's robustness to distribution shifts (e.g., CLIP). Perhaps not surprisingly, PEFT approaches outperform full FT alone. However, with weight-space ensembles, full FT can better balance target distribution and distribution shift performance, suggesting a future research direction for robust PEFT.
• Abstract（参考訳）: パラメータ効率のよい微調整(PEFT)は、事前訓練されたモデルサイズの増大と、より優れた下流性能を実現するための微調整(FT)の必要性により、大きな注目を集めている。 新しいPEFT手法の急増にもかかわらず、その性能と適切な応用シナリオを理解するための体系的な研究は欠落しており、特に視覚認識において「PEFTを適用するとき」や「どの方法を使うか」といった疑問がほとんど答えられていない。 本稿では,視覚変換器を用いた代表的PEFT手法の統一実験を行った。 我々は、下流タスクの精度を正確に比較するために、これらのハイパーパラメータを体系的に調整する。 私たちの研究は実践的なユーザガイドを提供し、いくつかの新しい洞察を公開しています。 まず、慎重に調整すると、異なるPEFT法がローショットベンチマークVTAB-1Kで同様の精度を達成する。 これにはFTのような単純なアプローチが含まれており、バイアス項は劣っていると報告されている。 第二に、PEFT法は、類似した精度にもかかわらず、異なる帰納バイアスのために、異なる誤りと高い信頼率の予測を行う。 このような矛盾(あるいは相補性)がアンサンブル手法の機会を開き、予備的な試みを行う。 第3に、一般的に使用されるローショットタスクを超えて、PEFTは、多くのショットレシエーションでも有用であり、完全なFTと同等またはより良い精度を達成しつつ、パラメータを著しく少なくしている。 最後に,PEFTが事前学習したモデルの分散シフト(例えばCLIP)に対する堅牢性を維持する能力について検討する。 おそらく驚くことではないが、PEFTは完全なFTより優れている。 しかし、重み空間のアンサンブルにより、完全なFTは目標分布と分布シフト性能のバランスが良くなり、堅牢なPEFTの今後の研究方向性が示唆される。

関連論文リスト

• Model Diffusion for Certifiable Few-shot Transfer Learning [28.810318792978762]
  大規模ディープラーニングにおいて、低データ問題を解決するための一般的な効果的なワークフローは、パラメータ効率の微調整(PEFT)を通じて、強力な事前学習基礎モデル(FM)を新しいタスクに適用することである。 実証的な効果はあるものの、結果として得られるソリューションは、その正確性を証明するための一般化保証を欠いている。 我々は,低ショット体制においても,下流タスクに対する非空き学習理論の一般化を保証するために,新しい伝達学習手法を開発した。
  論文  参考訳（メタデータ） (2025-02-10T19:11:48Z)
• Uncertainty-aware Parameter-Efficient Self-training for Semi-supervised Language Understanding [38.11411155621616]
  我々は,主に半教師あり学習の手法として,自己学習について研究している。 我々は,新しい不確かさを意識した自己学習フレームワークであるUPETを紹介する。 UPETは性能と効率の面で大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2023-10-19T02:18:29Z)
• Making Pre-trained Language Models both Task-solvers and Self-calibrators [52.98858650625623]
  プレトレーニング言語モデル(PLM)は、様々な現実世界のシステムのバックボーンとして機能する。 以前の研究は、余分なキャリブレーションタスクを導入することでこの問題を緩和できることを示している。 課題に対処するためのトレーニングアルゴリズムLM-TOASTを提案する。
  論文  参考訳（メタデータ） (2023-07-21T02:51:41Z)
• Approximated Prompt Tuning for Vision-Language Pre-trained Models [54.326232586461614]
  視覚言語による事前学習モデルでは、事前学習タスクと下流タスクのギャップを埋めるために、しばしば多くの学習可能なトークンを必要とする。 本稿では,効率的なVL転送学習を実現するために,APT(Approximated Prompt Tuning)アプローチを提案する。
  論文  参考訳（メタデータ） (2023-06-27T05:43:47Z)
• Test-Time Adaptation with Perturbation Consistency Learning [32.58879780726279]
  そこで本研究では, 分布変化のあるサンプルに対して, 安定な予測を行うための簡易なテスト時間適応手法を提案する。 提案手法は,強力なPLMバックボーンよりも推論時間が少なく,高い,あるいは同等の性能を実現することができる。
  論文  参考訳（メタデータ） (2023-04-25T12:29:22Z)
• Strong Baselines for Parameter Efficient Few-Shot Fine-tuning [50.83426196335385]
  FSC (Few-shot Classification) は、事前訓練(メタトレーニング)フェーズの後にクラス毎にいくつかの例を与えられた新しいクラスを学習する。 近年の研究では、新しいテストクラスで事前訓練された視覚変換器(ViT)を微調整することが、FSCにとって強力なアプローチであることが示されている。 しかし、微調整のViTは、時間、計算、ストレージに費用がかかる。 これにより、Transformerのパラメータのごく一部だけを微調整するPEFT法が考案された。
  論文  参考訳（メタデータ） (2023-04-04T16:14:39Z)
• Learning to Re-weight Examples with Optimal Transport for Imbalanced Classification [74.62203971625173]
  不均衡データは、ディープラーニングに基づく分類モデルに課題をもたらす。 不均衡なデータを扱うための最も広く使われているアプローチの1つは、再重み付けである。 本稿では,分布の観点からの最適輸送(OT)に基づく新しい再重み付け手法を提案する。
  論文  参考訳（メタデータ） (2022-08-05T01:23:54Z)
• Few-Shot Parameter-Efficient Fine-Tuning is Better and Cheaper than In-Context Learning [81.3514358542452]
  ICL (Few-shot in-context Learning) は、予測を行うたびにトレーニング例を全て処理するので、かなりの計算、メモリ、ストレージコストを発生させる。 パラメータ効率の良い微調整は、モデルの新たなタスクの実行を可能にするために、小さなパラメータセットをトレーニングする、代替パラダイムを提供する。 本稿では,少数ショットICLとパラメータ効率の微調整を厳密に比較し,後者が計算コストを劇的に削減できることを示す。
  論文  参考訳（メタデータ） (2022-05-11T17:10:41Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。