論文の概要: Aggregate, Decompose, and Fine-Tune: A Simple Yet Effective Factor-Tuning Method for Vision Transformer

• arxiv url: http://arxiv.org/abs/2311.06749v1
• Date: Sun, 12 Nov 2023 06:23:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-14 17:05:35.902071
• Title: Aggregate, Decompose, and Fine-Tune: A Simple Yet Effective Factor-Tuning Method for Vision Transformer
• Title（参考訳）: Aggregate, Decompose, Fine-Tune: 視覚変換器の簡易かつ効果的な因子調整法
• Authors: Dongping Chen
• Abstract要約: EFFT (EFfective Factor-Tuning) は単純で効果的な微調整法である。 VTAB-1Kデータセット内では、EFFTはすべてのベースラインを超え、最先端のパフォーマンスを実現しています。 EFFTの単純さと有効性を考えると、基礎ベンチマークとして機能する可能性を秘めている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advancements have illuminated the efficacy of some tensorization-decomposition Parameter-Efficient Fine-Tuning methods like LoRA and FacT in the context of Vision Transformers (ViT). However, these methods grapple with the challenges of inadequately addressing inner- and cross-layer redundancy. To tackle this issue, we introduce EFfective Factor-Tuning (EFFT), a simple yet effective fine-tuning method. Within the VTAB-1K dataset, our EFFT surpasses all baselines, attaining state-of-the-art performance with a categorical average of 75.9% in top-1 accuracy with only 0.28% of the parameters for full fine-tuning. Considering the simplicity and efficacy of EFFT, it holds the potential to serve as a foundational benchmark. The code and model are now available at https://github.com/Dongping-Chen/EFFT-EFfective-Factor-Tuning.
• Abstract（参考訳）: 近年の進歩は、視覚変換器(ViT)の文脈において、LoRAやFacTのようなテンソル化分解パラメータ効率の高い微調整法の有効性を照らしている。 しかし,これらの手法は,層内および層間冗長性に不適切な対処を行うという課題に対処する。 この問題に対処するために,簡易かつ効果的な微調整手法である effective factor-tuning (efft) を導入する。 VTAB-1Kデータセット内では、EFFTはすべてのベースラインを超え、トップ1の精度で75.9%、フル微調整のパラメータの0.28%で最先端のパフォーマンスを達成した。 EFFTの単純さと有効性を考えると、基礎ベンチマークとして機能する可能性を秘めている。 コードとモデルはhttps://github.com/Dongping-Chen/EFFT-EFfective-Factor-Tuningで公開されている。

関連論文リスト

• Visual Fourier Prompt Tuning [63.66866445034855]
  本稿では,大規模なトランスフォーマーモデルに適用するための汎用的で効果的な方法として,Visual Fourier Prompt Tuning (VFPT)法を提案する。 提案手法では,高速フーリエ変換を即時埋め込みに取り入れ,空間領域情報と周波数領域情報の両方を調和的に検討する。 提案手法は,2つのベンチマークにおいて,現状のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-11-02T18:18:35Z)
• Dynamic Tuning Towards Parameter and Inference Efficiency for ViT Adaptation [67.13876021157887]
  動的チューニング(DyT)は、ViT適応のためのパラメータと推論効率を改善するための新しいアプローチである。 DyTは既存のPEFT法に比べて性能が優れており、VTAB-1KベンチマークではFLOPの71%しか呼び出されていない。
  論文  参考訳（メタデータ） (2024-03-18T14:05:52Z)
• From PEFT to DEFT: Parameter Efficient Finetuning for Reducing Activation Density in Transformers [52.199303258423306]
  本稿では,事前学習したモデルにおいて,高い活性化空間性を促進する新しい密度損失を提案する。 提案手法である textbfDEFT は,RoBERTa$_mathrmLarge$ で textbf44.94% ,Flan-T5$_mathrmXXL$ で textbf53.19% (エンコーダ密度) と textbf90.60% (デコーダ密度) で常に活性化密度を減少させることができる。
  論文  参考訳（メタデータ） (2024-02-02T21:25:46Z)
• Federated Learning of Large Language Models with Parameter-Efficient Prompt Tuning and Adaptive Optimization [71.87335804334616]
  フェデレートラーニング(FL)は、分散データとの協調モデルトレーニングを可能にする、有望なパラダイムである。 LLM(Large Language Models)のトレーニングプロセスは一般的に重要なパラメータの更新を引き起こす。 本稿では,性能と効率を同時に向上する効率的な部分的プロンプトチューニング手法を提案する。
  論文  参考訳（メタデータ） (2023-10-23T16:37:59Z)
• Strong Baselines for Parameter Efficient Few-Shot Fine-tuning [50.83426196335385]
  FSC (Few-shot Classification) は、事前訓練(メタトレーニング)フェーズの後にクラス毎にいくつかの例を与えられた新しいクラスを学習する。 近年の研究では、新しいテストクラスで事前訓練された視覚変換器(ViT)を微調整することが、FSCにとって強力なアプローチであることが示されている。 しかし、微調整のViTは、時間、計算、ストレージに費用がかかる。 これにより、Transformerのパラメータのごく一部だけを微調整するPEFT法が考案された。
  論文  参考訳（メタデータ） (2023-04-04T16:14:39Z)
• Rethinking Efficient Tuning Methods from a Unified Perspective [34.67645496324432]
  我々はPETLの設計パラダイムを再検討し、パラメータ効率の伝達学習のための統一的なフレームワークU-Tuningを導出する。 U-Tuningフレームワークは、既存の手法を同時に包含し、パラメータ効率の移行学習のための新しいアプローチを導出することができる。
  論文  参考訳（メタデータ） (2023-03-01T17:38:03Z)
• FacT: Factor-Tuning for Lightweight Adaptation on Vision Transformer [14.993203705812654]
  最近の研究は、いくつかのパラメータを更新することで、事前訓練された視覚変換器(ViT)に適応する可能性を探っている。 現在のPETL法では、パラメータの0.5%だけをチューニングすることで、ViTは完全な微調整よりもより優れたパフォーマンスでダウンストリームタスクに適応できることが示されている。 トレーニング可能なパラメータは8K(ViTのパラメータの0.01%)しか使用していないが、フル微調整や他のPETLメソッドよりも優れている小さなバージョンを提示する。
  論文  参考訳（メタデータ） (2022-12-06T17:18:33Z)
• Scaling & Shifting Your Features: A New Baseline for Efficient Model Tuning [126.84770886628833]
  既存の微調整法は、事前訓練されたモデルの全てのパラメータ(フル微調整)をチューニングするか、最後の線形層(線形プローブ)のみをチューニングする。 そこで本研究では,SSFと呼ばれるパラメータ効率の高いファインタニング手法を提案する。
  論文  参考訳（メタデータ） (2022-10-17T08:14:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。