論文の概要: Parameter-Efficient Long-Tailed Recognition
- arxiv url: http://arxiv.org/abs/2309.10019v1
- Date: Mon, 18 Sep 2023 17:50:56 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-20 18:18:47.566101
- Title: Parameter-Efficient Long-Tailed Recognition
- Title(参考訳): パラメータ効率のよいロングテール認識
- Authors: Jiang-Xin Shi, Tong Wei, Zhi Zhou, Xin-Yan Han, Jie-Jing Shao, Yu-Feng
Li
- Abstract要約: PELは、事前学習したモデルを20時間以内で、余分なデータを必要とせずに、長い尾の認識タスクに適応できる微調整法である。
PELは、既存のパラメータ効率の良い微調整法の設計を採用することで、少数のタスク固有のパラメータを導入している。
4つの長い尾を持つデータセットに対する実験結果は、PELが従来の最先端のアプローチを一貫して上回っていることを示している。
- 参考スコア(独自算出の注目度): 45.238676193175976
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The "pre-training and fine-tuning" paradigm in addressing long-tailed
recognition tasks has sparked significant interest since the emergence of large
vision-language models like the contrastive language-image pre-training (CLIP).
While previous studies have shown promise in adapting pre-trained models for
these tasks, they often undesirably require extensive training epochs or
additional training data to maintain good performance. In this paper, we
propose PEL, a fine-tuning method that can effectively adapt pre-trained models
to long-tailed recognition tasks in fewer than 20 epochs without the need for
extra data. We first empirically find that commonly used fine-tuning methods,
such as full fine-tuning and classifier fine-tuning, suffer from overfitting,
resulting in performance deterioration on tail classes. To mitigate this issue,
PEL introduces a small number of task-specific parameters by adopting the
design of any existing parameter-efficient fine-tuning method. Additionally, to
expedite convergence, PEL presents a novel semantic-aware classifier
initialization technique derived from the CLIP textual encoder without adding
any computational overhead. Our experimental results on four long-tailed
datasets demonstrate that PEL consistently outperforms previous
state-of-the-art approaches. The source code is available at
https://github.com/shijxcs/PEL.
- Abstract(参考訳): 長い尾の認識タスクに対処する「事前学習と微調整」パラダイムは、対照的な言語イメージ事前訓練(CLIP)のような大きな視覚言語モデルが出現して以来、大きな関心を集めている。
以前の研究では、これらのタスクに事前訓練されたモデルを適用することは約束されているが、良いパフォーマンスを維持するためには、広範囲なトレーニングエポックや追加のトレーニングデータを必要とすることが多い。
本論文では,20時間以内の長鎖認識タスクに対して,余分なデータを必要とすることなく,事前学習したモデルを効果的に適応できる微調整手法であるPELを提案する。
まず, 完全微調整や分類器微調整などの一般的な微調整法は, 過度な適合に悩まされ, テールクラスの性能劣化を招いた。
この問題を軽減するため、PELは既存のパラメータ効率の良い微調整法の設計を採用することで、少数のタスク固有のパラメータを導入している。
さらに、収束を早めるために、PELは計算オーバーヘッドを加えることなくCLIPテキストエンコーダから派生した新しい意味認識型分類器初期化手法を提案する。
4つの長い尾を持つデータセットに対する実験結果は、PELが従来の最先端のアプローチを一貫して上回っていることを示している。
ソースコードはhttps://github.com/shijxcs/PELで入手できる。
関連論文リスト
- LEVI: Generalizable Fine-tuning via Layer-wise Ensemble of Different
Views [28.917597757230745]
ファインチューニングは、新しい下流タスクで事前訓練された基礎モデルのパワーを活用するために使用される。
近年の研究では、微調整されたモデルから目に見えない分布への一般化の課題が観察されている。
そこで本研究では,タスク固有モデルを用いて,事前学習したモデルを階層的に適応的に組み立てる,一般化可能なファインチューニング手法LEVIを提案する。
論文 参考訳(メタデータ) (2024-02-07T08:16:40Z) - Uncertainty-aware Parameter-Efficient Self-training for Semi-supervised
Language Understanding [38.11411155621616]
我々は,主に半教師あり学習の手法として,自己学習について研究している。
我々は,新しい不確かさを意識した自己学習フレームワークであるUPETを紹介する。
UPETは性能と効率の面で大幅に向上したことを示す。
論文 参考訳(メタデータ) (2023-10-19T02:18:29Z) - RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。
本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
論文 参考訳(メタデータ) (2023-07-05T12:49:02Z) - Fine-Tuning Pre-Trained Language Models Effectively by Optimizing
Subnetworks Adaptively [32.001304911395756]
微調整時の大規模事前学習モデルの動的選択(DPS)アルゴリズムを提案する。
GLUEベンチマークの実験では、DPSは全体的な性能と安定性の点で従来の微調整法よりも優れていた。
論文 参考訳(メタデータ) (2022-11-03T08:32:12Z) - Effective and Efficient Training for Sequential Recommendation using
Recency Sampling [91.02268704681124]
本稿では,新しいRecency-based Smpling of Sequencesトレーニング目標を提案する。
提案手法により拡張されたモデルにより,最先端のBERT4Recに近い性能が得られることを示す。
論文 参考訳(メタデータ) (2022-07-06T13:06:31Z) - Few-Shot Parameter-Efficient Fine-Tuning is Better and Cheaper than
In-Context Learning [81.3514358542452]
ICL (Few-shot in-context Learning) は、予測を行うたびにトレーニング例を全て処理するので、かなりの計算、メモリ、ストレージコストを発生させる。
パラメータ効率の良い微調整は、モデルの新たなタスクの実行を可能にするために、小さなパラメータセットをトレーニングする、代替パラダイムを提供する。
本稿では,少数ショットICLとパラメータ効率の微調整を厳密に比較し,後者が計算コストを劇的に削減できることを示す。
論文 参考訳(メタデータ) (2022-05-11T17:10:41Z) - Improved Fine-tuning by Leveraging Pre-training Data: Theory and
Practice [52.11183787786718]
対象データに事前学習されたモデルを微調整することは、多くのディープラーニングアプリケーションで広く利用されている。
近年の研究では、スクラッチからのトレーニングが、この事前トレーニング戦略に比較して、最終的なパフォーマンスを示すことが実証されている。
本稿では,対象タスクの一般化を改善するために,事前学習データからサブセットを選択する新しい選択戦略を提案する。
論文 参考訳(メタデータ) (2021-11-24T06:18:32Z) - DSEE: Dually Sparsity-embedded Efficient Tuning of Pre-trained Language
Models [152.29364079385635]
事前訓練されたモデルが大きくなればなるほど、微調整のプロセスは時間がかかり、計算コストがかかる可能性がある。
本稿では,重み更新と最終モデルの重み付けに先立って,疎度を活用することで,資源・パラメータ効率の微調整を行うフレームワークを提案する。
提案するフレームワークは,Dually Sparsity-Embeded Efficient Tuning (DSEE)と呼ばれ,パラメータ効率のよい微調整とリソース効率の推論という2つの重要な目標を達成することを目的としている。
論文 参考訳(メタデータ) (2021-10-30T03:29:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。