論文の概要: Parameter-Efficient Long-Tailed Recognition

• arxiv url: http://arxiv.org/abs/2309.10019v1
• Date: Mon, 18 Sep 2023 17:50:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-20 18:18:47.566101
• Title: Parameter-Efficient Long-Tailed Recognition
• Title（参考訳）: パラメータ効率のよいロングテール認識
• Authors: Jiang-Xin Shi, Tong Wei, Zhi Zhou, Xin-Yan Han, Jie-Jing Shao, Yu-Feng Li
• Abstract要約: PELは、事前学習したモデルを20時間以内で、余分なデータを必要とせずに、長い尾の認識タスクに適応できる微調整法である。 PELは、既存のパラメータ効率の良い微調整法の設計を採用することで、少数のタスク固有のパラメータを導入している。 4つの長い尾を持つデータセットに対する実験結果は、PELが従来の最先端のアプローチを一貫して上回っていることを示している。
• 参考スコア（独自算出の注目度）: 45.238676193175976
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The "pre-training and fine-tuning" paradigm in addressing long-tailed recognition tasks has sparked significant interest since the emergence of large vision-language models like the contrastive language-image pre-training (CLIP). While previous studies have shown promise in adapting pre-trained models for these tasks, they often undesirably require extensive training epochs or additional training data to maintain good performance. In this paper, we propose PEL, a fine-tuning method that can effectively adapt pre-trained models to long-tailed recognition tasks in fewer than 20 epochs without the need for extra data. We first empirically find that commonly used fine-tuning methods, such as full fine-tuning and classifier fine-tuning, suffer from overfitting, resulting in performance deterioration on tail classes. To mitigate this issue, PEL introduces a small number of task-specific parameters by adopting the design of any existing parameter-efficient fine-tuning method. Additionally, to expedite convergence, PEL presents a novel semantic-aware classifier initialization technique derived from the CLIP textual encoder without adding any computational overhead. Our experimental results on four long-tailed datasets demonstrate that PEL consistently outperforms previous state-of-the-art approaches. The source code is available at https://github.com/shijxcs/PEL.
• Abstract（参考訳）: 長い尾の認識タスクに対処する「事前学習と微調整」パラダイムは、対照的な言語イメージ事前訓練(CLIP)のような大きな視覚言語モデルが出現して以来、大きな関心を集めている。 以前の研究では、これらのタスクに事前訓練されたモデルを適用することは約束されているが、良いパフォーマンスを維持するためには、広範囲なトレーニングエポックや追加のトレーニングデータを必要とすることが多い。 本論文では,20時間以内の長鎖認識タスクに対して,余分なデータを必要とすることなく,事前学習したモデルを効果的に適応できる微調整手法であるPELを提案する。 まず, 完全微調整や分類器微調整などの一般的な微調整法は, 過度な適合に悩まされ, テールクラスの性能劣化を招いた。 この問題を軽減するため、PELは既存のパラメータ効率の良い微調整法の設計を採用することで、少数のタスク固有のパラメータを導入している。 さらに、収束を早めるために、PELは計算オーバーヘッドを加えることなくCLIPテキストエンコーダから派生した新しい意味認識型分類器初期化手法を提案する。 4つの長い尾を持つデータセットに対する実験結果は、PELが従来の最先端のアプローチを一貫して上回っていることを示している。 ソースコードはhttps://github.com/shijxcs/PELで入手できる。

関連論文リスト

• Fine-Tuning is Fine, if Calibrated [33.42198023647517]
  事前訓練されたモデルの微調整は、以前に学習した他のクラスにおいて、モデルの精度を劇的に低下させることが示されている。 本論文は,「微調整モデルで損傷を受けたものは何か?」という根本的な疑問に答えることを目的として,この問題を体系的に識別する。 微調整されたモデルは、他のクラス間の関係を忘れたり、これらのクラスを認識するために機能を劣化させたりしない。
  論文  参考訳（メタデータ） (2024-09-24T16:35:16Z)
• Sparse is Enough in Fine-tuning Pre-trained Large Language Models [98.46493578509039]
  我々はSparse Increment Fine-Tuning (SIFT) という勾配に基づくスパース微調整アルゴリズムを提案する。 GLUE Benchmark や Instruction-tuning などのタスクで有効性を検証する。
  論文  参考訳（メタデータ） (2023-12-19T06:06:30Z)
• An Emulator for Fine-Tuning Large Language Models using Small Language Models [91.02498576056057]
  本研究では,異なるスケールでの事前学習と微調整の結果を近似する分布から,エミュレート・ファインチューニング(EFT)を原理的かつ実用的なサンプリング法として導入する。 EFTは、追加トレーニングを伴わずに、有益性や無害性といった競合する行動特性をテスト時間で調整できることを示す。 最後に、LMアップスケーリングと呼ばれるエミュレートされたファインチューニングの特殊な場合において、小さなファインチューニングモデルと組み合わせることで、大きな事前学習モデルのリソース集約的なファインチューニングを回避する。
  論文  参考訳（メタデータ） (2023-10-19T17:57:16Z)
• Orthogonal Uncertainty Representation of Data Manifold for Robust Long-Tailed Learning [52.021899899683675]
  長い尾の分布を持つシナリオでは、尾のサンプルが不足しているため、モデルが尾のクラスを識別する能力は制限される。 モデルロバストネスの長期的現象を改善するために,特徴埋め込みの直交不確実性表現(OUR)とエンドツーエンドのトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2023-10-16T05:50:34Z)
• Two-Stage Fine-Tuning: A Novel Strategy for Learning Class-Imbalanced Data [11.66734752179563]
  長い尾の分散データの分類は難しい問題である。 トレーニング済みのモデルを下流タスクに転送する場合、特に微調整では、テールクラスでの学習は困難である。 本稿では,2段階のファインチューニングを提案する。まず,事前訓練されたモデルの最終層をクラスバランスの再重み付け損失で微調整し,次に標準のファインチューニングを実行する。
  論文  参考訳（メタデータ） (2022-07-22T03:39:51Z)
• Towards Inadequately Pre-trained Models in Transfer Learning [37.66278189011681]
  より優れたImageNet事前訓練モデルでは、下流タスクへの転送性が向上することが示されている。 本稿では,同じ事前学習過程において,十分に訓練されていない中新世のモデルが,完全に訓練されたモデルより優れていることを示す。 我々の発見は、事前学習中、モデルはまず大きな特異値に対応するスペクトル成分を学習する傾向があることを示唆している。
  論文  参考訳（メタデータ） (2022-03-09T12:15:55Z)
• Exploring Strategies for Generalizable Commonsense Reasoning with Pre-trained Models [62.28551903638434]
  モデルの一般化と精度に及ぼす3つの異なる適応法の影響を計測する。 2つのモデルを用いた実験では、微調整はタスクの内容と構造の両方を学習することで最もうまく機能するが、過度に適合し、新しい答えへの限定的な一般化に苦しむ。 我々は、プレフィックスチューニングのような代替適応手法が同等の精度を持つのを観察するが、解を見落とさずに一般化し、対数分割に対してより堅牢である。
  論文  参考訳（メタデータ） (2021-09-07T03:13:06Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。