論文の概要: LPT: Long-tailed Prompt Tuning for Image Classification
- arxiv url: http://arxiv.org/abs/2210.01033v2
- Date: Tue, 28 Mar 2023 10:16:03 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-29 19:36:22.718299
- Title: LPT: Long-tailed Prompt Tuning for Image Classification
- Title（参考訳）: LPT:画像分類のための長い尾のプロンプトチューニング
- Authors: Bowen Dong, Pan Zhou, Shuicheng Yan, Wangmeng Zuo
- Abstract要約: 凍結事前訓練モデルに複数のトレーニング可能なプロンプトを導入し、長い尾を持つデータに適用する。
フェーズ1では、教師付きプロンプトチューニングを通じて共有プロンプトをトレーニングし、事前訓練されたモデルを所望の長尾領域に適応させる。
フェーズ2では、学習した共有プロンプトをクエリとして使用し、類似したサンプルのグループに対して、マッチした小さなベストセットを選択する。
- 参考スコア（独自算出の注目度）: 178.52948452353834
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: For long-tailed classification, most works often pretrain a big model on a
large-scale dataset, and then fine-tune the whole model for adapting to
long-tailed data. Though promising, fine-tuning the whole pretrained model
tends to suffer from high cost in computation and deployment of different
models for different tasks, as well as weakened generalization ability for
overfitting to certain features of long-tailed data. To alleviate these issues,
we propose an effective Long-tailed Prompt Tuning method for long-tailed
classification. LPT introduces several trainable prompts into a frozen
pretrained model to adapt it to long-tailed data. For better effectiveness, we
divide prompts into two groups: 1) a shared prompt for the whole long-tailed
dataset to learn general features and to adapt a pretrained model into target
domain; and 2) group-specific prompts to gather group-specific features for the
samples which have similar features and also to empower the pretrained model
with discrimination ability. Then we design a two-phase training paradigm to
learn these prompts. In phase 1, we train the shared prompt via supervised
prompt tuning to adapt a pretrained model to the desired long-tailed domain. In
phase 2, we use the learnt shared prompt as query to select a small best
matched set for a group of similar samples from the group-specific prompt set
to dig the common features of these similar samples, then optimize these
prompts with dual sampling strategy and asymmetric GCL loss. By only
fine-tuning a few prompts while fixing the pretrained model, LPT can reduce
training and deployment cost by storing a few prompts, and enjoys a strong
generalization ability of the pretrained model. Experiments show that on
various long-tailed benchmarks, with only ~1.1% extra parameters, LPT achieves
comparable performance than previous whole model fine-tuning methods, and is
more robust to domain-shift.
- Abstract（参考訳）: ロングテール分類の場合、ほとんどの作業は大規模データセット上で大きなモデルを事前トレーニングし、ロングテールデータへの適応のためにモデル全体を微調整する。
有望ではあるが、事前訓練されたモデル全体の微調整は、異なるタスクのための異なるモデルの計算とデプロイのコストが高く、長い尾を持つデータの特定の特徴に過度に適合する一般化能力が弱まる傾向にある。
これらの問題を緩和するために、長い尾の分類に有効な長尾のプロンプトチューニング法を提案する。
lptは、複数のトレーニング可能なプロンプトを凍結した事前学習モデルに導入して、ロングテールデータに適応させる。
より良い効果を得るために、プロンプトを2つのグループに分けます。
1)ロングテールデータセット全体の共有プロンプトは、一般的な特徴を学習し、事前訓練されたモデルを対象領域に適応させる。
2) 類似した特徴を持つサンプルに対してグループ固有の特徴を収集し, 識別能力を有する事前学習モデルの強化を図る。
そして、これらのプロンプトを学習するための2段階の訓練パラダイムを設計する。
フェーズ1では、教師付きプロンプトチューニングを通じて共有プロンプトをトレーニングし、事前訓練されたモデルを所望の長尾領域に適応させる。
第2相では、学習した共有プロンプトをクエリとして使用し、グループ固有のプロンプトセットから、類似したサンプルの小さなベストマッチセットを選択して、類似するサンプルの共通特徴を掘り下げ、これらのプロンプトを二重サンプリング戦略と非対称GCL損失で最適化する。
事前訓練されたモデルの修正中にいくつかのプロンプトを微調整するだけで、LPTはいくつかのプロンプトを格納することでトレーニングとデプロイメントのコストを削減し、事前訓練されたモデルの強力な一般化能力を享受できる。
実験によれば、ロングテールの様々なベンチマークでは、パラメータがわずか1.1%で、lptは以前のモデル全体の微調整方法と同等の性能を達成し、ドメインシフトよりも堅牢である。
関連論文リスト
- Adapt-$\infty$: Scalable Lifelong Multimodal Instruction Tuning via Dynamic Data Selection [89.42023974249122]
Adapt-$infty$は、Lifelong Instruction Tuningの新しいマルチウェイおよびアダプティブデータ選択アプローチである。
勾配に基づくサンプルベクトルをグループ化して擬似スキルクラスタを構築する。
セレクタエキスパートのプールから各スキルクラスタの最高のパフォーマンスデータセレクタを選択する。
論文 参考訳（メタデータ） (2024-10-14T15:48:09Z) - LPT++: Efficient Training on Mixture of Long-tailed Experts [107.78420448806357]
++は3つのコアコンポーネントを統合することで、凍結されたビジョントランスフォーマー(ViT)を強化する。
1つ目は、長い尾のプロンプトと視覚的アダプタを集約して、トレーニング済みのモデルを対象のドメインに適応させる、普遍的な長い尾の適応モジュールである。
2つ目は、長い尾を持つエキスパートフレームワークと、より正確な予測を生成するために、視覚のみと視覚言語(VL)の両方のモデルエキスパートからの信頼度スコアに対する再重み付け係数を適応的に計算するMoEスコアラーの混合である。
論文 参考訳（メタデータ） (2024-09-17T16:19:11Z) - GistScore: Learning Better Representations for In-Context Example
Selection with Gist Bottlenecks [3.9638110494107095]
In-context Learning(ICL)は、大規模言語モデル(LLM)がプロンプトで条件付きで新しいタスクを実行する機能である。
本稿では,教師付き微調整によるサンプルエンコーダの学習手法であるサンプルギストリングを提案する。
我々の微調整モデルでは、既成のレトリバーよりも20%以上向上し、最先端のICL性能が得られている。
論文 参考訳（メタデータ） (2023-11-16T06:28:05Z) - RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。
本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
論文 参考訳（メタデータ） (2023-07-05T12:49:02Z) - $\Delta$-Patching: A Framework for Rapid Adaptation of Pre-trained
Convolutional Networks without Base Performance Loss [71.46601663956521]
大規模なデータセットで事前トレーニングされたモデルはしばしば、時間とともにやってくる新しいタスクやデータセットをサポートするように微調整される。
モデルコピーを格納することなく、効率よく微調整ニューラルネットワークモデルに$Delta$-Patchingを提案する。
我々の実験によると、$Delta$-Networksは、トレーニングされるパラメータのごく一部しか必要とせず、初期のモデルパッチ作業より優れています。
論文 参考訳（メタデータ） (2023-03-26T16:39:44Z) - Federated Adaptive Prompt Tuning for Multi-Domain Collaborative Learning [44.604485649167216]
フェデレートラーニング(FL)は、複数のクライアントがデータを開示することなく、協力的にグローバルモデルをトレーニングすることを可能にする。
多領域協調画像分類のためのフェデレーション適応型プロンプトチューニングアルゴリズムであるFedAPTを提案する。
論文 参考訳（メタデータ） (2022-11-15T03:10:05Z) - Test-Time Prompt Tuning for Zero-Shot Generalization in Vision-Language
Models [107.05966685291067]
テスト時間プロンプトチューニング (TPT) を提案し, 適応的なプロンプトを1つのテストサンプルで学習する。
TPTはCLIPのゼロショットトップ1の精度を平均3.6%改善する。
クロスデータセットの一般化を目に見えないカテゴリで評価する際、PTは追加のトレーニングデータを使用する最先端のアプローチと同等に機能する。
論文 参考訳（メタデータ） (2022-09-15T17:55:11Z) - Deep Ensembles for Low-Data Transfer Learning [21.578470914935938]
我々は、事前訓練されたモデルからアンサンブルを作成する様々な方法を研究する。
プレトレーニング自体が多様性の優れた源であることが示される。
本稿では,任意の下流データセットに対して,事前学習したモデルのサブセットを効率的に同定する実用的なアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-10-14T07:59:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。