論文の概要: A Hard-to-Beat Baseline for Training-free CLIP-based Adaptation
- arxiv url: http://arxiv.org/abs/2402.04087v1
- Date: Tue, 6 Feb 2024 15:45:27 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-07 14:20:28.324048
- Title: A Hard-to-Beat Baseline for Training-free CLIP-based Adaptation
- Title（参考訳）: トレーニングフリークリップ適応のためのハード・トゥ・ビートベースライン
- Authors: Zhengbo Wang, Jian Liang, Lijun Sheng, Ran He, Zilei Wang, Tieniu Tan
- Abstract要約: 対照的に、CLIP(Contrastive Language- Image Pretraining)はその目覚ましいゼロショット能力で人気を集めている。
近年の研究では、下流タスクにおけるCLIPの性能を高めるための効率的な微調整手法の開発に焦点が当てられている。
従来のアルゴリズムであるガウス判別分析(GDA)を再検討し,CLIPの下流分類に適用する。
- 参考スコア（独自算出の注目度）: 121.0693322732454
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Contrastive Language-Image Pretraining (CLIP) has gained popularity for its
remarkable zero-shot capacity. Recent research has focused on developing
efficient fine-tuning methods, such as prompt learning and adapter, to enhance
CLIP's performance in downstream tasks. However, these methods still require
additional training time and computational resources, which is undesirable for
devices with limited resources. In this paper, we revisit a classical
algorithm, Gaussian Discriminant Analysis (GDA), and apply it to the downstream
classification of CLIP. Typically, GDA assumes that features of each class
follow Gaussian distributions with identical covariance. By leveraging Bayes'
formula, the classifier can be expressed in terms of the class means and
covariance, which can be estimated from the data without the need for training.
To integrate knowledge from both visual and textual modalities, we ensemble it
with the original zero-shot classifier within CLIP. Extensive results on 17
datasets validate that our method surpasses or achieves comparable results with
state-of-the-art methods on few-shot classification, imbalanced learning, and
out-of-distribution generalization. In addition, we extend our method to
base-to-new generalization and unsupervised learning, once again demonstrating
its superiority over competing approaches. Our code is publicly available at
\url{https://github.com/mrflogs/ICLR24}.
- Abstract（参考訳）: 対照的に、CLIP(Contrastive Language- Image Pretraining)はその目覚ましいゼロショット能力で人気を集めている。
近年、下流タスクにおけるCLIPの性能を高めるために、プロンプト学習やアダプタなどの効率的な微調整手法の開発に焦点が当てられている。
しかし、これらの手法には追加のトレーニング時間と計算資源が必要であり、限られたリソースを持つデバイスには望ましくない。
本稿では,従来のアルゴリズムであるガウス判別分析(GDA)を再検討し,CLIPの下流分類に適用する。
通常、GDA は各クラスの特徴が同一の共分散を持つガウス分布に従うと仮定する。
ベイズの式を活用すれば、分類器はクラス平均と共分散で表現できるが、これは訓練を必要とせずにデータから推定できる。
視覚的モダリティとテキスト的モダリティの両方からの知識を統合するため、CLIP内のゼロショット分類器とアンサンブルする。
17のデータセットの集約的な結果から,本手法は,数点の分類,不均衡学習,分布外一般化において,最先端の手法で同等の結果を得るか,あるいは達成することを確認した。
さらに,本手法をベース・トゥ・ニュー・ジェネライゼーションと教師なし学習に拡張し,競合するアプローチに対してその優越性を示す。
コードは \url{https://github.com/mrflogs/iclr24} で公開されている。
関連論文リスト
- Rethinking Few-shot Class-incremental Learning: Learning from Yourself [31.268559330366404]
FSCIL (Few-shot class-incremental Learning) は、限られたサンプルを持つシーケンシャルクラスを数ショットで学習することを目的としている。
FSCILの一般的なベンチマークは、古典的なクラス増分学習設定を継承し、評価指標として平均精度(aAcc)と最終タスク平均精度(lAcc)を用いる。
我々は、さらに公平な評価を提供するために設計された一般化平均精度(gAcc)と呼ばれる新しい指標を提供する。
論文 参考訳（メタデータ） (2024-07-10T08:52:56Z) - Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple
Logits Retargeting Approach [102.0769560460338]
我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。
提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
論文 参考訳（メタデータ） (2024-03-01T03:27:08Z) - FeCAM: Exploiting the Heterogeneity of Class Distributions in
Exemplar-Free Continual Learning [21.088762527081883]
Exemplar-free class-incremental learning (CIL)は、以前のタスクからのデータのリハーサルを禁止しているため、いくつかの課題がある。
第1タスクの後に特徴抽出器を凍結して分類器を漸進的に学習する手法が注目されている。
凍結した特徴抽出器を用いて新しいクラスプロトタイプを生成するCILのプロトタイプネットワークを探索し,プロトタイプとのユークリッド距離に基づいて特徴を分類する。
論文 参考訳（メタデータ） (2023-09-25T11:54:33Z) - RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。
本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
論文 参考訳（メタデータ） (2023-07-05T12:49:02Z) - CLIPood: Generalizing CLIP to Out-of-Distributions [73.86353105017076]
対照的に、CLIP(Language-image Pre-training)モデルでは、印象的なゼロショット能力を示しているが、下流タスクにおけるCLIPのさらなる適応は、OODのパフォーマンスを好ましくない劣化させる。
ドメインシフトとオープンクラスの両方が見えないテストデータ上で発生する可能性があるOOD状況にCLIPモデルを適用するための微調整手法であるCLIPoodを提案する。
さまざまなOODシナリオによるさまざまなデータセットの実験は、CLIPoodが既存の一般化テクニックを一貫して上回っていることを示している。
論文 参考訳（メタデータ） (2023-02-02T04:27:54Z) - Do Pre-trained Models Benefit Equally in Continual Learning? [25.959813589169176]
既存の継続学習(CL)の研究は主に、ゼロから訓練されたモデルのアルゴリズムの開発に費やされている。
コントリビュートベンチマークのパフォーマンスは高いが、これらのアルゴリズムは現実のシナリオで劇的なパフォーマンス低下を示す。
本稿では,CLに対する事前学習の体系的導入を提唱する。
論文 参考訳（メタデータ） (2022-10-27T18:03:37Z) - OrdinalCLIP: Learning Rank Prompts for Language-Guided Ordinal
Regression [94.28253749970534]
我々は、リッチなセマンティックCLIP潜在空間からランクの概念を学ぶことを提案する。
OrdinalCLIPは学習可能なコンテキストトークンと学習可能なランク埋め込みで構成されている。
実験結果から,本パラダイムは一般順序回帰タスクにおける競合性能を達成できることが示唆された。
論文 参考訳（メタデータ） (2022-06-06T03:54:53Z) - Class-Incremental Learning with Generative Classifiers [6.570917734205559]
本稿では,クラス増分学習のための新しい戦略を提案する。
本提案は,p(x|y)p(y) として分解された合同分布 p(x,y) を学習し,ベイズ則を用いた分類を行うことである。
ここでは,各学習クラスに対して,変分オートエンコーダをトレーニングすることで,この戦略を実証する。
論文 参考訳（メタデータ） (2021-04-20T16:26:14Z) - Few-Shot Incremental Learning with Continually Evolved Classifiers [46.278573301326276]
Few-shot Class-Incremental Learning(FSCIL)は、いくつかのデータポイントから新しい概念を継続的に学習できる機械学習アルゴリズムの設計を目指している。
難点は、新しいクラスからの限られたデータが、重大な過度な問題を引き起こすだけでなく、破滅的な忘れの問題も悪化させることにある。
我々は,適応のための分類器間のコンテキスト情報を伝達するグラフモデルを用いた連続進化型cif(cec)を提案する。
論文 参考訳（メタデータ） (2021-04-07T10:54:51Z) - Generalized Zero-Shot Learning Via Over-Complete Distribution [79.5140590952889]
そこで本稿では,CVAE (Conditional Variational Autoencoder) を用いたOCD(Over-Complete Distribution) の生成を提案する。
フレームワークの有効性は,Zero-Shot LearningプロトコルとGeneralized Zero-Shot Learningプロトコルの両方を用いて評価する。
論文 参考訳（メタデータ） (2020-04-01T19:05:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。