Fugu-MT 論文翻訳(概要): Transductive Zero-Shot and Few-Shot CLIP

論文の概要: Transductive Zero-Shot and Few-Shot CLIP

arxiv url: http://arxiv.org/abs/2405.18437v1
Date: Mon, 8 Apr 2024 12:44:31 GMT
ステータス: 処理完了
システム内更新日: 2024-07-01 08:19:53.650398
Title: Transductive Zero-Shot and Few-Shot CLIP
Title（参考訳）: トランスダクティブゼロショットとFewショットCLIP
Authors: Ségolène Martin, Yunshi Huang, Fereshteh Shakeri, Jean-Christophe Pesquet, Ismail Ben Ayed,
Abstract要約: 本稿では,トランスダクティブなゼロショットと少数ショットのCLIP分類問題に対処する。推論は、各インスタンスを独立して扱うのではなく、ラベルのないクエリサンプルのミニバッチで共同で実行される。提案手法は,CLIPのゼロショット性能に対して,画像ネットの精度を約20%向上させる。
参考スコア（独自算出の注目度）: 24.592841797020203
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Transductive inference has been widely investigated in few-shot image classification, but completely overlooked in the recent, fast growing literature on adapting vision-langage models like CLIP. This paper addresses the transductive zero-shot and few-shot CLIP classification challenge, in which inference is performed jointly across a mini-batch of unlabeled query samples, rather than treating each instance independently. We initially construct informative vision-text probability features, leading to a classification problem on the unit simplex set. Inspired by Expectation-Maximization (EM), our optimization-based classification objective models the data probability distribution for each class using a Dirichlet law. The minimization problem is then tackled with a novel block Majorization-Minimization algorithm, which simultaneously estimates the distribution parameters and class assignments. Extensive numerical experiments on 11 datasets underscore the benefits and efficacy of our batch inference approach.On zero-shot tasks with test batches of 75 samples, our approach yields near 20% improvement in ImageNet accuracy over CLIP's zero-shot performance. Additionally, we outperform state-of-the-art methods in the few-shot setting. The code is available at: https://github.com/SegoleneMartin/transductive-CLIP.
Abstract（参考訳）: トランスダクティブ推論は、少数の画像分類において広く研究されてきたが、CLIPのような視覚言語モデルへの適応に関する最近の急速に成長している文献では、完全に見過ごされている。本稿では、各インスタンスを独立に扱うのではなく、ラベルなしクエリサンプルのミニバッチ間で推論を共同で行う、トランスダクティブなゼロショットと少数ショットのCLIP分類問題に対処する。当初我々は,情報的視覚テキストの確率的特徴を構築し,単位単純集合上の分類問題に導いた。予測最大化(EM)にインスパイアされた最適化に基づく分類対象は、ディリクレ法則を用いて各クラスのデータ確率分布をモデル化する。最小化問題は、分布パラメータとクラス割り当てを同時に推定する新しいブロックMajorization-Minimizationアルゴリズムに対処される。テストバッチ75のゼロショットタスクでは,CLIPのゼロショット性能よりも画像ネットの精度が約20%向上した。さらに、数ショット設定で最先端の手法よりも優れています。コードは以下の通り。 https://github.com/SegoleneMartin/transductive-CLIP。

関連論文リスト

Words Matter: Leveraging Individual Text Embeddings for Code Generation in CLIP Test-Time Adaptation [21.20806568508201]
テスト時推論において視覚言語モデル(VLM)が遭遇する分布ドリフトを軽減するために,クラステキスト情報を活用する方法を示す。本稿では,ラベル割り当て問題の固定セントロイドとしてジェネリッククラステキスト埋め込みを利用して,テスト時間サンプルの擬似ラベルを生成することを提案する。多様な複雑性を示す複数の人気のあるテスト時間適応ベンチマークの実験は、CLIP-OTの優位性を実証的に示している。
論文参考訳（メタデータ） (2024-11-26T00:15:37Z)
Enhancing Zero-Shot Vision Models by Label-Free Prompt Distribution Learning and Bias Correcting [55.361337202198925]
CLIPのようなヴィジュアル言語モデルは、適切なテキスト記述を使用する際に、顕著な一般化能力を示している。本稿では,ラベル付きデータを必要としないゼロショット性能を向上する,**Frolic**と呼ばれるラベルフリーな分布学習とバイアス補正フレームワークを提案する。
論文参考訳（メタデータ） (2024-10-25T04:00:45Z)
A Hard-to-Beat Baseline for Training-free CLIP-based Adaptation [121.0693322732454]
対照的に、CLIP(Contrastive Language- Image Pretraining)はその目覚ましいゼロショット能力で人気を集めている。近年の研究では、下流タスクにおけるCLIPの性能を高めるための効率的な微調整手法の開発に焦点が当てられている。従来のアルゴリズムであるガウス判別分析(GDA)を再検討し,CLIPの下流分類に適用する。
論文参考訳（メタデータ） (2024-02-06T15:45:27Z)
CAFS: Class Adaptive Framework for Semi-Supervised Semantic Segmentation [5.484296906525601]
半教師付きセマンティックセグメンテーションは、いくつかのラベル付きサンプルと多数のラベルなし画像を使用して、ピクセルを特定のクラスに分類するモデルを学ぶ。半教師付きセマンティックセグメンテーション(CAFS)のためのクラス適応型セミスーパービジョンフレームワークを提案する。 CAFSはラベル付きデータセットに検証セットを構築し、各クラスの校正性能を活用する。
論文参考訳（メタデータ） (2023-03-21T05:56:53Z)
CLIPood: Generalizing CLIP to Out-of-Distributions [73.86353105017076]
対照的に、CLIP(Language-image Pre-training)モデルでは、印象的なゼロショット能力を示しているが、下流タスクにおけるCLIPのさらなる適応は、OODのパフォーマンスを好ましくない劣化させる。ドメインシフトとオープンクラスの両方が見えないテストデータ上で発生する可能性があるOOD状況にCLIPモデルを適用するための微調整手法であるCLIPoodを提案する。さまざまなOODシナリオによるさまざまなデータセットの実験は、CLIPoodが既存の一般化テクニックを一貫して上回っていることを示している。
論文参考訳（メタデータ） (2023-02-02T04:27:54Z)
Improving Zero-shot Generalization and Robustness of Multi-modal Models [70.14692320804178]
CLIPやLiTのようなマルチモーダルな画像テキストモデルは、画像分類ベンチマークで顕著な性能を示している。本研究は,この性能差の原因を考察し,テキストプロンプトの曖昧さによる障害事例の多くが原因であることを示す。本稿では,WordNet階層を用いて,不確実な画像の精度を向上させるための簡易かつ効率的な手法を提案する。
論文参考訳（メタデータ） (2022-12-04T07:26:24Z)
Masked Unsupervised Self-training for Zero-shot Image Classification [98.23094305347709]
Masked Unsupervised Self-Training (MUST)は、疑似ラベルと生画像という2つの異なる、補完的な監督源を活用する新しいアプローチである。 MUSTはCLIPを大きなマージンで改善し、教師なしと教師なしの分類のパフォーマンスギャップを狭める。
論文参考訳（メタデータ） (2022-06-07T02:03:06Z)
Ortho-Shot: Low Displacement Rank Regularization with Data Augmentation for Few-Shot Learning [23.465747123791772]
少数の分類において、第一の目的は、新しいクラスをうまく一般化する表現を学ぶことである。オルソショット(Ortho-Shot)と呼ばれる効率的な低変位ランク(LDR)正規化戦略を提案する。
論文参考訳（メタデータ） (2021-10-18T14:58:36Z)
Transductive Few-Shot Learning: Clustering is All You Need? [31.21306826132773]
そこで本研究では,プロトタイプをベースとした超越的数ショット学習の汎用的定式化について検討する。提案手法は, 精度と最適化の観点から, 大きな問題にスケールアップしながら, 競争性能を向上する。驚いたことに、私たちの一般的なモデルは、最先端の学習と比較して、すでに競争力のあるパフォーマンスを実現しています。
論文参考訳（メタデータ） (2021-06-16T16:14:01Z)
Bayesian Few-Shot Classification with One-vs-Each P\'olya-Gamma Augmented Gaussian Processes [7.6146285961466]
FSC(Few-shot Classification)は、人間のような機械学習への道のりの重要なステップである。 P'olya-Gamma augmentation と one-vs-each softmax approximation の新たな組み合わせを提案する。標準的な数ショット分類ベンチマークと数ショットドメイン転送タスクの両方において、精度の向上と不確かさの定量化を実証した。
論文参考訳（メタデータ） (2020-07-20T19:10:41Z)
Embedding Propagation: Smoother Manifold for Few-Shot Classification [131.81692677836202]
本稿では, 組込み伝搬を非教師なし非パラメトリック正規化器として, 数ショット分類における多様体平滑化に用いることを提案する。埋め込み伝播がより滑らかな埋め込み多様体を生み出すことを実証的に示す。複数の半教師付き学習シナリオにおいて,埋め込み伝搬によりモデルの精度が最大16%向上することを示す。
論文参考訳（メタデータ） (2020-03-09T13:51:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。