論文の概要: Rethinking Few Shot CLIP Benchmarks: A Critical Analysis in the Inductive Setting
- arxiv url: http://arxiv.org/abs/2507.20834v1
- Date: Mon, 28 Jul 2025 13:41:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-29 16:23:58.137478
- Title: Rethinking Few Shot CLIP Benchmarks: A Critical Analysis in the Inductive Setting
- Title（参考訳）: わずかなショットCLIPベンチマークを再考する: 帰納的設定における批判的分析
- Authors: Alexey Kravets, Da Chen, Vinay P. Namboodiri,
- Abstract要約: いくつかの手法は、いくつかの例を使ってCLIPのパフォーマンスを改善した。
この評価方法が帰納的一般化能力の真の示唆を与えるものではないと我々は主張する。
本研究では,非学習手法を用いて真の帰納的ベースラインを得るパイプラインを提案する。
- 参考スコア（独自算出の注目度）: 26.843330914828503
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: CLIP is a foundational model with transferable classification performance in the few-shot setting. Several methods have shown improved performance of CLIP using few-shot examples. However, so far, all these techniques have been benchmarked using standard few-shot datasets. We argue that this mode of evaluation does not provide a true indication of the inductive generalization ability using few-shot examples. As most datasets have been seen by the CLIP model, the resultant setting can be termed as partially transductive. To solve this, we propose a pipeline that uses an unlearning technique to obtain true inductive baselines. In this new inductive setting, the methods show a significant drop in performance (-55% on average among 13 baselines with multiple datasets). We validate the unlearning technique using oracle baselines. An improved few-shot classification technique is proposed that consistently obtains state-of-the-art performance over 13 other recent baseline methods on a comprehensive analysis with 5880 experiments - varying the datasets, differing number of few-shot examples, unlearning setting, and with different seeds. Thus, we identify the issue with the evaluation of CLIP-based few-shot classification, provide a solution using unlearning, propose new benchmarks, and provide an improved method.
- Abstract（参考訳）: CLIPは、数ショット設定で転送可能な分類性能を備えた基礎モデルである。
いくつかの手法は、いくつかの例を使ってCLIPのパフォーマンスを改善した。
しかし、これまでのところ、これらのテクニックはすべて、標準的な数ショットデータセットを使用してベンチマークされている。
この評価方式は, 実例を用いて帰納的一般化能力を示すものではないと論じる。
多くのデータセットがCLIPモデルで見られるように、結果として得られる設定は部分的に変換される。
そこで本研究では,非学習手法を用いて真の帰納的ベースラインを得るパイプラインを提案する。
今回の新たなインダクティブ設定では、パフォーマンスが大幅に低下している(複数のデータセットを持つ13のベースラインの中で平均55%)。
オラクルベースラインを用いたアンラーニング手法を検証する。
5880の実験を総合的に分析し、データセットの変化、いくつかのサンプルの数の変化、未学習の設定、種数の違いなど、最新の13のベースライン手法よりも一貫して最先端のパフォーマンスを得る改良されたショット分類手法が提案されている。
そこで我々は,CLIPをベースとした少ショット分類の評価を行い,アンラーニングを用いたソリューションを提供し,新しいベンチマークを提案し,改良した手法を提案する。
関連論文リスト
- Simulating Training Data Leakage in Multiple-Choice Benchmarks for LLM Evaluation [6.4212082894269535]
既存のリーク検出技術である置換法とn-gram法を比較した。
解析の結果,n-gram法は高いF1スコアが得られることがわかった。
MMLUとHellaSwagのクリーンバージョンを作成し、複数のLLMを再評価する。
論文 参考訳（メタデータ） (2025-05-30T06:37:39Z) - Benchmarking Counterfactual Interpretability in Deep Learning Models for Time Series Classification [6.683066713491661]
Counterfactual (CF) メソッドは、モデル予測を変更するインスタンスの最小限の変更を識別するために使用される。
大規模な研究にもかかわらず、時系列領域におけるCFメソッドの既存のベンチマークは存在しない。
本研究では,CFの望ましい特性を正確に把握するために,定量的なメトリクスを再設計する。
論文 参考訳（メタデータ） (2024-08-22T18:17:26Z) - DeCoOp: Robust Prompt Tuning with Out-of-Distribution Detection [52.100335904875614]
そこで我々は,新しいクラス検出器とサブクラス化器を導入し,基本クラスと新クラスの識別性をさらに向上させる,新しいプロンプトチューニング手法であるDecomposed Context Optimization(DeCoOp)を提案する。
11のベンチマークデータセットによる実験結果から、DePTの有効性が検証され、DeCoOpが現在の最先端手法よりも優れており、平均精度が2%向上していることが示された。
論文 参考訳（メタデータ） (2024-06-01T07:46:42Z) - AMU-Tuning: Effective Logit Bias for CLIP-based Few-shot Learning [50.78033979438031]
まず、ログバイアスの観点から、CLIPに基づく数ショット学習手法を統一的な定式化して分析する。
本稿では,鍵成分の分析に基づいて,CLIPに基づく複数ショット分類のための効果的なロジットバイアスを学習するための新しいAMU-Tuning法を提案する。
論文 参考訳（メタデータ） (2024-04-13T10:46:11Z) - Transductive Zero-Shot and Few-Shot CLIP [24.592841797020203]
本稿では,トランスダクティブなゼロショットと少数ショットのCLIP分類問題に対処する。
推論は、各インスタンスを独立して扱うのではなく、ラベルのないクエリサンプルのミニバッチで共同で実行される。
提案手法は,CLIPのゼロショット性能に対して,画像ネットの精度を約20%向上させる。
論文 参考訳（メタデータ） (2024-04-08T12:44:31Z) - Rethinking Few-shot 3D Point Cloud Semantic Segmentation [62.80639841429669]
本稿では,FS-PCSによる3Dポイント・クラウドセマンティックセマンティックセグメンテーションについて再検討する。
我々は、最先端の2つの重要な問題、前景の漏洩とスパースポイントの分布に焦点をあてる。
これらの問題に対処するために、新しいベンチマークを構築するための標準化されたFS-PCS設定を導入する。
論文 参考訳（メタデータ） (2024-03-01T15:14:47Z) - A Hard-to-Beat Baseline for Training-free CLIP-based Adaptation [121.0693322732454]
対照的に、CLIP(Contrastive Language- Image Pretraining)はその目覚ましいゼロショット能力で人気を集めている。
近年の研究では、下流タスクにおけるCLIPの性能を高めるための効率的な微調整手法の開発に焦点が当てられている。
従来のアルゴリズムであるガウス判別分析(GDA)を再検討し,CLIPの下流分類に適用する。
論文 参考訳（メタデータ） (2024-02-06T15:45:27Z) - Accounting for multiplicity in machine learning benchmark performance [0.0]
State-of-the-art(SOTA)パフォーマンスは、テストサンプル上であるモデルによって達成される最高のパフォーマンスを指す。
我々は代わりに、最高の分類器の期待性能によってSOTAを推定するべきであると論じる。
論文 参考訳（メタデータ） (2023-03-10T10:32:18Z) - Bias Mimicking: A Simple Sampling Approach for Bias Mitigation [57.17709477668213]
本稿では,新しいクラス条件サンプリング手法であるBias Mimickingを紹介する。
Bias Mimickingは、4つのベンチマークで3%の精度でサンプリングの精度を向上する。
論文 参考訳（メタデータ） (2022-09-30T17:33:00Z) - Learning to Select Base Classes for Few-shot Classification [96.92372639495551]
我々は、数ショットモデルの一般化性能を示す指標として、類似度比を用いる。
次に、類似度比に対する部分モジュラー最適化問題として基底クラス選択問題を定式化する。
論文 参考訳（メタデータ） (2020-04-01T09:55:18Z) - Frustratingly Simple Few-Shot Object Detection [98.42824677627581]
希少なクラスにおける既存検出器の最後の層のみを微調整することは、数発の物体検出タスクに不可欠である。
このような単純なアプローチは、現在のベンチマークで約220ポイントのメタ学習方法より優れている。
論文 参考訳（メタデータ） (2020-03-16T00:29:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。