論文の概要: LE-GDA: Layer Ensemble Gaussian Discriminant Analysis for Training-Free Few-Shot CLIP Adaptation

• arxiv url: http://arxiv.org/abs/2610.34901v1
• Date: Mon, 26 Oct 2026 06:21:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.772291
• Title: LE-GDA: Layer Ensemble Gaussian Discriminant Analysis for Training-Free Few-Shot CLIP Adaptation
• Title（参考訳）: LE-GDA:Few-Shot CLIP適応のための層エンサンブルガウス判別分析
• Abstract要約: 視覚言語モデルのトレーニングなしの少数ショット適応は、通常、CLIPの最終投影画像表現から分類器を構成する。 凍結エンコーダパスから抽出した中間表現と最終表現に独立して正規化共有共分散判別を適合させる手法を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training-free few-shot adaptation of vision-language models typically constructs a classifier from CLIP's final projected image representation, leaving intermediate representations unused. Combining them is not straightforward. Class scores from different representations differ in spread by orders of magnitude for the same query. Direct averaging allocates influence by numerical scale rather than predictive information. We propose Layer-Ensemble Gaussian Discriminant Analysis (LE-GDA), a method that fits regularized shared-covariance discriminants independently to intermediate and final representations extracted in one frozen encoder pass. LE-GDA standardizes each discriminant's class scores per query, selects a small representation multiset on labeled validation data, and combines it with the zero-shot classifier without gradient-based optimization. Across 11 datasets, four CLIP backbones, five shot counts, and three independently sampled K-shot training sets, LE-GDA achieves the highest mean accuracy of all evaluated methods on every backbone, raising the 16-shot mean from 78.01% to 79.54% over a matched GDA-CLIP (final-feature) baseline and improving that baseline for every backbone-shot combination. At one shot, LE-GDA retains a 1.20-point mean gain over the baseline even though covariance estimation is unavailable and per-query standardization is neutral. A control with richer per-class structure inside a single representation does not reproduce the gain, indicating that the benefit comes from combining representations. These results show that intermediate CLIP representations carry information beyond the final embedding and can improve training-free few-shot adaptation. Code and evaluation resources are available at https://github.com/pavodi-NM/le-gda.
• Abstract（参考訳）: 視覚言語モデルのトレーニングなしの少数ショット適応は、通常、CLIPの最終投影画像表現から分類器を構築し、中間表現は未使用のままである。 それらを組み合わせるのは簡単ではありません。 異なる表現からのクラススコアは、同じクエリに対して桁違いに広がる。 直接平均化は、予測情報よりも数値スケールによる影響を割り当てる。 1つの凍結エンコーダパスで抽出された中間表現と最終表現と独立に正規化共有共分散判別を適合させる手法であるレイヤ・アンサンブル・ガウシアン判別解析(LE-GDA)を提案する。 LE-GDAは、クエリ毎に各識別者のクラススコアを標準化し、ラベル付きバリデーションデータ上に小さな表現多重セットを選択し、勾配ベースの最適化なしでゼロショット分類器と組み合わせる。 11のデータセット、4つのCLIPバックボーン、5つのショットカウント、3つの独立したKショットトレーニングセットにおいて、LE-GDAはすべてのバックボーンで評価されたすべてのメソッドの最高平均精度を達成し、16ショットの平均は78.01%から79.54%まで上昇し、マッチしたGDA-CLIP(ファイナルフェール)ベースラインを上回り、バックボーンとショットの組み合わせごとにベースラインを改善している。 LE-GDAは、共分散推定が不可能であり、クエリごとの標準化が中立であるにもかかわらず、ベースラインよりも1.20ポイントの平均ゲインを保持する。 単一の表現内でよりリッチなクラス単位の構造を持つ制御はゲインを再現しない。 これらの結果から,中間的なCLIP表現は最終埋め込み以上の情報を伝達し,トレーニング不要な少数ショット適応を改善することが示唆された。 コードと評価リソースはhttps://github.com/pavodi-NM/le-gda.comで入手できる。

関連論文リスト

• CLIVO: Differentiable Cluster-Based Instruction Mixing with Learned Validation Objectives [7.090323109343014]
  CLIVOは、微粒なセマンティックアロケーション、自動学習されたバリデーション目標、および差別化可能なミックスサーチを接続するターゲット対応フレームワークである。 全データの4桁平均スコアの97.2%を達成し、データの1.25%しか達成していない。 分析により、より詳細なユニットは、ほとんどのターゲットに利益をもたらし、短い訓練を受けた専門家は、混合応答を保ち、サンプル重み付けは有用な検証情報を保持し、直接探索は、学習対象を一貫して減少させることが示された。
  論文  参考訳（メタデータ） (2026-10-12T14:38:24Z)
• Global Average Precision for Representation Learning [25.24226292234013]
  gSAPはGlobal Average Precision (gAP)の代替品である 最大4倍の正のペアを同じ精度で取得する。 gSAPでトレーニングされたモデルは、より高い転送、$k$NN、ゼロショット分類の精度で、より良い表現を学習する。
  論文  参考訳（メタデータ） (2026-10-07T11:22:05Z)
• Soft Equivariance Regularization for Invariant Self-Supervised Learning [23.047550451521662]
  自己教師付き学習(SSL)は通常、意味保存強化に不変な表現を学習する。 本研究では,不等分散と等分散を両立させるプラグイン正規化器であるソフト等分散正規化(SER)を提案する。 SERはサンプルごとの変換コードやラベルを学習/予測し、補助的な変換予測ヘッドを必要としない。
  論文  参考訳（メタデータ） (2026-03-04T13:36:17Z)
• Transductive Zero-Shot and Few-Shot CLIP [24.592841797020203]
  本稿では,トランスダクティブなゼロショットと少数ショットのCLIP分類問題に対処する。 推論は、各インスタンスを独立して扱うのではなく、ラベルのないクエリサンプルのミニバッチで共同で実行される。 提案手法は,CLIPのゼロショット性能に対して,画像ネットの精度を約20%向上させる。
  論文  参考訳（メタデータ） (2024-04-08T12:44:31Z)
• A Hard-to-Beat Baseline for Training-free CLIP-based Adaptation [121.0693322732454]
  対照的に、CLIP(Contrastive Language- Image Pretraining)はその目覚ましいゼロショット能力で人気を集めている。 近年の研究では、下流タスクにおけるCLIPの性能を高めるための効率的な微調整手法の開発に焦点が当てられている。 従来のアルゴリズムであるガウス判別分析(GDA)を再検討し,CLIPの下流分類に適用する。
  論文  参考訳（メタデータ） (2024-02-06T15:45:27Z)
• Towards Realistic Zero-Shot Classification via Self Structural Semantic Alignment [53.2701026843921]
  大規模事前訓練型視覚言語モデル(VLM)はゼロショット分類に有効であることが証明されている。 本稿では,アノテーションではなく,より広い語彙を前提とした,より難易度の高いゼロショット分類(Realistic Zero-Shot Classification)を提案する。 本稿では,ラベルのないデータから構造意味情報を抽出し,同時に自己学習を行う自己構造意味アライメント(S3A)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-24T17:56:46Z)
• Prediction Calibration for Generalized Few-shot Semantic Segmentation [101.69940565204816]
  汎用Few-shot Semantic (GFSS) は、各画像ピクセルを、豊富なトレーニング例を持つベースクラスか、クラスごとにわずかに(例: 1-5)のトレーニングイメージを持つ新しいクラスのいずれかに分割することを目的としている。 我々は、融合したマルチレベル機能を用いて、分類器の最終予測をガイドするクロスアテンションモジュールを構築する。 私たちのPCNは、最先端の代替品よりも大きなマージンで優れています。
  論文  参考訳（メタデータ） (2022-10-15T13:30:12Z)
• No Fear of Heterogeneity: Classifier Calibration for Federated Learning with Non-IID Data [78.69828864672978]
  実世界のフェデレーションシステムにおける分類モデルのトレーニングにおける中心的な課題は、非IIDデータによる学習である。 このアルゴリズムは, 近似されたssian混合モデルからサンプリングした仮想表現を用いて分類器を調整する。 実験の結果,CIFAR-10,CIFAR-100,CINIC-10など,一般的なフェデレーション学習ベンチマークにおけるCCVRの現状が示された。
  論文  参考訳（メタデータ） (2021-06-09T12:02:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。