論文の概要: Robust Few-Shot Vision-Language Model Adaptation

• arxiv url: http://arxiv.org/abs/2506.04713v1
• Date: Thu, 05 Jun 2025 07:37:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-06 21:53:49.587858
• Title: Robust Few-Shot Vision-Language Model Adaptation
• Title（参考訳）: ロバスト・ショット・ビジョン・ランゲージ・モデル適応
• Authors: Hanxin Wang, Tian Liu, Shu Kong,
• Abstract要約: 我々は,IDとOODの精度の向上を目的とした,頑健な数発のVLM適応について検討した。 このジレンマにはSRAPF(Stage-wise Retrieval Augmentation-based Adrial partial Finetuning)を応用した。 SRAPF は,(1) ID と検索データの両方を用いて視覚エンコーダを部分的に微調整する。
• 参考スコア（独自算出の注目度）: 8.828443368038911
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pretrained VLMs achieve strong performance on downstream tasks when adapted with just a few labeled examples. As the adapted models inevitably encounter out-of-distribution (OOD) test data that deviates from the in-distribution (ID) task-specific training data, enhancing OOD generalization in few-shot adaptation is critically important. We study robust few-shot VLM adaptation, aiming to increase both ID and OOD accuracy. By comparing different adaptation methods (e.g., prompt tuning, linear probing, contrastive finetuning, and full finetuning), we uncover three key findings: (1) finetuning with proper hyperparameters significantly outperforms the popular VLM adaptation methods prompt tuning and linear probing; (2) visual encoder-only finetuning achieves better efficiency and accuracy than contrastively finetuning both visual and textual encoders; (3) finetuning the top layers of the visual encoder provides the best balance between ID and OOD accuracy. Building on these findings, we propose partial finetuning of the visual encoder empowered with two simple augmentation techniques: (1) retrieval augmentation which retrieves task-relevant data from the VLM's pretraining dataset to enhance adaptation, and (2) adversarial perturbation which promotes robustness during finetuning. Results show that the former/latter boosts OOD/ID accuracy while slightly sacrificing the ID/OOD accuracy. Yet, perhaps understandably, naively combining the two does not maintain their best OOD/ID accuracy. We address this dilemma with the developed SRAPF, Stage-wise Retrieval Augmentation-based Adversarial Partial Finetuning. SRAPF consists of two stages: (1) partial finetuning the visual encoder using both ID and retrieved data, and (2) adversarial partial finetuning with few-shot ID data. Extensive experiments demonstrate that SRAPF achieves the state-of-the-art ID and OOD accuracy on the ImageNet OOD benchmarks.
• Abstract（参考訳）: 事前訓練されたVLMは、少数のラベル付き例で適応した場合、下流タスクで強力なパフォーマンスを達成する。 適応型モデルでは, タスク固有のトレーニングデータから逸脱するアウト・オブ・ディストリビューション(OOD)テストデータに必然的に遭遇するため, 少数発適応におけるOOD一般化の強化が重要である。 我々は,IDとOODの精度の向上を目的とした,頑健な数発のVLM適応について検討した。 異なる適応法(例えば、プロンプト・チューニング、リニア・プロービング、コントラスト・ファインタニング、フルファインタニング)を比較することで、(1)適切なハイパーパラメータによるファインタニングは、プロンプト・リニア・プローブリングにおいて一般的なVLM適応法よりも優れており、(2)視覚エンコーダのみのファインタニングは、視覚的エンコーダとテキスト・エンコーダの両方を対照的に微調整するよりも、効率と精度が良く、(3)視覚エンコーダの上位層をファインタニングすることは、IDとOODの精度の最良のバランスを提供する。 これらの知見に基づいて,(1)VLMの事前学習データセットからタスク関連データを検索して適応性を高める検索強化,(2)微調整時の堅牢性を促進する対向的摂動の2つの簡単な拡張手法により,視覚エンコーダの部分的な微調整を提案する。 その結果,OOD/IDの精度は向上するが,ID/OODの精度はわずかに低下することがわかった。 しかし、当然のことながら、この2つの組み合わせは最高のOOD/ID精度を維持していない。 このジレンマにはSRAPF(Stage-wise Retrieval Augmentation-based Adversarial partial Finetuning)を応用した。 SRAPF は,(1) ID と検索データの両方を用いて視覚エンコーダを部分的に微調整する。 大規模な実験により、SRAPFはImageNet OODベンチマークで最先端のIDとOODの精度を達成することが示された。

関連論文リスト

• Self-Calibrated Tuning of Vision-Language Models for Out-of-Distribution Detection [24.557227100200215]
  オープンソースアプリケーションに信頼性の高い機械学習モデルをデプロイするには、アウト・オブ・ディストリビューション(OOD)検出が不可欠である。 近年のCLIPによるOOD検出の進歩は,IDデータから抽出したOOD特徴に即時調整を施すことによって有望な結果を示した。 提案手法は,SCT(Self-Calibrated Tuning)と呼ばれる新しいフレームワークで,与えられた数ショットのIDデータのみを用いて効果的なOOD検出を行う。
  論文  参考訳（メタデータ） (2024-11-05T02:29:16Z)
• VeCAF: Vision-language Collaborative Active Finetuning with Training Objective Awareness [56.87603097348203]
  VeCAFはラベルと自然言語アノテーションを使用して、PVMの微調整のためのパラメトリックデータ選択を行う。 VeCAFは微調整の目的を取り入れて重要なデータポイントを選択し、PVMをより高速な収束に向けて効果的に導く。 ImageNetでは、VeCAFは最大3.3倍のトレーニングバッチを使用して、完全な微調整に比べて目標のパフォーマンスに到達する。
  論文  参考訳（メタデータ） (2024-01-15T17:28:37Z)
• Towards Calibrated Robust Fine-Tuning of Vision-Language Models [97.19901765814431]
  本研究は、視覚言語モデルにおいて、OOD精度と信頼性校正の両方を同時に改善する頑健な微調整法を提案する。 OOD分類とOOD校正誤差は2つのIDデータからなる共有上限を持つことを示す。 この知見に基づいて,最小の特異値を持つ制約付きマルチモーダルコントラスト損失を用いて微調整を行う新しいフレームワークを設計する。
  論文  参考訳（メタデータ） (2023-11-03T05:41:25Z)
• AUTO: Adaptive Outlier Optimization for Test-Time OOD Detection [79.51071170042972]
  Out-of-Distribution (OOD) 検出は、任意のトレーニングインディストリビューション(ID)クラスに該当しないテストサンプルを検出することを目的としている。 データ安全性とプライバシにより、さまざまなシナリオに対して、事前にタスク固有の外れ値の収集が不可能になる。 テスト中にラベルのないデータストリームから実際のOODデータを利用することができる。
  論文  参考訳（メタデータ） (2023-03-22T02:28:54Z)
• Calibrated ensembles can mitigate accuracy tradeoffs under distribution shift [108.30303219703845]
  ID校正アンサンブルは,IDとOODの精度で,先行技術(自己学習に基づく)より優れていた。 我々は,この手法をスタイリングされた環境で解析し,IDとOODの両方をうまく処理するためのアンサンブルの2つの重要な条件を同定する。
  論文  参考訳（メタデータ） (2022-07-18T23:14:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。