論文の概要: Underrepresented in Foundation Model Pretraining Data? A One-Shot Probe

• arxiv url: http://arxiv.org/abs/2603.04346v1
• Date: Wed, 04 Mar 2026 18:07:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-05 21:29:15.443984
• Title: Underrepresented in Foundation Model Pretraining Data? A One-Shot Probe
• Title（参考訳）: 基礎モデル事前学習における表現不足 : ワンショットプローブ
• Authors: Chris Vorster, Mayug Maniparambil, Noel E. O'Connor, Noel Murphy, Derek Molloy,
• Abstract要約: 本稿では,クラスごとのラベル付き画像のみを用いて,目標領域におけるビジョン・ランゲージ・ファンデーション・モデルのゼロショット精度を予測する手法を提案する。 我々は,標準ベンチマークデータセットやアフリカからの不足したデータセットを含む5つの多様なデータセットに対して,本手法の性能を実証した。
• 参考スコア（独自算出の注目度）: 8.707753549613766
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large-scale Vision-Language Foundation Models (VLFMs), such as CLIP, now underpin a wide range of computer vision research and applications. VLFMs are often adapted to various domain-specific tasks. However, VLFM performance on novel, specialised, or underrepresented domains remains inconsistent. Evaluating VLFMs typically requires labelled test sets, which are often unavailable for niche domains of interest, particularly those from the Global South. We address this gap by proposing a highly data-efficient method to predict a VLFM's zero-shot accuracy on a target domain using only a single labelled image per class. Our approach uses a Large Language Model to generate plausible counterfactual descriptions of a given image. By measuring the VLFM's ability to distinguish the correct description from these hard negatives, we engineer features that capture the VLFM's discriminative power in its shared embedding space. A linear regressor trained on these similarity scores estimates the VLFM's zero-shot test accuracy across various visual domains with a Pearson-r correlation of 0.96. We demonstrate our method's performance across five diverse datasets, including standard benchmark datasets and underrepresented datasets from Africa. Our work provides a low-cost, reliable tool for probing VLFMs, enabling researchers and practitioners to make informed decisions about data annotation efforts before committing significant resources. The model training code, generated captions and counterfactuals are released here: https://github.com/chris-vorster/PreLabellingProbe.
• Abstract（参考訳）: CLIPのような大規模ビジョンランゲージ財団モデル(VLFM)は、今や幅広いコンピュータビジョンの研究と応用の基盤となっている。 VLFMは様々なドメイン固有のタスクに適応することが多い。 しかし、新規、特化、または表現不足の領域でのVLFMのパフォーマンスは相容れないままである。 VLFMの評価には一般にラベル付きテストセットが必要であるが、特にグローバル・サウスのニッチ・ドメインでは利用できないことが多い。 本稿では,VLFMのゼロショット精度を,クラス毎に1つのラベル付き画像のみを用いて予測する高効率な手法を提案する。 提案手法は大規模言語モデルを用いて,ある画像の妥当な反実的記述を生成する。 VLFMの正確な記述とこれらのハードネガティブとを区別する能力を測定することで、VLFMの識別パワーを共有埋め込み空間で捉える機能を設計する。 これらの類似度スコアに基づいて訓練された線形回帰器は、パーソン-r相関が0.96である様々な視覚領域にわたるVLFMのゼロショットテスト精度を推定する。 我々は,標準ベンチマークデータセットやアフリカからの不足したデータセットを含む5つの多様なデータセットに対して,本手法の性能を実証した。 我々の研究は、VLFMを探索するための低コストで信頼性の高いツールを提供し、研究者や実践者が重要なリソースをコミットする前に、データアノテーションの取り組みに関する情報的な決定を行えるようにします。 モデルトレーニングコード、生成されたキャプション、および反ファクトは以下にリリースされている。

関連論文リスト

• LandSegmenter: Towards a Flexible Foundation Model for Land Use and Land Cover Mapping [13.59442852640533]
  土地利用と土地被覆(LULC)マッピングは、地球観測の基本的な課題である。 ファンデーションモデル(FM)の最近の進歩は、ユニバーサルモデルを構築するための有望な機会を提供する。 本研究では,LandSegmenterを提案する。LULC FMフレームワークは,入力,モデル,出力レベルにおける3段階の課題を解決する。
  論文  参考訳（メタデータ） (2025-11-11T12:08:26Z)
• Adapting Vision-Language Models Without Labels: A Comprehensive Survey [74.17944178027015]
  VLM(Vision-Language Models)は、幅広いタスクにまたがる顕著な一般化機能を示す。 近年,ラベル付きデータに依存しない教師なし適応手法に注目が集まっている。 本稿では,未ラベルの視覚データの可用性と性質に基づく分類法を提案し,既存のアプローチを4つの重要なパラダイムに分類する。
  論文  参考訳（メタデータ） (2025-08-07T16:27:37Z)
• Prompt Tuning Vision Language Models with Margin Regularizer for Few-Shot Learning under Distribution Shifts [13.21626568246313]
  視覚言語基礎モデルが、分布やクラスが全く異なるデータセットに適応できるかどうかを解析する。 本稿では,少数のサンプルに対して,このような大規模VLMを直接適用するための新しいプロンプトチューニング手法であるPromptMarginを提案する。 PromptMarginは、このタスクのテキストと視覚的なプロンプトを効果的に調整し、2つのメインモジュールを持っている。
  論文  参考訳（メタデータ） (2025-05-21T13:26:56Z)
• Benchmarking Feature Upsampling Methods for Vision Foundation Models using Interactive Segmentation [24.531539125814877]
  Vision Foundation Models (VFM) は、様々なコンピュータビジョンタスクの汎用バックボーンとして機能する大規模で事前訓練されたモデルである。 この制限に対処する1つの方法は、VFM機能の解像度を洗練させるタスクに依存しない機能アップサンプリングモジュールを使用することである。 ベンチマーク実験により,適切なアップサンプリング戦略を選択することで,VFMの特徴的品質が著しく向上することが示された。
  論文  参考訳（メタデータ） (2025-05-04T11:59:26Z)
• SPARC: Score Prompting and Adaptive Fusion for Zero-Shot Multi-Label Recognition in Vision-Language Models [74.40683913645731]
  Zero-shot Multi-label Recognition (MLR) with Vision-Language Models (VLMs) は、トレーニングデータ、モデルチューニング、アーキテクチャの変更なしに重要な課題に直面している。 我々の研究は、VLMをブラックボックスとして扱い、トレーニングデータや地上の真実を使わずにスコアを活用する新しいソリューションを提案する。 これらのプロンプトスコアの分析により、VLMバイアスとAND'/OR信号の曖昧さが明らかになり、特に、最高スコアは2番目に高いスコアに比べて驚くほど低い。
  論文  参考訳（メタデータ） (2025-02-24T07:15:05Z)
• Unbiased Region-Language Alignment for Open-Vocabulary Dense Prediction [80.67150791183126]
  事前訓練された視覚言語モデル(VLM)は、印象的なゼロショット認識能力を示したが、それでも高密度予測タスクでは性能が劣っている。 提案するDenseVLMは,非バイアスの領域言語アライメントを,強力な事前学習型VLM表現から学習するためのフレームワークである。 DenseVLMは、オープン語彙オブジェクト検出および画像分割法において、元のVLMを直接置き換えることができることを示す。
  論文  参考訳（メタデータ） (2024-12-09T06:34:23Z)
• Membership Inference Attacks against Large Vision-Language Models [40.996912464828696]
  大規模視覚言語モデル(VLLM)は、様々なアプリケーションシナリオにわたるマルチモーダルタスクを処理するための有望な能力を示す。 彼らの出現は、プライベート写真や医療記録などの機密情報を含む可能性があることを考えると、重要なデータセキュリティ上の懸念も引き起こす。 VLLMで不適切な使用データを検出することは、致命的かつ未解決な問題である。
  論文  参考訳（メタデータ） (2024-11-05T08:35:08Z)
• VL4AD: Vision-Language Models Improve Pixel-wise Anomaly Detection [5.66050466694651]
  本稿では,既存の異常検知器にVLエンコーダを組み込み,セマンティック・ワイドなVL事前学習を有効活用し,外乱認識を改善することを提案する。 また,テキスト・プロンプトによるデータ・トレーニング不要の外部監視を可能にする新たなスコアリング機能を提案する。 得られたVL4ADモデルは、広く使用されているベンチマークデータセット上での競合性能を達成する。
  論文  参考訳（メタデータ） (2024-09-25T20:12:10Z)
• Revisiting Few-Shot Object Detection with Vision-Language Models [49.79495118650838]
  我々は、最近の基礎視覚言語モデル(VLM)の文脈で、少数ショットオブジェクト検出(FSOD)のタスクを再考する。 我々は,任意の外部データ上で事前学習された検出器を評価する新しいベンチマークプロトコルであるFoundational FSODを提案する。 CVPR 2024 Foundational FSOD コンペティションについて論じ,コミュニティからの洞察を共有した。
  論文  参考訳（メタデータ） (2023-12-22T07:42:00Z)
• Localized Symbolic Knowledge Distillation for Visual Commonsense Models [150.18129140140238]
  ローカル化されたVisual Commonsenseモデルを構築し、ユーザが入力として(複数の)リージョンを指定できるようにします。 大規模言語モデルから局所的なコモンセンス知識を抽出してモデルを訓練する。 局所化コモンセンスコーパスのトレーニングにより,既存の視覚言語モデルを抽出し,リファレンス・アズ・インプット・インタフェースをサポートできることが判明した。
  論文  参考訳（メタデータ） (2023-12-08T05:23:50Z)
• ProbVLM: Probabilistic Adapter for Frozen Vision-Language Models [69.50316788263433]
  本稿では,事前学習された視覚言語モデルの埋め込みに対する確率分布を推定する確率的アダプタProbVLMを提案する。 本稿では,検索タスクにおける不確実性埋め込みのキャリブレーションを定量化し,ProbVLMが他の手法よりも優れていることを示す。 本稿では,大規模な事前学習型潜伏拡散モデルを用いて,埋め込み分布を可視化する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-07-01T18:16:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。