論文の概要: A Sober Look at the Robustness of CLIPs to Spurious Features

• arxiv url: http://arxiv.org/abs/2403.11497v2
• Date: Sat, 02 Nov 2024 04:58:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:45:04.785815
• Title: A Sober Look at the Robustness of CLIPs to Spurious Features
• Title（参考訳）: さわやかな特徴に対するCLIPのロバストさ
• Authors: Qizhou Wang, Yong Lin, Yongqiang Chen, Ludwig Schmidt, Bo Han, Tong Zhang,
• Abstract要約: 私たちはCLIPモデルが現実的なスプリアス機能に依存していることを明らかにするために、CounterAnimalという新しいデータセットを作成しました。 評価の結果、CounterAnimalが取得したスプリアス特性は、異なるバックボーンとプレトレインデータを持つCLIPモデルによって総称的に学習されるが、ImageNetモデルへの影響は限定的であることが示された。
• 参考スコア（独自算出の注目度）: 45.87070442259975
• License:
• Abstract: Large vision language models, such as CLIP, demonstrate impressive robustness to spurious features than single-modal models trained on ImageNet. However, existing test datasets are typically curated based on ImageNet-trained models, which aim to capture the spurious features inherited in ImageNet. Benchmarking CLIP models based on the ImageNet-oriented spurious features may not be sufficient to reflect the extent to which CLIP models are robust to spurious correlations within CLIP training data, e.g., LAION. To this end, we craft a new challenging dataset named CounterAnimal designed to reveal the reliance of CLIP models on realistic spurious features. Specifically, we split animal photos into groups according to the backgrounds, and then identify a pair of groups for each class where a CLIP model shows high-performance drops across the two groups. Our evaluations show that the spurious features captured by CounterAnimal are generically learned by CLIP models with different backbones and pre-train data, yet have limited influence for ImageNet models. We provide theoretical insights that the CLIP objective cannot offer additional robustness. Furthermore, we also re-evaluate strategies such as scaling up parameters and high-quality pre-trained data. We find that they still help mitigate the spurious features, providing a promising path for future developments.
• Abstract（参考訳）: CLIPのような大規模な視覚言語モデルは、ImageNetでトレーニングされたシングルモーダルモデルよりも、刺激的な機能に対して印象的な堅牢性を示している。 しかし、既存のテストデータセットは通常、ImageNetで継承された突発的な機能をキャプチャすることを目的として、ImageNetトレーニングされたモデルに基づいてキュレートされる。 ImageNet指向のスプリアス機能に基づいたベンチマークCLIPモデルは、CLIPトレーニングデータ、例えばLAION内でのスプリアス相関に頑健なCLIPモデルを反映するのに十分ではないかもしれない。 この目的のために、我々はCLIPモデルの現実的なスプリアス機能への依存を明らかにするために、CounterAnimalという新しい挑戦的なデータセットを構築しました。 具体的には、動物写真を背景に応じてグループに分割し、CLIPモデルが2つのグループにまたがる高性能なドロップを示すクラス毎に一対のグループを識別する。 評価の結果、CounterAnimalが取得したスプリアス特性は、異なるバックボーンとプレトレインデータを持つCLIPモデルによって総称的に学習されるが、ImageNetモデルへの影響は限定的であることが示された。 私たちはCLIPの目的がさらなる堅牢性を提供できないという理論的洞察を提供する。 さらに、パラメータのスケールアップや高品質な事前学習データといった戦略の再評価も行います。 今後の開発に有望な道筋を提供しながら、これらの機能を緩和する上で、依然として有効であることに気付きました。

関連論文リスト

• Identity Inference from CLIP Models using Only Textual Data [12.497110441765274]
  CLIPモデルにおけるID推論の既存の方法は、完全なPIIでモデルをクエリする必要がある。 従来のメンバーシップ推論攻撃(MIA)は、ターゲットモデルの振る舞いを模倣するためにシャドーモデルを訓練する。 テキストデータのみを用いてターゲットモデルに問い合わせる新しいID推論法である,CLIP モデルにおけるテキスト・ユニモーダル・ディテクター (TUNI) を提案する。
  論文  参考訳（メタデータ） (2024-05-23T12:54:25Z)
• Language Plays a Pivotal Role in the Object-Attribute Compositional Generalization of CLIP [3.5999252362400993]
  本研究では,視覚言語モデルが,属性オブジェクト対の新たな構成で画像の分類を成功させるかどうかを考察する。 その結果,OpenAI CLIP, LAION-400M, LAION-2Bなどの大規模データセットを用いてトレーニングしたCLIPは, 有効合成OoDの一般化において, オーダー・オブ・マグニチュードの改善を示すことがわかった。 本研究は,学習データと言語指導の規模と多様性が,視覚言語モデルの構成一般化能力の解放に重要な役割を果たしていることを示すものである。
  論文  参考訳（メタデータ） (2024-03-27T12:59:44Z)
• CLIP meets Model Zoo Experts: Pseudo-Supervision for Visual Enhancement [65.47237619200442]
  Contrastive Language Image Pretraining (CLIP)は、視覚言語モデルを訓練するための標準手法である。 モデル動物園からのタスク固有の視覚モデルを用いてCLIPトレーニングを強化し、視覚的表現を改善する。 この単純なセットアップは、異なるビジョンタスク間で最大16.3%の大幅な改善を示している。
  論文  参考訳（メタデータ） (2023-10-21T20:20:13Z)
• Demystifying CLIP Data [86.34045746910114]
  Contrastive Language-Image Pre-Training (CLIP) はコンピュータビジョンの先進的な研究と応用を行っている。 メタデータ変換言語画像事前学習(MetaCLIP)について紹介する。 MetaCLIPは生のデータプールとメタデータ(CLIPの概念から派生したもの)を取り、メタデータの分布に対してバランスの取れたサブセットを生成する。
  論文  参考訳（メタデータ） (2023-09-28T17:59:56Z)
• Distilling Knowledge from Text-to-Image Generative Models Improves Visio-Linguistic Reasoning in CLIP [57.53087077735303]
  本稿では,CLIPの構成的視覚言語推論を強化する軽量で効率的な蒸留法であるSDS-CLIPを紹介する。 提案手法は,Stable-Diffusionのような大規模テキスト・画像生成モデルから抽出した蒸留目標を用いた微細構造CLIPである。 挑戦的なWinogroundベンチマークでは、SDS-CLIPは様々なCLIPモデルの視覚言語性能を7%向上させ、AROデータセットでは、パフォーマンスを最大3%向上させた。
  論文  参考訳（メタデータ） (2023-07-18T13:10:11Z)
• Face Recognition in the age of CLIP & Billion image datasets [0.0]
  種々のCLIPモデルの性能をゼロショット顔認識器として評価する。 また,データ中毒に対するCLIPモデルの堅牢性についても検討した。
  論文  参考訳（メタデータ） (2023-01-18T05:34:57Z)
• Learning Customized Visual Models with Retrieval-Augmented Knowledge [104.05456849611895]
  我々は、ターゲットドメイン用にカスタマイズされたビジュアルモデルを構築するための、関連するWeb知識を取得するためのフレームワークであるREACTを提案する。 我々は、Webスケールデータベースから最も関連性の高い画像テキストペアを外部知識として検索し、元の重みをすべて凍結しながら、新しいモジュール化されたブロックをトレーニングするだけで、モデルをカスタマイズすることを提案する。 REACTの有効性は、ゼロ、少数、フルショット設定を含む分類、検索、検出、セグメンテーションタスクに関する広範な実験を通じて実証される。
  論文  参考訳（メタデータ） (2023-01-17T18:59:06Z)
• Non-Contrastive Learning Meets Language-Image Pre-Training [145.6671909437841]
  非コントラスト型言語画像事前学習(nCLIP)の有効性について検討する。 我々は、CLIPとnCLIPを組み合わせたマルチタスクフレームワークであるxCLIPを紹介し、nCLIPが機能セマンティクスの強化にCLIPを支援することを示す。
  論文  参考訳（メタデータ） (2022-10-17T17:57:46Z)
• Personalizing Pre-trained Models [23.145974171912414]
  上流の事前訓練されたモデルが、下流のいくつかのショット、複数ラベル、連続的な学習タスクにどのように活用できるかを検討する。 私たちのモデルであるCLIPPER(CLIP PERsonalized)では,弱い自然言語による画像表現学習モデルであるCLIPのイメージ表現を使用している。
  論文  参考訳（メタデータ） (2021-06-02T22:58:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。