論文の概要: Toward a Holistic Evaluation of Robustness in CLIP Models

• arxiv url: http://arxiv.org/abs/2410.01534v1
• Date: Wed, 2 Oct 2024 13:26:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-04 17:14:45.673509
• Title: Toward a Holistic Evaluation of Robustness in CLIP Models
• Title（参考訳）: CLIPモデルにおけるロバスト性の評価に向けて
• Authors: Weijie Tu, Weijian Deng, Tom Gedeon,
• Abstract要約: 対照的な言語-画像事前学習(CLIP)モデルは、ゼロショット分類において有意な可能性を示している。 この作業は、いくつかの新しい視点を導入することで、より包括的なCLIPの評価を提供することを目的としている。 それぞれの側面において、モデルアーキテクチャ、トレーニング配布、トレーニングセットサイズ、微調整、コントラスト損失、テストタイムプロンプトの6つの要因がCLIPモデルに与える影響を検討する。
• 参考スコア（独自算出の注目度）: 11.148206692373144
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Contrastive Language-Image Pre-training (CLIP) models have shown significant potential, particularly in zero-shot classification across diverse distribution shifts. Building on existing evaluations of overall classification robustness, this work aims to provide a more comprehensive assessment of CLIP by introducing several new perspectives. First, we investigate their robustness to variations in specific visual factors. Second, we assess two critical safety objectives--confidence uncertainty and out-of-distribution detection--beyond mere classification accuracy. Third, we evaluate the finesse with which CLIP models bridge the image and text modalities. Fourth, we extend our examination to 3D awareness in CLIP models, moving beyond traditional 2D image understanding. Finally, we explore the interaction between vision and language encoders within modern large multimodal models (LMMs) that utilize CLIP as the visual backbone, focusing on how this interaction impacts classification robustness. In each aspect, we consider the impact of six factors on CLIP models: model architecture, training distribution, training set size, fine-tuning, contrastive loss, and test-time prompts. Our study uncovers several previously unknown insights into CLIP. For instance, the architecture of the visual encoder in CLIP plays a significant role in their robustness against 3D corruption. CLIP models tend to exhibit a bias towards shape when making predictions. Moreover, this bias tends to diminish after fine-tuning on ImageNet. Vision-language models like LLaVA, leveraging the CLIP vision encoder, could exhibit benefits in classification performance for challenging categories over CLIP alone. Our findings are poised to offer valuable guidance for enhancing the robustness and reliability of CLIP models.
• Abstract（参考訳）: 対照的な言語-画像事前学習(CLIP)モデルは、特に分散シフトの異なるゼロショット分類において、大きな可能性を示している。 本研究は,全体分類のロバスト性に関する既存の評価に基づいて,いくつかの新たな視点を導入することで,CLIPのより包括的な評価を提供することを目的とする。 まず,視覚的要因の変動に対する頑健さについて検討する。 第2に,信頼性の不確かさとアウト・オブ・ディストリビューション検出という2つの重要な安全性目標を評価する。 第3に、CLIPモデルが画像とテキストのモダリティを橋渡しする精細さを評価する。 第4に,従来の2次元画像理解を超えて,CLIPモデルにおける3次元認識に拡張する。 最後に、CLIPを視覚バックボーンとして利用する現代の大規模マルチモーダルモデル(LMM)における視覚と言語エンコーダの相互作用について検討し、この相互作用が分類ロバスト性に与える影響について考察する。 それぞれの側面において、モデルアーキテクチャ、トレーニング配布、トレーニングセットサイズ、微調整、コントラスト損失、テストタイムプロンプトの6つの要因がCLIPモデルに与える影響を検討する。 本稿では,CLIPに関するこれまで不明な知見をいくつか明らかにする。 例えば、CLIPのビジュアルエンコーダのアーキテクチャは、3Dの破損に対する堅牢性において重要な役割を果たす。 CLIPモデルは、予測を行うときに形状に対するバイアスを示す傾向があります。 さらに、ImageNetを微調整すると、このバイアスは減少する傾向にある。 LLaVAのようなビジョン言語モデルは、CLIPビジョンエンコーダを活用しており、CLIPのみよりも挑戦的なカテゴリに対して、分類性能のメリットを示す可能性がある。 この結果から,CLIPモデルの堅牢性と信頼性を高めるための貴重なガイダンスが得られた。

関連論文リスト

• Interpreting and Analyzing CLIP's Zero-Shot Image Classification via Mutual Knowledge [20.09852220432504]
  Contrastive Language-Image Pretraining (CLIP)は画像とテキストのクラス表現を共有埋め込み空間にマッピングすることでゼロショット画像分類を行う。 この研究は、2つのモード間の相互知識のレンズから、画像分類のためのCLIPモデルを解釈するための新しいアプローチを提供する。
  論文  参考訳（メタデータ） (2024-10-16T20:18:21Z)
• Diffusion Feedback Helps CLIP See Better [40.125318318373715]
  対照的に、CLIP(Contrastive Language- Image Pre-Training)は、ドメインとモダリティをまたいだオープンワールド表現の抽象化に優れている。 CLIPには、方向、量、色、構造をほとんど区別できないような、深刻な視覚的欠点がある。 自己教師付き拡散プロセスによって視覚的欠点を克服するCLIPモデルに対する後学習手法を提案する。
  論文  参考訳（メタデータ） (2024-07-29T17:00:09Z)
• Dual-Image Enhanced CLIP for Zero-Shot Anomaly Detection [58.228940066769596]
  本稿では,統合視覚言語スコアリングシステムを活用したデュアルイメージ強化CLIP手法を提案する。 提案手法は,画像のペアを処理し,それぞれを視覚的参照として利用することにより,視覚的コンテキストによる推論プロセスを強化する。 提案手法は視覚言語による関節異常検出の可能性を大幅に活用し,従来のSOTA法と同等の性能を示す。
  論文  参考訳（メタデータ） (2024-05-08T03:13:20Z)
• A Closer Look at the Robustness of Contrastive Language-Image Pre-Training (CLIP) [12.5294671061385]
  本研究では,コントラスト言語画像事前学習(CLIP)モデルの安全性について検討した。 視覚因子の変動に対するレジリエンス、不確実性推定の校正、異常な入力を検出する能力の3つの重要な特性に焦点を当てている。 10の視覚的要因(形状やパターンなど)、5種類のアウト・オブ・ディストリビューション・データ、異なるシフト型を持つ8つの自然かつ困難なテスト条件について検討する。
  論文  参考訳（メタデータ） (2024-02-12T05:05:55Z)
• CLIP meets Model Zoo Experts: Pseudo-Supervision for Visual Enhancement [65.47237619200442]
  Contrastive Language Image Pretraining (CLIP)は、視覚言語モデルを訓練するための標準手法である。 モデル動物園からのタスク固有の視覚モデルを用いてCLIPトレーニングを強化し、視覚的表現を改善する。 この単純なセットアップは、異なるビジョンタスク間で最大16.3%の大幅な改善を示している。
  論文  参考訳（メタデータ） (2023-10-21T20:20:13Z)
• Understanding Transferable Representation Learning and Zero-shot Transfer in CLIP [84.90129481336659]
  CLIPの基盤となるトランスファーブル表現学習について検討し、異なるモダリティの特徴の整合性を実証する。 そこで本研究では,ベンチマークデータセット上でのCLIPや他の最先端手法よりも優れた性能を実現するCLIP型アプローチを提案する。
  論文  参考訳（メタデータ） (2023-10-02T06:41:30Z)
• Distilling Knowledge from Text-to-Image Generative Models Improves Visio-Linguistic Reasoning in CLIP [57.53087077735303]
  本稿では,CLIPの構成的視覚言語推論を強化する軽量で効率的な蒸留法であるSDS-CLIPを紹介する。 提案手法は,Stable-Diffusionのような大規模テキスト・画像生成モデルから抽出した蒸留目標を用いた微細構造CLIPである。 挑戦的なWinogroundベンチマークでは、SDS-CLIPは様々なCLIPモデルの視覚言語性能を7%向上させ、AROデータセットでは、パフォーマンスを最大3%向上させた。
  論文  参考訳（メタデータ） (2023-07-18T13:10:11Z)
• Learning Customized Visual Models with Retrieval-Augmented Knowledge [104.05456849611895]
  我々は、ターゲットドメイン用にカスタマイズされたビジュアルモデルを構築するための、関連するWeb知識を取得するためのフレームワークであるREACTを提案する。 我々は、Webスケールデータベースから最も関連性の高い画像テキストペアを外部知識として検索し、元の重みをすべて凍結しながら、新しいモジュール化されたブロックをトレーニングするだけで、モデルをカスタマイズすることを提案する。 REACTの有効性は、ゼロ、少数、フルショット設定を含む分類、検索、検出、セグメンテーションタスクに関する広範な実験を通じて実証される。
  論文  参考訳（メタデータ） (2023-01-17T18:59:06Z)
• Non-Contrastive Learning Meets Language-Image Pre-Training [145.6671909437841]
  非コントラスト型言語画像事前学習(nCLIP)の有効性について検討する。 我々は、CLIPとnCLIPを組み合わせたマルチタスクフレームワークであるxCLIPを紹介し、nCLIPが機能セマンティクスの強化にCLIPを支援することを示す。
  論文  参考訳（メタデータ） (2022-10-17T17:57:46Z)
• Don't Stop Learning: Towards Continual Learning for the CLIP Model [21.212839450030838]
  Contrastive Language-Image Pre-Training(CLIP)モデルは、最近提案された大規模プレトレインモデルである。 本研究は,CLIPモデルの連続学習問題に関する体系的研究を行う。 筆者らは,CLIPモデルの忘れ問題を軽減するために,VR-LwF (Replayed Vocabulary) を用いた学習学習という新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-07-19T13:03:14Z)
• Evaluating CLIP: Towards Characterization of Broader Capabilities and Downstream Implications [8.15254368157658]
  私たちはCLIPを分析し、そのようなモデルがもたらす課題をいくつか強調します。 CLIPは、従来のコンピュータビジョンシステムに見られるバイアスを継承できる。 これらの結果は、成長する仕事の体に「ベター」モデルの概念を変えることを要求する証拠となる。
  論文  参考訳（メタデータ） (2021-08-05T19:05:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。