論文の概要: CLAP: Contrastive Learning with Augmented Prompts for Robustness on Pretrained Vision-Language Models

• arxiv url: http://arxiv.org/abs/2311.16445v1
• Date: Tue, 28 Nov 2023 03:00:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-29 20:40:32.642143
• Title: CLAP: Contrastive Learning with Augmented Prompts for Robustness on Pretrained Vision-Language Models
• Title（参考訳）: CLAP:事前学習型視覚言語モデルにおけるロバスト性向上のための拡張プロンプトを用いたコントラスト学習
• Authors: Yichao Cai, Yuhang Liu, Zhen Zhang, Javen Qinfeng Shi
• Abstract要約: 対照的な視覚言語モデル、例えばCLIPは、その例外的な一般化能力にかなりの注意を払っている。 既存の戦略は、画像エンコーダがこれらの例を"見る"ことによって、敵の例に対するレジリエンスを強化している。 テキスト拡張のみで頑健性を高める新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 12.838906765729748
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Contrastive vision-language models, e.g., CLIP, have garnered substantial attention for their exceptional generalization capabilities. However, their robustness to perturbations has ignited concerns. Existing strategies typically reinforce their resilience against adversarial examples by enabling the image encoder to "see" these perturbed examples, often necessitating a complete retraining of the image encoder on both natural and adversarial samples. In this study, we propose a new method to enhance robustness solely through text augmentation, eliminating the need for retraining the image encoder on adversarial examples. Our motivation arises from the realization that text and image data inherently occupy a shared latent space, comprising latent content variables and style variables. This insight suggests the feasibility of learning to disentangle these latent content variables using text data exclusively. To accomplish this, we introduce an effective text augmentation method that focuses on modifying the style while preserving the content in the text data. By changing the style part of the text data, we empower the text encoder to emphasize latent content variables, ultimately enhancing the robustness of vision-language models. Our experiments across various datasets demonstrate substantial improvements in the robustness of the pre-trained CLIP model.
• Abstract（参考訳）: 対照的な視覚言語モデル、例えばCLIPは、その例外的な一般化能力にかなりの注意を払っている。 しかし、摂動に対する強固さは懸念を燃やしている。 既存の戦略は、通常、画像エンコーダがこれらの混乱した例を「見る」ようにすることで、敵の例に対する抵抗性を強化する。 本研究では,画像エンコーダを逆例として再トレーニングする必要をなくし,テキスト拡張のみを通じてロバスト性を向上させる新しい手法を提案する。 我々のモチベーションは、テキストと画像データが本質的に、潜在コンテンツ変数とスタイル変数からなる共有潜在空間を占有していることに起因している。 この知見は、テキストデータのみを使用してこれらの潜在コンテンツ変数を分離する学習の可能性を示している。 そこで本研究では,テキストデータの内容を保存しつつ,スタイルの変更に焦点をあてた効果的なテキスト拡張手法を提案する。 テキストデータのスタイル部分を変更することで、テキストエンコーダに潜在コンテンツ変数を強調させ、最終的には視覚言語モデルの堅牢性を高めます。 各種データセットを対象とした実験により,事前学習したCLIPモデルの堅牢性を大幅に向上した。

関連論文リスト

• Concept-Guided Prompt Learning for Generalization in Vision-Language Models [33.361744437967126]
  視覚言語モデルのための概念ガイド型プロンプト学習を提案する。 Contrastive Language-Image Pretrainingの知識を活用して、ビジュアルコンセプトキャッシュを作成します。 テキスト特徴を洗練させるために,多段階の視覚特徴をテキスト特徴に変換するプロジェクタを開発する。
  論文  参考訳（メタデータ） (2024-01-15T04:04:47Z)
• Incorporating Visual Experts to Resolve the Information Loss in Multimodal Large Language Models [121.83413400686139]
  本稿では,MLLMの視覚知覚能力を向上させるために,知識の混合強化機構を提案する。 本稿では,マルチタスクエンコーダとビジュアルツールを既存のMLLM訓練と推論パイプラインに組み込む新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-06T02:02:34Z)
• Understanding Transferable Representation Learning and Zero-shot Transfer in CLIP [84.90129481336659]
  CLIPの基盤となるトランスファーブル表現学習について検討し、異なるモダリティの特徴の整合性を実証する。 そこで本研究では,ベンチマークデータセット上でのCLIPや他の最先端手法よりも優れた性能を実現するCLIP型アプローチを提案する。
  論文  参考訳（メタデータ） (2023-10-02T06:41:30Z)
• Recognizing Unseen Objects via Multimodal Intensive Knowledge Graph Propagation [68.13453771001522]
  画像の領域と対応するセマンティック埋め込みとをマッチングする多モード集中型ZSLフレームワークを提案する。 我々は、大規模な実世界のデータに基づいて、広範囲な実験を行い、そのモデルを評価する。
  論文  参考訳（メタデータ） (2023-06-14T13:07:48Z)
• UniDiff: Advancing Vision-Language Models with Generative and Discriminative Learning [86.91893533388628]
  本稿では、画像テキストコントラスト学習(ITC)、テキスト条件付き画像合成学習(IS)、相互意味整合性モデリング(RSC)を統合した統合マルチモーダルモデルUniDiffを提案する。 UniDiffはマルチモーダル理解と生成タスクの両方において汎用性を示す。
  論文  参考訳（メタデータ） (2023-06-01T15:39:38Z)
• StyLIP: Multi-Scale Style-Conditioned Prompt Learning for CLIP-based Domain Generalization [26.08922351077744]
  StyLIPは、ドメイン間のCLIPの分類性能を高める、ドメインの一般化のための新しいアプローチである。 提案手法は,CLIPの事前学習された視覚エンコーダに埋め込まれた視覚的スタイルとコンテンツ情報を切り離すことを目的とした,ドメインに依存しないプロンプト学習戦略に焦点をあてる。
  論文  参考訳（メタデータ） (2023-02-18T07:36:16Z)
• SgVA-CLIP: Semantic-guided Visual Adapting of Vision-Language Models for Few-shot Image Classification [84.05253637260743]
  本稿では,セマンティック誘導視覚適応(SgVA)と呼ばれる新しいフレームワークを提案する。 SgVAは、視覚特異的のコントラスト損失、クロスモーダルのコントラスト損失、暗黙の知識蒸留を包括的に利用することで、識別的なタスク固有の視覚特徴を生成する。 13のデータセットの最先端の結果は、適応された視覚的特徴が、クロスモーダルな特徴を補完し、少数の画像分類を改善することを実証している。
  論文  参考訳（メタデータ） (2022-11-28T14:58:15Z)
• Contrastive Language-Image Pre-Training with Knowledge Graphs [33.211811772961234]
  本稿では,CLIPモデルに意味情報を注入する知識ベース事前学習フレームワークであるKnowledge-CLIPを提案する。 我々のモデルは、視覚と言語の表現を高い品質で意味的に整合させ、シナリオやモダリティを越えて推論能力を高めることができる。
  論文  参考訳（メタデータ） (2022-10-17T09:49:22Z)
• Dense Contrastive Visual-Linguistic Pretraining [53.61233531733243]
  画像とテキストを共同で表現するマルチモーダル表現学習手法が提案されている。 これらの手法は,大規模マルチモーダル事前学習から高レベルな意味情報を取得することにより,優れた性能を実現する。 そこで本稿では,非バイアスのDense Contrastive Visual-Linguistic Pretrainingを提案する。
  論文  参考訳（メタデータ） (2021-09-24T07:20:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。