論文の概要: VeCLIP: Improving CLIP Training via Visual-enriched Captions

• arxiv url: http://arxiv.org/abs/2310.07699v3
• Date: Wed, 13 Mar 2024 22:27:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-16 02:32:48.613430
• Title: VeCLIP: Improving CLIP Training via Visual-enriched Captions
• Title（参考訳）: VeCLIP: Visual Enriched CaptionsによるCLIPトレーニングの改善
• Authors: Zhengfeng Lai, Haotian Zhang, Bowen Zhang, Wentao Wu, Haoping Bai, Aleksei Timofeev, Xianzhi Du, Zhe Gan, Jiulong Shan, Chen-Nee Chuah, Yinfei Yang, Meng Cao,
• Abstract要約: 本研究は,ノイズキャプション書き換えのためのスケーラブルパイプラインを提案する。 視覚豊かなキャプション(VeCap)と呼ばれるキャプションへの視覚概念の組み入れを強調した。 本稿では,大規模なWebクローリングデータセットであるVeCLIP上でCLIPをトレーニングするためのこの手法の適用について紹介する。
• 参考スコア（独自算出の注目度）: 63.547204530720705
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large-scale web-crawled datasets are fundamental for the success of pre-training vision-language models, such as CLIP. However, the inherent noise and potential irrelevance of web-crawled AltTexts pose challenges in achieving precise image-text alignment. Existing methods utilizing large language models (LLMs) for caption rewriting have shown promise on small, curated datasets like CC3M and CC12M. This study introduces a scalable pipeline for noisy caption rewriting. Unlike recent LLM rewriting techniques, we emphasize the incorporation of visual concepts into captions, termed as Visual-enriched Captions (VeCap). To ensure data diversity, we propose a novel mixed training scheme that optimizes the utilization of AltTexts alongside newly generated VeCap. We showcase the adaptation of this method for training CLIP on large-scale web-crawled datasets, termed VeCLIP. Employing this cost-effective pipeline, we effortlessly scale our dataset up to 300 million samples named VeCap dataset. Our results show significant advantages in image-text alignment and overall model performance. For example, VeCLIP achieves up to +25.2% gain in COCO and Flickr30k retrieval tasks under the 12M setting. For data efficiency, VeCLIP achieves +3% gain while only using 14% of the data employed in the vanilla CLIP and 11% in ALIGN. We also note the VeCap data is complementary with other well curated datasets good for zero-shot classification tasks. When combining VeCap and DFN, our model can achieve strong performance on both of image-text retrieval and zero-shot classification tasks, e.g. 83.1% accuracy@1 on ImageNet zero-shot for a H/14 model. We release the pre-trained models at https://github.com/apple/ml-veclip.
• Abstract（参考訳）: 大規模なWebcrawledデータセットは、CLIPのような事前トレーニングされたビジョン言語モデルの成功に不可欠である。 しかし、Webcrawled AltTextsの本質的なノイズと潜在的な非関連性は、正確な画像テキストアライメントを実現する上での課題を提起する。 キャプション書き換えに大規模な言語モデル(LLM)を利用する既存の手法は、CC3MやCC12Mのような小さなキュレートされたデータセットに約束を示す。 本研究は,ノイズキャプション書き換えのためのスケーラブルパイプラインを提案する。 近年のLCM書き換え技術とは違って,ビジュアル・エンリッチ・キャプション(VeCap)と呼ばれるキャプションに視覚概念を組み込むことが強調されている。 データ多様性を確保するため,新たに生成されたVeCapとともにAltTextsの利用を最適化する混合学習手法を提案する。 本稿では,大規模なWebクローリングデータセットであるVeCLIP上でCLIPをトレーニングするためのこの手法の適用について紹介する。 このコスト効率のよいパイプラインを使用することで、データセットをVeCapデータセットという3億のサンプルにスケールアップしています。 その結果,画像テキストのアライメントとモデル全体の性能に有意な利点が認められた。 例えば、VeCLIPは最大25.2%のCOCOおよびFlickr30k検索タスクを12M設定で達成している。 データ効率では、VeCLIPは+3%上昇し、バニラCLIPで使用されるデータの14%とALIGNで11%しか使用していない。 また、VeCapデータは、ゼロショット分類タスクに適した、他のよく訓練されたデータセットと相補的であることに留意する。 VeCapとDFNを組み合わせることで、画像テキスト検索とゼロショット分類タスクの両方において、H/14モデルのImageNetゼロショット上の83.1%精度@1を高いパフォーマンスで実現できる。 トレーニング済みのモデルをhttps://github.com/apple/ml-veclip.comでリリースします。

関連論文リスト

• TripletCLIP: Improving Compositional Reasoning of CLIP via Synthetic Vision-Language Negatives [65.82577305915643]
  Contrastive Language-Image Pretraining (CLIP) モデルは、表現を学ぶためにテキストと視覚的モダリティ間の相互情報を最大化する。 そこで本研究では,テキスト・ツー・イメージ・ジェネレータを用いて,文脈内学習による「ハード」の負の字幕生成と,それに対応する負のイメージ生成が解となることを示す。 提案手法はTripletCLIPと呼ばれ,CLIPの構成能力を向上し,SugarCrepeベンチマークでは9%以上向上した。
  論文  参考訳（メタデータ） (2024-11-04T19:24:59Z)
• CLIP with Quality Captions: A Strong Pretraining for Vision Tasks [16.208506912410147]
  良質なキャプションを用いたCLIPプレトレーニングは,近年の教師付き・自己監督型・弱教師付きプレトレーニング方法を上回る可能性がある。 モバイルアーキテクチャはCLIP事前トレーニングのメリットも大きいことが分かっています。
  論文  参考訳（メタデータ） (2024-05-14T19:06:24Z)
• Data-Efficient Contrastive Language-Image Pretraining: Prioritizing Data Quality over Quantity [11.414069074535007]
  大規模な画像キャプチャデータセットを用いたコントラスト言語-画像事前学習は、目覚ましいゼロショットの一般化を実現するための表現を学ぶ。 ベストを確実に一般化するトレーニングデータの小さなサブセットは、未解決の問題のままである。 画像とキャプションの相互共分散を密に保存する部分集合は、より優れた一般化性能が得られることを示す。
  論文  参考訳（メタデータ） (2024-03-18T21:32:58Z)
• ReCLIP: Refine Contrastive Language Image Pre-Training with Source Free Domain Adaptation [20.57370550156505]
  ReCLIPは、ヴィジュアル言語モデルのための、ソースフリーなドメイン適応手法である。 ReCLIPは、22の画像分類ベンチマークにおいて、CLIPの平均エラー率を30.17%から25.06%に下げることを示した。
  論文  参考訳（メタデータ） (2023-08-04T18:11:40Z)
• Linear Alignment of Vision-language Models for Image Captioning [9.746397419479447]
  本稿では,CLIPのイメージとテキストの埋め込みを線形にマッピングする,より効率的なトレーニングプロトコルを提案する。 これにより、勾配計算の必要性を回避し、ReCapと呼ばれる軽量キャプション方式が実現される。 ReCap on MS-COCO, Flickr30k, VizWiz, MSRVTT。
  論文  参考訳（メタデータ） (2023-07-10T17:59:21Z)
• Improving CLIP Training with Language Rewrites [57.935517901210225]
  言語書き換えによるCLIPトレーニングを強化するために,Language augmented CLIP (LaCLIP)を導入した。 また,LaCLIPは,学習中に計算やメモリオーバーヘッドを伴わずに転送性能を大幅に向上することを示した。 ImageNetゼロショット精度では、LaCLIPはCC12MでCLIPを8.2%、LAION-400Mで2.4%上回る。
  論文  参考訳（メタデータ） (2023-05-31T17:59:04Z)
• Boosting Visual-Language Models by Exploiting Hard Samples [126.35125029639168]
  HELIPは、既存のCLIPモデルの性能を高めるための費用対効果戦略である。 我々の方法では、既存のモデルのトレーニングパイプラインと懸命に統合できます。 包括的なベンチマークでは、HELIPはパフォーマンス向上のために既存のモデルを継続的に強化する。
  論文  参考訳（メタデータ） (2023-05-09T07:00:17Z)
• PyramidCLIP: Hierarchical Feature Alignment for Vision-language Model Pretraining [68.84339672878066]
  意味レベルが異なる入力ピラミッドを構築し,視覚的要素と言語的要素を階層構造として整列させる。 ゼロショット画像分類、ゼロショット画像テキスト検索、画像オブジェクト検出を含む3つの下流タスクの実験は、提案したピラミドCLIPの有効性を検証する。
  論文  参考訳（メタデータ） (2022-04-29T13:38:42Z)
• Supervision Exists Everywhere: A Data Efficient Contrastive Language-Image Pre-training Paradigm [109.0573737034428]
  大規模コントラスト言語-画像事前訓練(CLIP)は、その印象的なゼロショット認識能力と下流タスクへの優れた転送性により、前例のない注目を集めている。 本研究は,この制限を緩和する新たなトレーニングパラダイムであるData efficient CLIP (DeCLIP)を提案する。 画像とテキストのペア間の広範な監視を慎重に活用することにより、De-CLIPは汎用的な視覚的特徴をより効率的に学習できることを実証する。
  論文  参考訳（メタデータ） (2021-10-11T12:17:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。