論文の概要: Enhancing Vision-Language Model Pre-training with Image-text Pair Pruning Based on Word Frequency

• arxiv url: http://arxiv.org/abs/2410.10879v1
• Date: Wed, 09 Oct 2024 11:54:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-16 14:04:49.898668
• Title: Enhancing Vision-Language Model Pre-training with Image-text Pair Pruning Based on Word Frequency
• Title（参考訳）: 単語周波数に基づく画像テキストペアプルーニングによるビジョンランゲージモデル事前学習の強化
• Authors: Mingliang Liang, Martha Larson,
• Abstract要約: 本稿では,新しいデータプルーニング手法であるWFPPを提案する。 WFPPはトレーニングデータセット全体にわたって、高周波ワードを含むテキストイメージペアをプルーフする。 実験により,CLIPモデルのトレーニングにおけるWFPPの適用により,幅広い下流タスクのパフォーマンスが向上することが示された。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: We propose Word-Frequency-based Image-Text Pair Pruning (WFPP), a novel data pruning method that improves the efficiency of VLMs. Unlike MetaCLIP, our method does not need metadata for pruning, but selects text-image pairs to prune based on the content of the text. Specifically, WFPP prunes text-image pairs containing high-frequency words across the entire training dataset. The effect of WFPP is to reduce the dominance of frequent words. The result a better balanced word-frequency distribution in the dataset, which is known to improve the training of word embedding models. After pre-training on the pruned subset, we fine-tuned the model on the entire dataset for one additional epoch to achieve better performance. Our experiments demonstrate that applying WFPP when training a CLIP model improves performance on a wide range of downstream tasks. WFPP also provides the advantage of speeding up pre-training by using fewer samples. Additionally, we analyze the training data before and after pruning to visualize how WFPP changes the balance of word frequencies. We hope our work encourages researchers to consider the distribution of words in the training data when pre-training VLMs, not limited to CLIP.
• Abstract（参考訳）: VLMの効率を向上する新しいデータプレーニング手法であるWFPP(Word-Frequency-based Image-Text Pair Pruning)を提案する。 MetaCLIPとは異なり,本手法ではプルーニングのメタデータを必要としないが,テキストの内容に基づいてテキストイメージペアを選択してプルーする。 具体的には、WFPPはトレーニングデータセット全体にわたって、高周波ワードを含むテキストイメージペアをプルーネする。 WFPPの効果は、頻繁な単語の優位性を減らすことである。 その結果、単語埋め込みモデルのトレーニングを改善することが知られているデータセットにおける単語周波数分布のバランスが良くなった。 プルーニングされたサブセットで事前トレーニングを行った後、データセット全体のモデルを1つの追加のエポックのために微調整し、より良いパフォーマンスを実現した。 実験により,CLIPモデルのトレーニングにおけるWFPPの適用により,幅広い下流タスクのパフォーマンスが向上することが示された。 WFPPはまた、サンプルを減らすことで事前トレーニングをスピードアップする利点も提供する。 さらに,プレニング前後のトレーニングデータを解析し,WFPPが単語周波数のバランスをどのように変化させるかを可視化する。 私たちの研究は、CLIPに限らず、VLMの事前学習時にトレーニングデータ中の単語の分布を検討することを、研究者に促すことを願っています。

関連論文リスト

• Vision Model Pre-training on Interleaved Image-Text Data via Latent Compression Learning [78.19528555505961]
  本稿では,LCL(Latent Compression Learning)と呼ばれる視覚モデル事前学習手法を提案する。 学習対象は,1)視覚表現と先行文脈の対比学習,2)視覚表現に基づく後続テキストの生成という2つの基本課題に分解することができる。 実験により,本手法は,ペア付き事前学習データセット上でのCLIPの性能に適合するだけでなく,インターリーブ付き事前学習データの活用も可能であることが示された。
  論文  参考訳（メタデータ） (2024-06-11T17:59:35Z)
• Make Prompts Adaptable: Bayesian Modeling for Vision-Language Prompt Learning with Data-Dependent Prior [14.232144691524528]
  最近のVision-Language Pretrainedモデルは、多くの下流タスクのバックボーンとなっている。 MLEトレーニングは、トレーニングデータにおいて、コンテキストベクトルを過度に適合する画像特徴に導くことができる。 本稿では,素早い学習のためのベイズ的枠組みを提案する。
  論文  参考訳（メタデータ） (2024-01-09T10:15:59Z)
• Sieve: Multimodal Dataset Pruning Using Image Captioning Models [11.362835828985494]
  Vision-Language Models (VLM) は、大規模で多様でノイズの多いWebcrawledデータセットで事前トレーニングされている。 提案手法は,CLIPがノイズラベルを事前学習しているため,偽陽性や陰性などの複数の制約を伴っていると論じる。 そこで我々は,小,多様,整列した画像テキストペア上で事前訓練された画像キャプションモデルによって生成された合成キャプションを用いたプルーニング信号Sieveを提案する。
  論文  参考訳（メタデータ） (2023-10-03T14:53:53Z)
• ALIP: Adaptive Language-Image Pre-training with Synthetic Caption [78.93535202851278]
  コントラスト言語-画像事前学習(CLIP)は、様々な視覚言語タスクのパフォーマンスを大幅に向上させた。 Webデータに固有のノイズと未整合画像テキストペアが存在することは、表現学習のパフォーマンスに影響を与える可能性がある。 本稿では、原文と合成キャプションの両方からの監督を統合するバイパスモデルであるAdaptive Language-Image Pre-Training(ALIP)を提案する。
  論文  参考訳（メタデータ） (2023-08-16T15:19:52Z)
• Weakly Supervised Vision-and-Language Pre-training with Relative Representations [76.63610760577214]
  弱教師付き視覚・言語事前学習は、事前学習のデータコストを効果的に削減することを示した。 現在の手法では、イメージのローカル記述(オブジェクトタグ)のみをクロスモーダルアンカーとして使用し、事前トレーニングのための弱い整列されたイメージテキストペアを構築する。
  論文  参考訳（メタデータ） (2023-05-24T18:10:24Z)
• Scaling Language-Image Pre-training via Masking [63.36988191660858]
  高速言語画像事前学習(FLIP)は、CLIPを訓練するためのシンプルで効率的な方法である。 マスキングによって、同じウォールタイム時間で、より多くの画像テキストペアから学ぶことができます。 FLIPは、同じデータでトレーニングされたCLIPよりも圧倒的に優れています。
  論文  参考訳（メタデータ） (2022-12-01T18:59:57Z)
• Generative Negative Text Replay for Continual Vision-Language Pretraining [95.2784858069843]
  視覚言語による事前学習が近年注目を集めている。 大量のデータは、通常ストリーミング形式で収集される。 本稿では,画像とテキスト間のマルチモーダルな知識蒸留手法を提案する。
  論文  参考訳（メタデータ） (2022-10-31T13:42:21Z)
• Coarse-to-Fine Vision-Language Pre-training with Fusion in the Backbone [170.85076677740292]
  本稿では、視覚言語(VL)事前学習のための新しいモデルアーキテクチャであるFIBER(Fusion-In-the-Backbone-basedER)を提案する。 ユニモーダルバックボーンの後に、専用のトランスフォーマー層を融合させる代わりに、FIBERはマルチモーダルフュージョンをモデルに深く押し込む。 我々は、VQA、画像キャプション、検索、フレーズグラウンド、参照表現理解、オブジェクト検出など、幅広いVLタスクに関する包括的な実験を行う。
  論文  参考訳（メタデータ） (2022-06-15T16:41:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。