論文の概要: Scaling Language-Image Pre-training via Masking

• arxiv url: http://arxiv.org/abs/2212.00794v1
• Date: Thu, 1 Dec 2022 18:59:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-02 16:42:07.090797
• Title: Scaling Language-Image Pre-training via Masking
• Title（参考訳）: マスキングによる言語画像事前学習のスケーリング
• Authors: Yanghao Li, Haoqi Fan, Ronghang Hu, Christoph Feichtenhofer, Kaiming He
• Abstract要約: 高速言語画像事前学習(FLIP)は、CLIPを訓練するためのシンプルで効率的な方法である。 マスキングによって、同じウォールタイム時間で、より多くの画像テキストペアから学ぶことができます。 FLIPは、同じデータでトレーニングされたCLIPよりも圧倒的に優れています。
• 参考スコア（独自算出の注目度）: 63.36988191660858
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present Fast Language-Image Pre-training (FLIP), a simple and more efficient method for training CLIP. Our method randomly masks out and removes a large portion of image patches during training. Masking allows us to learn from more image-text pairs given the same wall-clock time and contrast more samples per iteration with similar memory footprint. It leads to a favorable trade-off between accuracy and training time. In our experiments on 400 million image-text pairs, FLIP improves both accuracy and speed over the no-masking baseline. On a large diversity of downstream tasks, FLIP dominantly outperforms the CLIP counterparts trained on the same data. Facilitated by the speedup, we explore the scaling behavior of increasing the model size, data size, or training length, and report encouraging results and comparisons. We hope that our work will foster future research on scaling vision-language learning.
• Abstract（参考訳）: CLIPの簡易かつ効率的な訓練法であるFLIP(Fast Language- Image Pre-training)を提案する。 本手法は,トレーニング中の画像パッチの大部分をランダムにマスクアウトし,除去する。 マスキングによって、同じウォールクロック時間でより多くの画像テキストペアから学ぶことができ、同じメモリフットプリントで、イテレーション毎により多くのサンプルをコントラストできる。 正確さとトレーニング時間の間の良好なトレードオフにつながります。 4億の画像テキストペアに対する実験では、FLIPは非マスキングベースラインよりも精度と速度を向上する。 下流タスクの多様さにおいて、FLIPは同じデータでトレーニングされたCLIPタスクよりも圧倒的に優れています。 スピードアップに特化して、モデルサイズ、データサイズ、トレーニング長の増大によるスケーリングの挙動を調査し、奨励的な結果と比較を報告する。 私たちの研究が視覚言語学習のスケーリングに関する将来の研究を促進することを期待しています。

関連論文リスト

• Enhancing Vision-Language Model Pre-training with Image-text Pair Pruning Based on Word Frequency [0.0]
  本稿では,新しいデータプルーニング手法であるWFPPを提案する。 WFPPはトレーニングデータセット全体にわたって、高周波ワードを含むテキストイメージペアをプルーフする。 実験により,CLIPモデルのトレーニングにおけるWFPPの適用により,幅広い下流タスクのパフォーマンスが向上することが示された。
  論文  参考訳（メタデータ） (2024-10-09T11:54:41Z)
• Vision Model Pre-training on Interleaved Image-Text Data via Latent Compression Learning [78.19528555505961]
  本稿では,LCL(Latent Compression Learning)と呼ばれる視覚モデル事前学習手法を提案する。 学習対象は,1)視覚表現と先行文脈の対比学習,2)視覚表現に基づく後続テキストの生成という2つの基本課題に分解することができる。 実験により,本手法は,ペア付き事前学習データセット上でのCLIPの性能に適合するだけでなく,インターリーブ付き事前学習データの活用も可能であることが示された。
  論文  参考訳（メタデータ） (2024-06-11T17:59:35Z)
• Efficient Vision-Language Pre-training by Cluster Masking [13.845233914223561]
  本稿では,視覚的コントラスト学習における画像パッチのマスキング方法を提案する。 画像パッチをランダムにマスキングし,画像の画素強度を計測した。 これは、文脈からのみマスクされた視覚構造のための単語を予測することをモデルに強制するため、対照的なトレーニング自体を超えて、余分な学習信号を提供する。
  論文  参考訳（メタデータ） (2024-05-14T17:59:40Z)
• CatLIP: CLIP-level Visual Recognition Accuracy with 2.7x Faster Pre-training on Web-scale Image-Text Data [40.88256210436378]
  本稿では,Web スケールの画像テキストデータに基づく視覚モデルの弱教師付き事前学習を提案する。 提案手法は,画像テキストデータに基づく事前学習を分類タスクとして再編成する。 Webスケールのデータに対する対照的な学習に比べて、トレーニング速度の2.7倍の加速を実現している。
  論文  参考訳（メタデータ） (2024-04-24T05:13:28Z)
• Centered Masking for Language-Image Pre-Training [0.0]
  言語画像事前学習(GLIP)のためのガウスマスキングについて紹介する。 GLIPは視覚言語モデルの事前学習中に画像パッチをマスキングする新しい、単純で効果的な手法である。
  論文  参考訳（メタデータ） (2024-03-23T13:24:31Z)
• ELIP: Efficient Language-Image Pre-training with Fewer Vision Tokens [75.09406436851445]
  本稿では,言語出力の監督による影響の少ないトークンを除去するために,視覚トークンのプルーニングとマージ手法ELIPを提案する。 実験により、12層のViT層に30$%のビジョントークンが削除されたことにより、ELIPは著しく同等のパフォーマンスを維持した。
  論文  参考訳（メタデータ） (2023-09-28T05:31:07Z)
• ALIP: Adaptive Language-Image Pre-training with Synthetic Caption [78.93535202851278]
  コントラスト言語-画像事前学習(CLIP)は、様々な視覚言語タスクのパフォーマンスを大幅に向上させた。 Webデータに固有のノイズと未整合画像テキストペアが存在することは、表現学習のパフォーマンスに影響を与える可能性がある。 本稿では、原文と合成キャプションの両方からの監督を統合するバイパスモデルであるAdaptive Language-Image Pre-Training(ALIP)を提案する。
  論文  参考訳（メタデータ） (2023-08-16T15:19:52Z)
• Improving CLIP Training with Language Rewrites [57.935517901210225]
  言語書き換えによるCLIPトレーニングを強化するために,Language augmented CLIP (LaCLIP)を導入した。 また,LaCLIPは,学習中に計算やメモリオーバーヘッドを伴わずに転送性能を大幅に向上することを示した。 ImageNetゼロショット精度では、LaCLIPはCC12MでCLIPを8.2%、LAION-400Mで2.4%上回る。
  論文  参考訳（メタデータ） (2023-05-31T17:59:04Z)
• Improving Masked Autoencoders by Learning Where to Mask [65.89510231743692]
  マスケ画像モデリングは視覚データに対する有望な自己教師型学習手法である。 本稿では,Gumbel-Softmax を用いて,対向学習マスク生成装置とマスク誘導画像モデリングプロセスとを相互接続するフレームワーク AutoMAE を提案する。 実験の結果,AutoMAEは,標準の自己監督型ベンチマークや下流タスクに対して,効果的な事前学習モデルを提供することがわかった。
  論文  参考訳（メタデータ） (2023-03-12T05:28:55Z)
• ProtoCLIP: Prototypical Contrastive Language Image Pretraining [12.067061175987075]
  このようなグループ化を強化するために,プロトタイプコントラスト言語画像事前学習(ProtoCLIP)を導入している。 ProtoCLIPは、画像空間とテキスト空間の間のプロトタイプレベルの識別を設定し、高いレベルの構造的知識を効率的に伝達する。 ProtoCLIPはオンラインのエピソードトレーニング戦略でトレーニングされており、無制限のデータまでスケールアップすることができる。
  論文  参考訳（メタデータ） (2022-06-22T11:55:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。