論文の概要: Scaling Up Visual and Vision-Language Representation Learning With Noisy Text Supervision

• arxiv url: http://arxiv.org/abs/2102.05918v1
• Date: Thu, 11 Feb 2021 10:08:12 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-12 14:27:17.241656
• Title: Scaling Up Visual and Vision-Language Representation Learning With Noisy Text Supervision
• Title（参考訳）: 雑音テキストによる視覚・視覚言語表現学習のスケールアップ
• Authors: Chao Jia, Yinfei Yang, Ye Xia, Yi-Ting Chen, Zarana Parekh, Hieu Pham, Quoc V. Le, Yunhsuan Sung, Zhen Li, Tom Duerig
• Abstract要約: 高価なフィルタリングや後処理のステップを使わずに得られる10億以上の画像アルトテキストペアのノイズの多いデータセットを活用します。 単純なデュアルエンコーダアーキテクチャは、画像とテキストペアの視覚的および言語的表現を、対照的な損失を使って整列させることを学ぶ。 コーパスのスケールはノイズを補うことができ、そのような単純な学習方式であっても最先端の表現に繋がることを示す。
• 参考スコア（独自算出の注目度）: 57.031588264841
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pre-trained representations are becoming crucial for many NLP and perception tasks. While representation learning in NLP has transitioned to training on raw text without human annotations, visual and vision-language representations still rely heavily on curated training datasets that are expensive or require expert knowledge. For vision applications, representations are mostly learned using datasets with explicit class labels such as ImageNet or OpenImages. For vision-language, popular datasets like Conceptual Captions, MSCOCO, or CLIP all involve a non-trivial data collection (and cleaning) process. This costly curation process limits the size of datasets and hence hinders the scaling of trained models. In this paper, we leverage a noisy dataset of over one billion image alt-text pairs, obtained without expensive filtering or post-processing steps in the Conceptual Captions dataset. A simple dual-encoder architecture learns to align visual and language representations of the image and text pairs using a contrastive loss. We show that the scale of our corpus can make up for its noise and leads to state-of-the-art representations even with such a simple learning scheme. Our visual representation achieves strong performance when transferred to classification tasks such as ImageNet and VTAB. The aligned visual and language representations also set new state-of-the-art results on Flickr30K and MSCOCO benchmarks, even when compared with more sophisticated cross-attention models. The representations also enable cross-modality search with complex text and text + image queries.
• Abstract（参考訳）: 事前訓練された表現は、多くのNLPおよび知覚タスクにとって重要になっています。 NLPでの表現学習は、人間のアノテーションなしで生のテキストのトレーニングに移行しましたが、視覚と視覚言語の表現は、依然として高価な、または専門家の知識を必要とするキュレーションされたトレーニングデータセットに大きく依存しています。 視覚アプリケーションの場合、表現はImageNetやOpenImagesなどの明示的なクラスラベルを持つデータセットを使用して学習される。 Conceptual Captions、MSCOCO、CLIPなどの視覚言語で人気のデータセットには、すべて、非自明なデータ収集(およびクリーニング)プロセスが含まれます。 このコストのかかるキュレーションプロセスはデータセットのサイズを制限し、トレーニングされたモデルのスケーリングを妨げる。 本論文では,コンセプチュアルキャプションデータセットの高価なフィルタリングや後処理のステップなしで得られる10億以上の画像alt-textペアのノイズの多いデータセットを活用する。 単純なデュアルエンコーダアーキテクチャは、画像とテキストペアの視覚的表現と言語表現を対比的損失を用いて整合させることを学ぶ。 コーパスのスケールはノイズを補うことができ、そのような単純な学習方式であっても最先端の表現に繋がることを示す。 我々の視覚表現は、ImageNetやVTABのような分類タスクに転送されると、強い性能を達成する。 整列されたビジュアルおよび言語表現は、より洗練されたクロスアテンションモデルと比較しても、Flickr30KおよびMSCOCOベンチマークの最新結果も設定します。 表現は、複雑なテキストとテキスト+画像クエリによるクロスモダリティ検索も可能にする。

関連論文リスト

• Improving fine-grained understanding in image-text pre-training [37.163228122323865]
  SPARse Fine-fine Contrastive Alignment (SPARC) は、画像とテキストのペアからよりきめ細かなマルチモーダル表現を事前学習する簡単な方法である。 粗い情報に依存した画像レベルのタスクに対して、競合するアプローチよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2024-01-18T10:28:45Z)
• Augment the Pairs: Semantics-Preserving Image-Caption Pair Augmentation for Grounding-Based Vision and Language Models [16.4010094165575]
  テキスト条件付きおよびテキスト条件付きデータ拡張で訓練されたロバストな句接頭辞モデルを提案する。 近年のマスク信号再構成に着想を得て,新しいデータ拡張形式としてピクセルレベルのマスキングを提案する。 提案手法は,各種メトリクスを用いた最先端技術に対する高度な性能を示す。
  論文  参考訳（メタデータ） (2023-11-05T01:14:02Z)
• Non-Contrastive Learning Meets Language-Image Pre-Training [145.6671909437841]
  非コントラスト型言語画像事前学習(nCLIP)の有効性について検討する。 我々は、CLIPとnCLIPを組み合わせたマルチタスクフレームワークであるxCLIPを紹介し、nCLIPが機能セマンティクスの強化にCLIPを支援することを示す。
  論文  参考訳（メタデータ） (2022-10-17T17:57:46Z)
• Pix2Struct: Screenshot Parsing as Pretraining for Visual Language Understanding [58.70423899829642]
  Pix2Structは、純粋に視覚的な言語理解のための事前訓練された画像-テキストモデルである。 4つの領域にまたがる9つのタスクのうち6つのタスクにおいて、1つの事前訓練されたモデルが最先端の結果が得られることを示す。
  論文  参考訳（メタデータ） (2022-10-07T06:42:06Z)
• Language Matters: A Weakly Supervised Pre-training Approach for Scene Text Detection and Spotting [69.77701325270047]
  本稿では,シーンテキストを効果的に表現できる弱教師付き事前学習手法を提案する。 本ネットワークは,画像エンコーダと文字認識型テキストエンコーダから構成され,視覚的特徴とテキスト的特徴を抽出する。 実験により、事前訓練されたモデルは、重みを他のテキスト検出やスポッティングネットワークに転送しながら、Fスコアを+2.5%、+4.8%改善することが示された。
  論文  参考訳（メタデータ） (2022-03-08T08:10:45Z)
• CRIS: CLIP-Driven Referring Image Segmentation [71.56466057776086]
  エンドツーエンドのCLIP駆動参照画像フレームワーク(CRIS)を提案する。 CRISは、テキストとピクセルのアライメントを達成するために、視覚言語によるデコーディングとコントラスト学習に頼っている。 提案するフレームワークは, 後処理を伴わずに, 最先端の性能を著しく向上させる。
  論文  参考訳（メタデータ） (2021-11-30T07:29:08Z)
• Align before Fuse: Vision and Language Representation Learning with Momentum Distillation [52.40490994871753]
  本稿では,ALBEF (BEfore Fusing) の表現に対して,モーダルな注意を通したコントラスト的損失を導入する。 本研究では,運動量モデルで生成した擬似ターゲットから学習する自己学習法である運動量蒸留を提案する。 ALBEFは、複数の下流視覚言語タスクで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2021-07-16T00:19:22Z)
• Learning to Represent Image and Text with Denotation Graph [32.417311523031195]
  本稿では,画像とテキスト間の暗黙的・視覚的接地表現の集合から学習表現を提案する。 得られた構造的関係を利用して,最先端のマルチモーダル学習モデルをさらに改良できることを示す。
  論文  参考訳（メタデータ） (2020-10-06T18:00:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。