論文の概要: ERNIE-ViL 2.0: Multi-view Contrastive Learning for Image-Text Pre-training

• arxiv url: http://arxiv.org/abs/2209.15270v1
• Date: Fri, 30 Sep 2022 07:20:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-03 15:42:07.011898
• Title: ERNIE-ViL 2.0: Multi-view Contrastive Learning for Image-Text Pre-training
• Title（参考訳）: ERNIE-ViL 2.0:画像テキスト事前学習のためのマルチビューコントラスト学習
• Authors: Bin Shan, Weichong Yin, Yu Sun, Hao Tian, Hua Wu, Haifeng Wang
• Abstract要約: ERNIE-ViL 2.0は多視点コントラスト学習フレームワークであり、多様なビュー間のモーダル内およびモーダル間相関を同時に構築する。 オブジェクトタグのシーケンスを特別なテキストビューとして構築し、ノイズの多い画像とテキストのペア上でのモーダルなセマンティックギャップを狭める。 ERNIE-ViL 2.0は、英語のクロスモーダル検索において競合する結果を得る。
• 参考スコア（独自算出の注目度）: 40.05046655477684
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent Vision-Language Pre-trained (VLP) models based on dual encoder have attracted extensive attention from academia and industry due to their superior performance on various cross-modal tasks and high computational efficiency. They attempt to learn cross-modal representation using contrastive learning on image-text pairs, however, the built inter-modal correlations only rely on a single view for each modality. Actually, an image or a text contains various potential views, just as humans could capture a real-world scene via diverse descriptions or photos. In this paper, we propose ERNIE-ViL 2.0, a Multi-View Contrastive learning framework to build intra-modal and inter-modal correlations between diverse views simultaneously, aiming at learning a more robust cross-modal representation. Specifically, we construct multiple views within each modality to learn the intra-modal correlation for enhancing the single-modal representation. Besides the inherent visual/textual views, we construct sequences of object tags as a special textual view to narrow the cross-modal semantic gap on noisy image-text pairs. Pre-trained with 29M publicly available datasets, ERNIE-ViL 2.0 achieves competitive results on English cross-modal retrieval. Additionally, to generalize our method to Chinese cross-modal tasks, we train ERNIE-ViL 2.0 through scaling up the pre-training datasets to 1.5B Chinese image-text pairs, resulting in significant improvements compared to previous SOTA results on Chinese cross-modal retrieval. We release our pre-trained models in https://github.com/PaddlePaddle/ERNIE.
• Abstract（参考訳）: デュアルエンコーダに基づく近年の視覚言語事前学習モデル(vlp)は,様々なクロスモーダルタスクにおける優れた性能と計算効率により,学界や業界から注目を集めている。 彼らは、画像とテキストのペアで対比学習を使って、クロスモーダル表現を学ぼうとしているが、構築されたモーダル間相関は、各モーダルに対して単一のビューのみに依存している。 実際、画像やテキストには、人間がさまざまな説明や写真を通して現実世界のシーンを捉えられるように、さまざまな潜在的なビューが含まれている。 本稿では,マルチビューのコントラスト学習フレームワークであるernie-vil 2.0を提案し,より堅牢なクロスモーダル表現の学習を目指して,多様なビュー間のイントラモーダル相関とインターモーダル相関を同時に構築する。 具体的には、各モダリティ内に複数のビューを構築し、モダリティ内相関を学習し、単一モダリティ表現を強化する。 固有な視覚/テキストビューの他に、ノイズの多い画像-テキストペアの相互の意味的ギャップを狭めるために、オブジェクトタグのシーケンスを特別なテキストビューとして構築する。 29万の公開データセットで事前トレーニングされたERNIE-ViL 2.0は、英語のクロスモーダル検索において競合する結果を得る。 さらに,本手法を中国のクロスモーダルタスクに一般化するために,事前学習データセットを1.5Bの中国語画像テキストペアにスケールアップすることにより,ERNIE-ViL 2.0をトレーニングする。 トレーニング済みのモデルをhttps://github.com/paddlepaddle/ernieでリリースします。

関連論文リスト

• Improving Cross-modal Alignment for Text-Guided Image Inpainting [36.1319565907582]
  テキスト誘導画像塗装(TGII)は、損傷した画像中の与えられたテキストに基づいて、行方不明領域を復元することを目的としている。 クロスモーダルアライメントを改善することで,TGIIの新たなモデルを提案する。 我々のモデルは、他の強力な競合相手と比較して最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-01-26T19:18:27Z)
• FaD-VLP: Fashion Vision-and-Language Pre-training towards Unified Retrieval and Captioning [66.38951790650887]
  ファッション分野におけるマルチモーダルタスクは、eコマースにとって大きな可能性を秘めている。 本稿では,ファッションとテクストのペアから構築した弱教師付き三つ組に基づく,ファッション特有の事前学習フレームワークを提案する。 3重項に基づくタスクは、標準的なマルチモーダル事前学習タスクに有効な追加であることを示す。
  論文  参考訳（メタデータ） (2022-10-26T21:01:19Z)
• MaPLe: Multi-modal Prompt Learning [54.96069171726668]
  本稿では,視覚と言語分岐の両方を対象としたマルチモーダル・プロンプト・ラーニング(MaPLe)を提案し,視覚と言語表現の整合性を改善する。 最先端のCo-CoOpと比較すると、MaPLeは優れた性能を示し、新規クラスでは3.45%の絶対的な向上を達成している。
  論文  参考訳（メタデータ） (2022-10-06T17:59:56Z)
• UNIMO-2: End-to-End Unified Vision-Language Grounded Learning [46.914284894632]
  本稿では, エンドツーエンドの統一モーダル事前学習フレームワーク, UNIMO-2を提案する。 我々は、画像とテキスト間の視覚表現、テキスト表現、意味的アライメントを共同で学習する統合トランスフォーマーモデルを構築した。 コードとモデルは、UNIMOプロジェクトページで公開されています。
  論文  参考訳（メタデータ） (2022-03-17T03:53:11Z)
• Vision-Language Pre-Training with Triple Contrastive Learning [45.80365827890119]
  モーダル・インターモーダル・セルフ・スーパービジョンとクロスモーダル・イントラモーダル・セルフスーパービジョンの両方を活用することで、視覚言語事前学習のための三重コントラスト学習(TCL)を提案する。 マルチモーダル表現学習のための局所構造情報を考慮した最初の研究である。
  論文  参考訳（メタデータ） (2022-02-21T17:54:57Z)
• Align before Fuse: Vision and Language Representation Learning with Momentum Distillation [52.40490994871753]
  本稿では,ALBEF (BEfore Fusing) の表現に対して,モーダルな注意を通したコントラスト的損失を導入する。 本研究では,運動量モデルで生成した擬似ターゲットから学習する自己学習法である運動量蒸留を提案する。 ALBEFは、複数の下流視覚言語タスクで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2021-07-16T00:19:22Z)
• TVDIM: Enhancing Image Self-Supervised Pretraining via Noisy Text Data [13.68491474904529]
  テキスト強化型ビジュアルディープインフォマティクス(TVDIM)を提案する。 自己教師型学習の中核となる考え方は、複数の視点から抽出された特徴間の相互情報の最大化である。 TVDIMは、同じ画像の集合を処理する際に、従来の視覚的自己監督手法よりも大幅に優れている。
  論文  参考訳（メタデータ） (2021-06-03T12:36:01Z)
• UC2: Universal Cross-lingual Cross-modal Vision-and-Language Pre-training [52.852163987208826]
  UC2は、言語間クロスモーダル表現学習のための最初の機械翻訳拡張フレームワークである。 Masked Region-token Modeling (MRTM) と Visual Translation Language Modeling (VTLM) の2つの新しいプリトレーニングタスクを提案する。 提案手法は,英語タスクにおける単言語学習モデルと同等の性能を維持しつつ,多種多様な非英語ベンチマークで新たな最先端を実現する。
  論文  参考訳（メタデータ） (2021-04-01T08:30:53Z)
• WenLan: Bridging Vision and Language by Large-Scale Multi-Modal Pre-Training [71.37731379031487]
  クロスモーダルコントラスト学習フレームワークにおいて,BriVLと呼ばれる2重塔前訓練モデルを提案する。 単純なコントラスト学習手法を採用したopenaiクリップとは異なり,最新のメソッドmocoをクロスモーダルシナリオに適用することにより,より高度なアルゴリズムを考案する。 大規模なキューベースの辞書を構築することで、BriVLは限られたGPUリソースにネガティブなサンプルを組み込むことができます。
  論文  参考訳（メタデータ） (2021-03-11T09:39:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。