論文の概要: RC3: Regularized Contrastive Cross-lingual Cross-modal Pre-training

• arxiv url: http://arxiv.org/abs/2305.07927v1
• Date: Sat, 13 May 2023 14:41:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-16 18:38:49.565918
• Title: RC3: Regularized Contrastive Cross-lingual Cross-modal Pre-training
• Title（参考訳）: RC3: 正規化コントラストクロスランガルクロスモーダルプレトレーニング
• Authors: Chulun Zhou, Yunlong Liang, Fandong Meng, Jinan Xu, Jinsong Su and Jie Zhou
• Abstract要約: 本稿では,弱整列型ビオテキスト入力の表現近接を制約する正規化言語間ビオテキストコントラスト学習目標を提案する。 6言語にまたがる5つの下流マルチモーダルタスクの実験により,提案手法の有効性が示された。
• 参考スコア（独自算出の注目度）: 84.23022072347821
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Multilingual vision-language (V&L) pre-training has achieved remarkable progress in learning universal representations across different modalities and languages. In spite of recent success, there still remain challenges limiting further improvements of V&L pre-trained models in multilingual settings. Particularly, current V&L pre-training methods rely heavily on strictly-aligned multilingual image-text pairs generated from English-centric datasets through machine translation. However, the cost of collecting and translating such strictly-aligned datasets is usually unbearable. In this paper, we propose Regularized Contrastive Cross-lingual Cross-modal (RC^3) pre-training, which further exploits more abundant weakly-aligned multilingual image-text pairs. Specifically, we design a regularized cross-lingual visio-textual contrastive learning objective that constrains the representation proximity of weakly-aligned visio-textual inputs according to textual relevance. Besides, existing V&L pre-training approaches mainly deal with visual inputs by either region-of-interest (ROI) features or patch embeddings. We flexibly integrate the two forms of visual features into our model for pre-training and downstream multi-modal tasks. Extensive experiments on 5 downstream multi-modal tasks across 6 languages demonstrate the effectiveness of our proposed method over competitive contrast models with stronger zero-shot capability.
• Abstract（参考訳）: 多言語視覚言語(V&L)の事前学習は、様々なモダリティや言語にまたがる普遍表現の学習において顕著な進歩を遂げた。 近年の成功にもかかわらず、多言語環境でのV&L事前訓練モデルのさらなる改善には依然として課題がある。 特に、現在のV&L事前学習法は、機械翻訳を通じて英語中心のデータセットから生成される厳密な多言語画像テキストペアに大きく依存している。 しかし、厳密に整合したデータセットの収集と翻訳のコストは通常、計り知れない。 本稿では,より豊富な弱結合型多言語画像テキストペアを活用した正規化コントラスト言語間クロスモーダル(rc^3)事前学習を提案する。 具体的には、テキスト関連性に応じて、弱整列型視覚テキスト入力の表現近接を制約する正規化言語間視覚テキストコントラスト学習目標を設計する。 さらに、既存のV&L事前トレーニングアプローチは、主に関心の領域(ROI)機能またはパッチ埋め込みによる視覚的な入力を扱う。 事前学習と下流マルチモーダルタスクのためのモデルに,2種類の視覚的特徴を柔軟に統合する。 6言語にまたがる下流5つのマルチモーダルタスクに関する広範囲な実験により,ゼロショット能力の強いコントラストモデルに対する提案手法の有効性が示された。

関連論文リスト

• CL2CM: Improving Cross-Lingual Cross-Modal Retrieval via Cross-Lingual Knowledge Transfer [23.58317401302547]
  本稿では,言語間移動を用いた視覚と対象言語間のアライメントを改善する汎用フレームワークCL2CMを提案する。 提案手法は,Multi30KとMSCOCOの2つの多言語画像テキストデータセットと,ビデオテキストデータセットVATEXである。
  論文  参考訳（メタデータ） (2023-12-14T14:29:53Z)
• VECO 2.0: Cross-lingual Language Model Pre-training with Multi-granularity Contrastive Learning [56.47303426167584]
  複数粒度アライメントを持つコントラスト学習に基づく言語間事前学習モデルVECO2.0を提案する。 具体的には、シーケンス・ツー・シーケンスアライメントが誘導され、並列対の類似性を最大化し、非並列対を最小化する。 トークン・ツー・トークンのアライメントは、シソーラス辞書を介して発掘された同義トークンと、バイリンガルな例の他の未使用トークンとのギャップを埋めるために統合される。
  論文  参考訳（メタデータ） (2023-04-17T12:23:41Z)
• DiMBERT: Learning Vision-Language Grounded Representations with Disentangled Multimodal-Attention [101.99313208598569]
  視覚と言語(V-L)タスクは、視覚内容と自然言語の両方を理解する必要がある。 視覚と言語に対する注意空間を分離したDiMBERT(Disentangled Multimodal-Attention BERT)を提案する。 DiMBERTは3つのタスクに対して最新のパフォーマンスを新たに設定する。
  論文  参考訳（メタデータ） (2022-10-28T23:00:40Z)
• Improving the Cross-Lingual Generalisation in Visual Question Answering [40.86774711775718]
  多言語視覚言語事前学習モデルは、非英語データに適用した場合、言語間一般化が不十分であることを示す。 本研究は、ゼロショット言語間視覚質問応答(VQA)タスクにおいて、これらのモデルの低性能について検討する。 我々は,(1)類似性に基づく損失によるクロスエントロピー損失を増大させる言語的事前目標を導入し,トレーニング中にモデルを導くこと,(2)言語的一般化を改善し,モデルの修正を伴わずに分散を低減するタスク固有のサブネットワークを学習すること,(3)合成コードを用いたトレーニング例を強化すること,の3つの戦略を用いて言語的事前移動を改善する。
  論文  参考訳（メタデータ） (2022-09-07T08:07:43Z)
• UC2: Universal Cross-lingual Cross-modal Vision-and-Language Pre-training [52.852163987208826]
  UC2は、言語間クロスモーダル表現学習のための最初の機械翻訳拡張フレームワークである。 Masked Region-token Modeling (MRTM) と Visual Translation Language Modeling (VTLM) の2つの新しいプリトレーニングタスクを提案する。 提案手法は,英語タスクにおける単言語学習モデルと同等の性能を維持しつつ,多種多様な非英語ベンチマークで新たな最先端を実現する。
  論文  参考訳（メタデータ） (2021-04-01T08:30:53Z)
• WenLan: Bridging Vision and Language by Large-Scale Multi-Modal Pre-Training [71.37731379031487]
  クロスモーダルコントラスト学習フレームワークにおいて,BriVLと呼ばれる2重塔前訓練モデルを提案する。 単純なコントラスト学習手法を採用したopenaiクリップとは異なり,最新のメソッドmocoをクロスモーダルシナリオに適用することにより,より高度なアルゴリズムを考案する。 大規模なキューベースの辞書を構築することで、BriVLは限られたGPUリソースにネガティブなサンプルを組み込むことができます。
  論文  参考訳（メタデータ） (2021-03-11T09:39:49Z)
• Cross-lingual Visual Pre-training for Multimodal Machine Translation [36.4592103797139]
  我々は、言語間および視覚的事前学習法を組み合わせて、言語間表現を学習する。 マルチモーダル機械翻訳のための微調整を行うと、これらのモデルが最先端の性能を得ることを示す。
  論文  参考訳（メタデータ） (2021-01-25T12:46:41Z)
• InfoXLM: An Information-Theoretic Framework for Cross-Lingual Language Model Pre-Training [135.12061144759517]
  本稿では,言語間言語モデルの事前学習を定式化する情報理論フレームワークを提案する。 コントラスト学習に基づく新しい事前学習課題を提案する。 単言語コーパスと並列コーパスの両方を活用することで、事前訓練されたモデルの言語間変換性を向上させるために、プレテキストを共同で訓練する。
  論文  参考訳（メタデータ） (2020-07-15T16:58:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。