論文の概要: VLMo: Unified Vision-Language Pre-Training with Mixture-of-Modality-Experts

• arxiv url: http://arxiv.org/abs/2111.02358v1
• Date: Wed, 3 Nov 2021 17:20:36 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-04 12:49:12.196806
• Title: VLMo: Unified Vision-Language Pre-Training with Mixture-of-Modality-Experts
• Title（参考訳）: VLMo:Mixture-of-Modality-Expertsによる統合ビジョンランゲージ事前トレーニング
• Authors: Wenhui Wang, Hangbo Bao, Li Dong, Furu Wei
• Abstract要約: 本稿では、デュアルエンコーダとモジュールトランスフォーマーネットワークを用いた融合エンコーダを共同で学習する統合ビジョンランゲージ事前学習モデル(VLMo)を提案する。 MoMEのモデリングの柔軟性のため、事前訓練されたVLMoは、視覚言語分類タスクのための融合エンコーダとして微調整できる。 本稿では,画像とテキストのペアに加えて,大規模画像のみとテキストのみのデータを効果的に活用する,段階的な事前学習戦略を提案する。
• 参考スコア（独自算出の注目度）: 46.55920956687346
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a unified Vision-Language pretrained Model (VLMo) that jointly learns a dual encoder and a fusion encoder with a modular Transformer network. Specifically, we introduce Mixture-of-Modality-Experts (MoME) Transformer, where each block contains a pool of modality-specific experts and a shared self-attention layer. Because of the modeling flexibility of MoME, pretrained VLMo can be fine-tuned as a fusion encoder for vision-language classification tasks, or used as a dual encoder for efficient image-text retrieval. Moreover, we propose a stagewise pre-training strategy, which effectively leverages large-scale image-only and text-only data besides image-text pairs. Experimental results show that VLMo achieves state-of-the-art results on various vision-language tasks, including VQA and NLVR2. The code and pretrained models are available at https://aka.ms/vlmo.
• Abstract（参考訳）: 本稿では、デュアルエンコーダとモジュールトランスフォーマーネットワークを用いた融合エンコーダを共同で学習する統合ビジョンランゲージ事前学習モデル(VLMo)を提案する。 具体的には、各ブロックがモダリティ固有の専門家のプールと共有自己着脱層を含むmixed-of-modality-experts (mome) transformerを導入する。 momeのモデリングの柔軟性により、事前訓練されたvlmoは視覚言語分類タスクのための融合エンコーダとして、または効率的な画像テキスト検索のためのデュアルエンコーダとして使用できる。 さらに,画像テキストペアに加えて,大規模画像のみとテキストのみのデータを効果的に活用する段階的事前学習戦略を提案する。 実験結果から,VLMoはVQAやNLVR2など,様々な視覚言語タスクにおいて最先端の結果が得られることがわかった。 コードと事前訓練されたモデルはhttps://aka.ms/vlmo.com/で入手できる。

関連論文リスト

• Scaling Autoregressive Multi-Modal Models: Pretraining and Instruction Tuning [115.50132185963139]
  CM3Leonはデコーダのみのマルチモーダル言語モデルであり、テキストと画像の両方を生成および埋め込むことができる。 これは、テキストのみの言語モデルに適応したレシピで訓練された最初のマルチモーダルモデルである。 CM3Leonは、同等の手法よりも5倍少ないトレーニング計算で、テキストから画像生成における最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-09-05T21:27:27Z)
• i-Code V2: An Autoregressive Generation Framework over Vision, Language, and Speech Data [101.52821120195975]
  i-Code V2は、視覚、言語、音声データの組み合わせから自然言語を生成することができる最初のモデルである。 システムは、デュアルモダリティとシングルモダリティのデータセットの大規模なコレクション上で、エンドツーエンドで事前訓練される。
  論文  参考訳（メタデータ） (2023-05-21T01:25:44Z)
• MAGVLT: Masked Generative Vision-and-Language Transformer [15.796199345773879]
  画像とテキストシーケンスの両方を生成可能な統合生成型視覚言語モデルについて検討する。 本稿では,非自己回帰マスク予測に基づく生成VL変換器MAGVLTを提案し,自己回帰生成VL変換器(ARGVLT)と比較する。 MAGVLTと画像テキストペアをスクラッチから厳格に訓練するために、画像からテキスト、テキスト・ツー・イメージ、および共同画像・テキスト・マスク予測タスクを組み合わせる。
  論文  参考訳（メタデータ） (2023-03-21T21:49:39Z)
• mPLUG-2: A Modularized Multi-modal Foundation Model Across Text, Image and Video [89.19867891570945]
  mPLUG-2は、マルチモーダル事前訓練のためのモジュール化された設計を備えた新しい統一パラダイムである。 モダリティ協力のための共通普遍加群を共有し、モダリティの絡み合いを扱うために異なるモダリティ加群を切り離す。 テキスト、画像、ビデオを含むすべてのモダリティの異なる理解タスクと生成タスクのために、異なるモジュールを選択することは柔軟です。
  論文  参考訳（メタデータ） (2023-02-01T12:40:03Z)
• VL-BEiT: Generative Vision-Language Pretraining [107.25298505511184]
  生成前訓練により学習した双方向多モード変換器であるVL-BEiTを提案する。 具体的には、画像テキスト対におけるマスク付き視覚言語モデリング、テキスト上でのマスク付き言語モデリング、画像上でのマスク付き画像モデリングを行う。
  論文  参考訳（メタデータ） (2022-06-02T16:14:19Z)
• UniVL: A Unified Video and Language Pre-Training Model for Multimodal Understanding and Generation [76.12027504427708]
  本稿では,マルチモーダル理解と生成のためのUnified Video and Language事前学習モデルUniVLを提案する。 2つのシングルモーダルエンコーダ、クロスエンコーダ、トランスフォーマーバックボーンを備えたデコーダを含む4つのコンポーネントから構成される。 ステージバイステージ事前学習(StagedP)と拡張ビデオ表現(EnhancedV)の2つの事前学習戦略を開発し、UniVLのトレーニングプロセスをより効果的にする。
  論文  参考訳（メタデータ） (2020-02-15T10:03:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。