論文の概要: Multimodal Masked Autoencoders Learn Transferable Representations

• arxiv url: http://arxiv.org/abs/2205.14204v1
• Date: Fri, 27 May 2022 19:09:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-05 05:34:21.226516
• Title: Multimodal Masked Autoencoders Learn Transferable Representations
• Title（参考訳）: マルチモーダルマスクオートエンコーダは転送可能表現を学習する
• Authors: Xinyang Geng, Hao Liu, Lisa Lee, Dale Schuurams, Sergey Levine, Pieter Abbeel
• Abstract要約: 単純でスケーラブルなネットワークアーキテクチャであるM3AE(Multimodal Masked Autoencoder)を提案する。 M3AEは、マスク付きトークン予測により、視覚と言語データの両方の統一エンコーダを学習する。 我々は,大規模な画像テキストデータセット上で訓練されたM3AEについて実証的研究を行い,M3AEが下流タスクによく伝達される一般化可能な表現を学習できることを見出した。
• 参考スコア（独自算出の注目度）: 127.35955819874063
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Building scalable models to learn from diverse, multimodal data remains an open challenge. For vision-language data, the dominant approaches are based on contrastive learning objectives that train a separate encoder for each modality. While effective, contrastive learning approaches introduce sampling bias depending on the data augmentations used, which can degrade performance on downstream tasks. Moreover, these methods are limited to paired image-text data, and cannot leverage widely-available unpaired data. In this paper, we investigate whether a large multimodal model trained purely via masked token prediction, without using modality-specific encoders or contrastive learning, can learn transferable representations for downstream tasks. We propose a simple and scalable network architecture, the Multimodal Masked Autoencoder (M3AE), which learns a unified encoder for both vision and language data via masked token prediction. We provide an empirical study of M3AE trained on a large-scale image-text dataset, and find that M3AE is able to learn generalizable representations that transfer well to downstream tasks. Surprisingly, we find that M3AE benefits from a higher text mask ratio (50-90%), in contrast to BERT whose standard masking ratio is 15%, due to the joint training of two data modalities. We also provide qualitative analysis showing that the learned representation incorporates meaningful information from both image and language. Lastly, we demonstrate the scalability of M3AE with larger model size and training time, and its flexibility to train on both paired image-text data as well as unpaired data.
• Abstract（参考訳）: 多様なマルチモーダルデータから学ぶスケーラブルなモデルの構築は、依然としてオープンな課題である。 視覚言語データの場合、支配的なアプローチは、それぞれのモダリティに対して別々のエンコーダを訓練する対照的な学習目標に基づいている。 効果的な対照的な学習手法では、データ拡張によってサンプリングバイアスが導入され、下流タスクのパフォーマンスが低下する可能性がある。 さらに、これらの手法は画像テキストのペアに制限されており、広く利用できないデータを活用できない。 本稿では,モダリティ固有のエンコーダやコントラスト学習を使わずに,マスクドトークン予測によって純粋にトレーニングされた大規模マルチモーダルモデルが,下流タスクの転送可能表現を学習できるかどうかを検討する。 本稿では,マルチモーダルマスク付きオートエンコーダ(M3AE)という,シンプルでスケーラブルなネットワークアーキテクチャを提案する。 我々は,大規模画像テキストデータセット上で訓練されたm3aeの実証研究を行い,m3aeが下流タスクによく伝達される一般化表現を学習できることを見出した。 驚くべきことに、M3AEは2つのデータモダリティの共同トレーニングにより、標準的なマスキング比が15%のBERTに比べて高いテキストマスク比(50-90%)の恩恵を受けている。 また,学習表現が画像と言語の両方から有意な情報を取り入れていることを示す質的分析も提供する。 最後に、モデルサイズとトレーニング時間を大きくしたM3AEのスケーラビリティと、ペア画像テキストデータとペアデータの両方でトレーニングする柔軟性を実証する。

関連論文リスト

• Matryoshka Multimodal Models [92.41824727506751]
  我々はM3: Matryoshka Multimodal Modelsを提案する。 COCOスタイルのベンチマークでは,576個のトークンを使用する場合と同様の精度を得るために,9個のビジュアルトークンしか必要としないことがわかった。
  論文  参考訳（メタデータ） (2024-05-27T17:59:56Z)
• Multi-Task Multi-Modal Self-Supervised Learning for Facial Expression Recognition [6.995226697189459]
  In-the-wildビデオデータから表情認識のためのマルチモーダル自己教師学習手法を用いる。 以上の結果から,マルチモーダル・セルフ・スーパービジョン・タスクが課題に対して大きなパフォーマンス向上をもたらすことが示唆された。 トレーニング済みのモデルとソースコードを公開しています。
  論文  参考訳（メタデータ） (2024-04-16T20:51:36Z)
• Scaling Autoregressive Multi-Modal Models: Pretraining and Instruction Tuning [115.50132185963139]
  CM3Leonはデコーダのみのマルチモーダル言語モデルであり、テキストと画像の両方を生成および埋め込むことができる。 これは、テキストのみの言語モデルに適応したレシピで訓練された最初のマルチモーダルモデルである。 CM3Leonは、同等の手法よりも5倍少ないトレーニング計算で、テキストから画像生成における最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-09-05T21:27:27Z)
• MOCA: Self-supervised Representation Learning by Predicting Masked Online Codebook Assignments [72.6405488990753]
  自己教師付き学習は、ビジョントランスフォーマーネットワークの欲求を軽減できる。 所望のプロパティを統一する単段および単段のMOCAを提案する。 我々は,様々な評価プロトコルにおいて,低照度設定と強力な実験結果に対して,最先端の新たな結果を得る。
  論文  参考訳（メタデータ） (2023-07-18T15:46:20Z)
• MoMo: A shared encoder Model for text, image and multi-Modal representations [4.812718493682455]
  本稿では,複数の視覚,言語,マルチモーダルベンチマークにおいて,強力な結果が得られる自己教師付き共有エンコーダモデルを提案する。 我々は、すべてのエンコーダ層がテキストと画像のモダリティの両方を処理する単一のトランスフォーマーを使用する。
  論文  参考訳（メタデータ） (2023-04-11T22:26:10Z)
• Vision Learners Meet Web Image-Text Pairs [32.36188289972377]
  本研究では,ノイズの多いWebソースと画像テキストのペアデータに対する自己教師付き事前学習について検討する。 マスク付きトレーニング目標を用いたシングルモーダルトレーニングや,画像テキストコンストラシティブトレーニングを用いたマルチモーダルトレーニングなど,さまざまな手法を比較した。 我々は、スケーラブルなWebソース画像テキストデータから学習する新しいビジュアル表現事前学習手法MUlti-modal Generator(MUG)を提案する。
  論文  参考訳（メタデータ） (2023-01-17T18:53:24Z)
• Multi-scale Transformer Network with Edge-aware Pre-training for Cross-Modality MR Image Synthesis [52.41439725865149]
  クロスモダリティ磁気共鳴(MR)画像合成は、与えられたモダリティから欠落するモダリティを生成するために用いられる。 既存の(教師付き学習)手法は、効果的な合成モデルを訓練するために、多くのペア化されたマルチモーダルデータを必要とすることが多い。 マルチスケールトランスフォーマーネットワーク(MT-Net)を提案する。
  論文  参考訳（メタデータ） (2022-12-02T11:40:40Z)
• ASIF: Coupled Data Turns Unimodal Models to Multimodal Without Training [29.240131406803794]
  単一のドメインエンコーダとより少ない画像テキストペアを用いて、トレーニングを一切行わずに共通空間を作成することができることを示す。 私たちのモデルにはユニークな特性があり、特に注目すべきは、新しいバージョンをデプロイして、更新されたトレーニングサンプルを数秒で実行できることです。
  論文  参考訳（メタデータ） (2022-10-04T16:56:22Z)
• X-Learner: Learning Cross Sources and Tasks for Universal Visual Representation [71.51719469058666]
  本稿では,X-Learnerという表現学習フレームワークを提案する。 X-Learnerは、様々なソースによって管理される複数の視覚タスクの普遍的な特徴を学習する。 X-Learnerは、追加のアノテーションやモダリティ、計算コストを使わずに、様々なタスクで強力なパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-03-16T17:23:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。