論文の概要: Coarse-to-Fine Vision-Language Pre-training with Fusion in the Backbone

• arxiv url: http://arxiv.org/abs/2206.07643v1
• Date: Wed, 15 Jun 2022 16:41:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-16 15:08:04.645001
• Title: Coarse-to-Fine Vision-Language Pre-training with Fusion in the Backbone
• Title（参考訳）: 背骨に融合した粗視言語前訓練
• Authors: Zi-Yi Dou, Aishwarya Kamath, Zhe Gan, Pengchuan Zhang, Jianfeng Wang, Linjie Li, Zicheng Liu, Ce Liu, Yann LeCun, Nanyun Peng, Jianfeng Gao, Lijuan Wang
• Abstract要約: 本稿では、視覚言語(VL)事前学習のための新しいモデルアーキテクチャであるFIBER(Fusion-In-the-Backbone-basedER)を提案する。 ユニモーダルバックボーンの後に、専用のトランスフォーマー層を融合させる代わりに、FIBERはマルチモーダルフュージョンをモデルに深く押し込む。 我々は、VQA、画像キャプション、検索、フレーズグラウンド、参照表現理解、オブジェクト検出など、幅広いVLタスクに関する包括的な実験を行う。
• 参考スコア（独自算出の注目度）: 170.85076677740292
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-language (VL) pre-training has recently received considerable attention. However, most existing end-to-end pre-training approaches either only aim to tackle VL tasks such as image-text retrieval, visual question answering (VQA) and image captioning that test high-level understanding of images, or only target region-level understanding for tasks such as phrase grounding and object detection. We present FIBER (Fusion-In-the-Backbone-based transformER), a new VL model architecture that can seamlessly handle both these types of tasks. Instead of having dedicated transformer layers for fusion after the uni-modal backbones, FIBER pushes multimodal fusion deep into the model by inserting cross-attention into the image and text backbones, bringing gains in terms of memory and performance. In addition, unlike previous work that is either only pre-trained on image-text data or on fine-grained data with box-level annotations, we present a two-stage pre-training strategy that uses both these kinds of data efficiently: (i) coarse-grained pre-training based on image-text data; followed by (ii) fine-grained pre-training based on image-text-box data. We conduct comprehensive experiments on a wide range of VL tasks, ranging from VQA, image captioning, and retrieval, to phrase grounding, referring expression comprehension, and object detection. Using deep multimodal fusion coupled with the two-stage pre-training, FIBER provides consistent performance improvements over strong baselines across all tasks, often outperforming methods using magnitudes more data. Code is available at https://github.com/microsoft/FIBER.
• Abstract（参考訳）: ビジョン言語(VL)事前学習は近年注目されている。 しかし、既存のエンドツーエンドの事前学習アプローチは、画像の高レベルな理解をテストする画像テキスト検索、視覚的質問応答(VQA)、画像キャプションといったVLタスクへの取り組み、あるいはフレーズグラウンドやオブジェクト検出といったタスクに対する領域レベルの理解のみを目的としている。 両タスクをシームレスに処理できる新しいVLモデルアーキテクチャであるFIBER(Fusion-In-the-Backbone-based transformER)を提案する。 ユニモーダルバックボーンの後に専用のトランスフォーマー層を持つ代わりに、fiberは画像とテキストバックボーンにクロスアテンションを挿入することでマルチモーダルフュージョンをモデルに深く押し込み、メモリとパフォーマンスの面で利益をもたらします。 さらに,画像テキストデータのみを事前学習したり,ボックスレベルのアノテーションで細粒度データを扱う従来の作業と異なり,これら2種類のデータを効率的に使用する2段階事前学習戦略を提案する。 (i)画像テキストデータに基づく粗粒事前学習、続いて (ii)画像テキストボックスデータに基づく微粒度事前学習 我々は,vqa,画像キャプション,検索,フレーズグラウンド,参照表現理解,オブジェクト検出など,幅広いvlタスクに関する包括的実験を行う。 深層マルチモーダル融合と2段階の事前トレーニングを組み合わせることで、FIBERは全てのタスクにわたる強力なベースラインよりも一貫したパフォーマンス向上を実現します。 コードはhttps://github.com/microsoft/fiberで入手できる。

関連論文リスト

• Vision Model Pre-training on Interleaved Image-Text Data via Latent Compression Learning [78.19528555505961]
  本稿では,LCL(Latent Compression Learning)と呼ばれる視覚モデル事前学習手法を提案する。 学習対象は,1)視覚表現と先行文脈の対比学習,2)視覚表現に基づく後続テキストの生成という2つの基本課題に分解することができる。 実験により,本手法は,ペア付き事前学習データセット上でのCLIPの性能に適合するだけでなく,インターリーブ付き事前学習データの活用も可能であることが示された。
  論文  参考訳（メタデータ） (2024-06-11T17:59:35Z)
• Advancing Visual Grounding with Scene Knowledge: Benchmark and Method [74.72663425217522]
  ビジュアルグラウンドディング(VG)は、視覚と言語の間にきめ細かいアライメントを確立することを目的としている。 既存のVGデータセットの多くは、単純な記述テキストを使って構築されている。 我々は、アンダーラインScene underline-guided underlineVisual underlineGroundingの新たなベンチマークを提案する。
  論文  参考訳（メタデータ） (2023-07-21T13:06:02Z)
• Text-based Person Search without Parallel Image-Text Data [52.63433741872629]
  テキストベースの人物探索(TBPS)は,対象者の画像を与えられた自然言語記述に基づいて大きな画像ギャラリーから検索することを目的としている。 既存の手法は、並列画像テキストペアによるトレーニングモデルによって支配されており、収集には非常にコストがかかる。 本稿では,並列画像テキストデータなしでTBPSを探索する試みについて述べる。
  論文  参考訳（メタデータ） (2023-05-22T12:13:08Z)
• Generative Negative Text Replay for Continual Vision-Language Pretraining [95.2784858069843]
  視覚言語による事前学習が近年注目を集めている。 大量のデータは、通常ストリーミング形式で収集される。 本稿では,画像とテキスト間のマルチモーダルな知識蒸留手法を提案する。
  論文  参考訳（メタデータ） (2022-10-31T13:42:21Z)
• Unsupervised Vision-and-Language Pre-training via Retrieval-based Multi-Granular Alignment [66.77841319057299]
  非並列テキストと画像のための教師なしビジョン・アンド・ランゲージ事前学習カリキュラムを提案する。 まず、検索に基づく手法を用いて、弱整列画像テキストコーパスを構築し、次に、複数粒状アライメントの事前学習タスクを適用する。 包括的なアブレーション研究は、それぞれの粒度がより強力な事前学習モデルを学ぶのに役立つことを示している。
  論文  参考訳（メタデータ） (2022-03-01T05:34:01Z)
• E2E-VLP: End-to-End Vision-Language Pre-training Enhanced by Visual Learning [31.622393984150314]
  本稿では,V+L理解と生成のための視覚言語事前学習モデルを提案する。 視覚表現と画像とテキスト間のセマンティックアライメントを共同で学習するための統合トランスフォーマーフレームワークを構築した。
  論文  参考訳（メタデータ） (2021-06-03T12:50:26Z)
• ImageBERT: Cross-modal Pre-training with Large-scale Weak-supervised Image-Text Data [9.3935916515127]
  画像-テキスト共同埋め込みのための視覚教師付き事前学習モデルである ImageBERT を導入する。 我々のモデルはTransformerベースのモデルであり、入力として異なるモダリティを取り、それらの関係をモデル化する。
  論文  参考訳（メタデータ） (2020-01-22T11:35:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。