論文の概要: BridgeTower: Building Bridges Between Encoders in Vision-Language Representation Learning

• arxiv url: http://arxiv.org/abs/2206.08657v5
• Date: Fri, 9 Jun 2023 12:36:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-12 18:24:18.701704
• Title: BridgeTower: Building Bridges Between Encoders in Vision-Language Representation Learning
• Title（参考訳）: BridgeTower:ビジョンランゲージ表現学習におけるエンコーダ間のブリッジ構築
• Authors: Xiao Xu, Chenfei Wu, Shachar Rosenman, Vasudev Lal, Wanxiang Che, Nan Duan
• Abstract要約: 近年,2towerアーキテクチャを用いた視覚言語モデル(VL)が視覚表現学習を支配している。 そこで,BridgeTowerを提案する。このBridgeTowerは,ユニモーダルエンコーダの上位層とクロスモーダルエンコーダの各層との間の接続を構築する複数のブリッジ層を提供する。 BridgeTowerは78.73%の精度を達成し、以前の最先端モデルであるMETERを1.09%上回った。
• 参考スコア（独自算出の注目度）: 79.65698559093973
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-Language (VL) models with the Two-Tower architecture have dominated visual-language representation learning in recent years. Current VL models either use lightweight uni-modal encoders and learn to extract, align and fuse both modalities simultaneously in a deep cross-modal encoder, or feed the last-layer uni-modal representations from the deep pre-trained uni-modal encoders into the top cross-modal encoder. Both approaches potentially restrict vision-language representation learning and limit model performance. In this paper, we propose BridgeTower, which introduces multiple bridge layers that build a connection between the top layers of uni-modal encoders and each layer of the cross-modal encoder. This enables effective bottom-up cross-modal alignment and fusion between visual and textual representations of different semantic levels of pre-trained uni-modal encoders in the cross-modal encoder. Pre-trained with only 4M images, BridgeTower achieves state-of-the-art performance on various downstream vision-language tasks. In particular, on the VQAv2 test-std set, BridgeTower achieves an accuracy of 78.73%, outperforming the previous state-of-the-art model METER by 1.09% with the same pre-training data and almost negligible additional parameters and computational costs. Notably, when further scaling the model, BridgeTower achieves an accuracy of 81.15%, surpassing models that are pre-trained on orders-of-magnitude larger datasets. Code and checkpoints are available at https://github.com/microsoft/BridgeTower.
• Abstract（参考訳）: 近年,2towerアーキテクチャを用いた視覚言語モデル(VL)が視覚言語表現学習を支配している。 現在のvlモデルは軽量なユニモーダルエンコーダを使用して、ディープクロスモーダルエンコーダで同時に両方のモダリティを抽出、調整、融合するか、またはディーププリトレーニングされたユニモーダルエンコーダからトップクロスモーダルエンコーダにラスト層ユニモーダル表現を供給するかのどちらかである。 どちらのアプローチも、視覚言語表現学習とモデルパフォーマンスを制限する可能性がある。 本稿では,一様エンコーダの上位層とクロスモーダルエンコーダの各層とを接続するブリッジ層を複数導入するBridgeTowerを提案する。 これにより、クロスモーダルエンコーダにおける事前訓練されたユニモーダルエンコーダの意味レベルの異なる視覚的およびテキスト的表現間の効果的なボトムアップクロスモーダルアライメントと融合が可能になる。 4Mイメージのみを事前トレーニングしたBridgeTowerは、さまざまな下流視覚言語タスクで最先端のパフォーマンスを実現する。 特にvqav2テストstdセットでは、bridgetowerは78.73%の精度を達成し、同じ事前トレーニングデータとほぼ無視できる追加パラメータと計算コストで以前の最先端モデルメーターを1.09%上回った。 特に、モデルをさらにスケールする場合、BridgeTowerは81.15%の精度を達成し、マグニチュードの大きなデータセットに基づいて事前トレーニングされたモデルを上回る。 コードとチェックポイントはhttps://github.com/microsoft/BridgeTower.comで入手できる。

関連論文リスト

• From Unimodal to Multimodal: Scaling up Projectors to Align Modalities [16.733970553781887]
  そこで本研究では,事前学習した凍結アンモダルエンコーダ上の投影層のみを用いて,視覚と言語モダリティを整合させる手法を提案する。 本手法は,よく訓練された視覚の埋め込み空間と言語モデルとのセマンティックな類似性を利用した。 これには、潜在空間における意味的に類似したエンコーダの選択、イメージキャプチャペアの概念豊富なデータセットのキュレーション、シンプルなプロジェクタのトレーニングが含まれる。
  論文  参考訳（メタデータ） (2024-09-28T17:57:32Z)
• ManagerTower: Aggregating the Insights of Uni-Modal Experts for Vision-Language Representation Learning [73.47165576175541]
  2tower Vision-Language (VL)モデルは、様々な下流タスクに有望な改善を示している。 異なるレベルの訓練済みユニモーダル専門家の洞察を収集し、組み合わせた、新しいVLモデルアーキテクチャであるManageTowerを提案する。
  論文  参考訳（メタデータ） (2023-05-31T18:23:57Z)
• Enabling Multimodal Generation on CLIP via Vision-Language Knowledge Distillation [79.72299298976525]
  我々は、視覚言語知識蒸留(VLKD)を通して、テキスト事前学習言語モデル(PLM)を用いた視覚言語事前学習モデルの拡張を提案する。 実験の結果,複数モーダル生成タスクにおいて,視覚的質問応答や画像キャプションなどのゼロショット性能が強いことがわかった。 PLMの本来のテキスト言語理解と生成能力は、VLKDの後に維持される。
  論文  参考訳（メタデータ） (2022-03-12T09:33:37Z)
• UniXcoder: Unified Cross-Modal Pre-training for Code Representation [65.6846553962117]
  プログラミング言語のためのクロスモーダル事前学習モデルUniXcoderを提案する。 木の構造情報を全て保持するシーケンス構造でASTを変換する1対1のマッピング手法を提案する。 我々は,UniXcoderを9つのデータセット上で5つのコード関連タスクで評価する。
  論文  参考訳（メタデータ） (2022-03-08T04:48:07Z)
• An Empirical Study of Training End-to-End Vision-and-Language Transformers [50.23532518166621]
  我々はMETER(textbfMultimodal textbfEnd-to-end textbfTransformtextbfER)を提案する。 具体的には、視覚エンコーダ(例えば、CLIP-ViT、Swin変換器)、テキストエンコーダ(例えば、RoBERTa、DeBERTa)、マルチモーダルフュージョン(例えば、マージアテンション対共振器)である。
  論文  参考訳（メタデータ） (2021-11-03T17:55:36Z)
• WenLan: Bridging Vision and Language by Large-Scale Multi-Modal Pre-Training [71.37731379031487]
  クロスモーダルコントラスト学習フレームワークにおいて,BriVLと呼ばれる2重塔前訓練モデルを提案する。 単純なコントラスト学習手法を採用したopenaiクリップとは異なり,最新のメソッドmocoをクロスモーダルシナリオに適用することにより,より高度なアルゴリズムを考案する。 大規模なキューベースの辞書を構築することで、BriVLは限られたGPUリソースにネガティブなサンプルを組み込むことができます。
  論文  参考訳（メタデータ） (2021-03-11T09:39:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。