論文の概要: Unified Multimodal Pre-training and Prompt-based Tuning for Vision-Language Understanding and Generation

• arxiv url: http://arxiv.org/abs/2112.05587v1
• Date: Fri, 10 Dec 2021 14:59:06 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-13 13:13:54.857306
• Title: Unified Multimodal Pre-training and Prompt-based Tuning for Vision-Language Understanding and Generation
• Title（参考訳）: 視覚言語理解・生成のための統一型マルチモーダル事前学習とプロンプトベースチューニング
• Authors: Tianyi Liu, Zuxuan Wu, Wenhan Xiong, Jingjing Chen, Yu-Gang Jiang
• Abstract要約: 視覚言語理解と生成のための統一型マルチモーダル事前学習を提案する。 提案したUniVLは、理解タスクと生成タスクの両方を扱うことができる。 実験の結果,同じモデルを用いた場合,理解タスクと生成タスクとの間にはトレードオフがあることが判明した。
• 参考スコア（独自算出の注目度）: 86.26522210882699
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most existing vision-language pre-training methods focus on understanding tasks and use BERT-like objectives (masked language modeling and image-text matching) during pretraining. Although they perform well in many understanding downstream tasks, e.g., visual question answering, image-text retrieval and visual entailment, they do not possess the ability to generate. To tackle this problem, we propose Unified multimodal pre-training for both Vision-Language understanding and generation (UniVL). The proposed UniVL is capable of handling both understanding tasks and generative tasks. We augment existing pretraining paradigms that only use random masks with causal masks, i.e., triangular masks that mask out future tokens, such that the pre-trained models can have autoregressive generation abilities by design. We formulate several previous understanding tasks as a text generation task and propose to use prompt-based method for fine-tuning on different downstream tasks. Our experiments show that there is a trade-off between understanding tasks and generation tasks while using the same model, and a feasible way to improve both tasks is to use more data. Our UniVL framework attains comparable performance to recent vision-language pre-training methods on both understanding tasks and generation tasks. Moreover, we demostrate that prompt-based finetuning is more data-efficient - it outperforms discriminative methods in few-shot scenarios.
• Abstract（参考訳）: 既存の視覚言語事前学習法はタスクの理解に重点を置いており、事前学習中にbertのような目的(マスク言語モデリングと画像テキストマッチング)を使用する。 視覚的質問応答、画像テキスト検索、視覚的エンターメントなど、下流の多くのタスクにおいてよく機能するが、生成する能力は持っていない。 この問題に対処するために、視覚言語理解と生成のための統一マルチモーダル事前学習(UniVL)を提案する。 提案したUniVLは、理解タスクと生成タスクの両方を扱うことができる。 我々は,無作為マスクと因果マスク,すなわち将来のトークンをマスクする三角形マスクのみを使用する既存の事前学習パラダイムを補強し,事前訓練されたモデルが設計によって自己回帰的生成能力を持つようにした。 従来の理解タスクをテキスト生成タスクとして定式化し、異なる下流タスクを微調整するためのプロンプトベースの手法を提案する。 私たちの実験では、同じモデルを使ってタスクと生成タスクを理解することと、両方のタスクを改善するためにより多くのデータを使うというトレードオフがあることが示されています。 我々のUniVLフレームワークは、タスクと生成タスクの両方の理解において、近年の視覚言語による事前学習手法に匹敵する性能を得る。 さらに私たちは,プロンプトベースの微調整の方がデータ効率がよいことを強調する。

関連論文リスト

• ULTRA-DP: Unifying Graph Pre-training with Multi-task Graph Dual Prompt [67.8934749027315]
  本稿では,タスク識別と位置識別をGNNに注入する,グラフハイブリッド事前学習のための統合フレームワークを提案する。 また,約$k$-nearest隣人のグループに基づいた,新しい事前学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-10-23T12:11:13Z)
• Mastering Robot Manipulation with Multimodal Prompts through Pretraining and Multi-task Fine-tuning [49.92517970237088]
  我々はマルチモーダルなプロンプトを理解するためにロボットを訓練する問題に取り組む。 このようなタスクは、視覚と言語信号の相互接続と相補性を理解するロボットの能力にとって大きな課題となる。 マルチモーダルプロンプトを用いてロボット操作を行うためのポリシーを学習する効果的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-14T22:24:58Z)
• TransPrompt v2: A Transferable Prompting Framework for Cross-task Text Classification [37.824031151922604]
  そこで本研究では,テキスト分類タスク間の数ショット学習を実現するための,トランスプロンプトv2を提案する。 類似したタスクを学習するために、メタラーナーを訓練するためにマルチタスクメタ知識獲得(MMA)手順を用いる。 遠隔タスクを学習するために、タスクタイプ記述をプロンプトに注入し、タイプ内およびタイプ間プロンプト埋め込みをキャプチャする。
  論文  参考訳（メタデータ） (2023-08-29T04:16:57Z)
• Seeing What You Miss: Vision-Language Pre-training with Semantic Completion Learning [22.464424641734652]
  クロスモーダルアライメントは視覚言語事前学習モデルに不可欠である。 本研究では,グローバル・ローカル・アライメントを支援するセマンティック・コンプリート学習タスクを提案する。 また、フレキシブル・ビジョン・エンコーダを導入し、画像テキストとビデオテキストのマルチモーダルタスクを同時に実行できるようにした。
  論文  参考訳（メタデータ） (2022-11-24T06:39:16Z)
• Coarse-to-Fine Vision-Language Pre-training with Fusion in the Backbone [170.85076677740292]
  本稿では、視覚言語(VL)事前学習のための新しいモデルアーキテクチャであるFIBER(Fusion-In-the-Backbone-basedER)を提案する。 ユニモーダルバックボーンの後に、専用のトランスフォーマー層を融合させる代わりに、FIBERはマルチモーダルフュージョンをモデルに深く押し込む。 我々は、VQA、画像キャプション、検索、フレーズグラウンド、参照表現理解、オブジェクト検出など、幅広いVLタスクに関する包括的な実験を行う。
  論文  参考訳（メタデータ） (2022-06-15T16:41:29Z)
• VLM: Task-agnostic Video-Language Model Pre-training for Video Understanding [78.28397557433544]
  本稿では,タスクに依存しないマルチモーダル事前学習手法を提案する。 実験の結果,従来の手法よりも広い範囲のタスクに対して強い性能を示し,タスク固有の事前学習よりも優れていた。
  論文  参考訳（メタデータ） (2021-05-20T19:13:27Z)
• Hierarchical Multitask Learning Approach for BERT [0.36525095710982913]
  BERTは、マスク付き言語モデル(masked LM)と次の文予測(NSP)である2つのタスクを解くことで埋め込みを学習する BERT事前学習には階層型マルチタスク学習アプローチを採用する。 この結果から,タスク階層を事前学習に組み込むことで,組込み性能が向上することが示唆された。
  論文  参考訳（メタデータ） (2020-10-17T09:23:04Z)
• Pre-training Text Representations as Meta Learning [113.3361289756749]
  本稿では,下流タスクを効果的に学習するために,モデルがテキスト表現を学習する能力を直接最適化する学習アルゴリズムを提案する。 マルチタスク事前学習とモデル非依存型メタラーニングの間には,一連のメタトレインステップによる本質的な関係があることが示されている。
  論文  参考訳（メタデータ） (2020-04-12T09:05:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。