論文の概要: Pre-training image-language transformers for open-vocabulary tasks

• arxiv url: http://arxiv.org/abs/2209.04372v1
• Date: Fri, 9 Sep 2022 16:11:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-12 12:53:19.745075
• Title: Pre-training image-language transformers for open-vocabulary tasks
• Title（参考訳）: オープンボキャブラリータスクのための画像言語トランスフォーマーの事前学習
• Authors: AJ Piergiovanni and Weicheng Kuo and Anelia Angelova
• Abstract要約: 本稿では,様々なタスクの混合に基づく視覚・言語トランスフォーマーモデルに対する事前学習手法を提案する。 本稿では,事前学習における画像テキストキャプションデータの利用について検討する。 本研究では,視覚質問応答,視覚的エンターテイメント,キャプションなど,テキスト生成型視覚+言語タスクの手法の評価を行い,標準的な事前学習手法よりも大きな効果を示した。
• 参考スコア（独自算出の注目度）: 53.446599611203474
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a pre-training approach for vision and language transformer models, which is based on a mixture of diverse tasks. We explore both the use of image-text captioning data in pre-training, which does not need additional supervision, as well as object-aware strategies to pre-train the model. We evaluate the method on a number of textgenerative vision+language tasks, such as Visual Question Answering, visual entailment and captioning, and demonstrate large gains over standard pre-training methods.
• Abstract（参考訳）: 本稿では,様々なタスクの混合に基づく視覚・言語トランスフォーマーモデルのための事前学習手法を提案する。 我々は,事前学習における画像テキストキャプションデータの利用と,モデルを事前学習するためのオブジェクト認識戦略について検討する。 本手法は,視覚質問応答,視覚表示,キャプションといったテキスト生成型視覚+言語タスクで評価し,標準事前学習法よりも大きな向上を示す。

関連論文リスト

• VL-GPT: A Generative Pre-trained Transformer for Vision and Language Understanding and Generation [79.02357561313785]
  視覚・言語データの同時認識・生成に長けたトランスモデルであるVL-GPT(Vision-Language Generative Pre-Traited Transformer)を導入する。 VL-GPTは、直感的な自己回帰的目的を用いることで、画像とテキストのモダリティを統一した事前学習アプローチを実現する。
  論文  参考訳（メタデータ） (2023-12-14T18:59:43Z)
• Tem-adapter: Adapting Image-Text Pretraining for Video Question Answer [79.20605034378187]
  ビデオ言語事前学習モデルは、ビデオ質問応答タスクの指導において顕著な成功を収めている。 ビデオシーケンスの長さのため、大規模なビデオベースモデルのトレーニングは、画像ベースモデルのトレーニングよりもかなりコストがかかる。 これは、画像ドメインとビデオドメインの間に明らかなギャップがあるにもかかわらず、画像ベースの事前学習からの知識を活用する動機となります。
  論文  参考訳（メタデータ） (2023-08-16T15:00:50Z)
• Instruction-Following Agents with Multimodal Transformer [95.70039658112873]
  本稿では,視覚環境下での指示追従課題をロボットが解くための,シンプルで効果的なモデルを提案する。 本手法は,視覚観察と言語指示を符号化したマルチモーダルトランスフォーマーからなる。 この統一型トランスモデルは, シングルタスクとマルチタスクの両方で, 最先端のトレーニング済みあるいは訓練済みのスクラッチ手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-24T17:46:47Z)
• Vision-and-Language Pretraining [19.903012955284698]
  本稿では,現代V&L事前学習モデルの総合的な改訂について述べる。 特に、最先端のビジョン・アンド・ランゲージ事前学習モデルの要約とともに、事前学習アプローチの分類とデライン化を行う。
  論文  参考訳（メタデータ） (2022-07-05T02:18:49Z)
• VL-BEiT: Generative Vision-Language Pretraining [107.25298505511184]
  生成前訓練により学習した双方向多モード変換器であるVL-BEiTを提案する。 具体的には、画像テキスト対におけるマスク付き視覚言語モデリング、テキスト上でのマスク付き言語モデリング、画像上でのマスク付き画像モデリングを行う。
  論文  参考訳（メタデータ） (2022-06-02T16:14:19Z)
• Vision-Language Pre-Training for Boosting Scene Text Detectors [57.08046351495244]
  シーンテキスト検出に視覚言語を用いた共同学習を特に応用する。 本稿では,視覚言語による事前学習を通して,文脈化された共同表現を学習することを提案する。 事前訓練されたモデルは、よりリッチなセマンティクスでより情報的な表現を生成することができる。
  論文  参考訳（メタデータ） (2022-04-29T03:53:54Z)
• E2E-VLP: End-to-End Vision-Language Pre-training Enhanced by Visual Learning [31.622393984150314]
  本稿では,V+L理解と生成のための視覚言語事前学習モデルを提案する。 視覚表現と画像とテキスト間のセマンティックアライメントを共同で学習するための統合トランスフォーマーフレームワークを構築した。
  論文  参考訳（メタデータ） (2021-06-03T12:50:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。