論文の概要: Oscar: Object-Semantics Aligned Pre-training for Vision-Language Tasks

• arxiv url: http://arxiv.org/abs/2004.06165v5
• Date: Sun, 26 Jul 2020 00:46:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-13 23:09:18.425751
• Title: Oscar: Object-Semantics Aligned Pre-training for Vision-Language Tasks
• Title（参考訳）: oscar: 視覚言語タスクの事前学習を指向したオブジェクトセマンティクス
• Authors: Xiujun Li, Xi Yin, Chunyuan Li, Pengchuan Zhang, Xiaowei Hu, Lei Zhang, Lijuan Wang, Houdong Hu, Li Dong, Furu Wei, Yejin Choi, Jianfeng Gao
• Abstract要約: そこで我々は,Oscar (Object-Semantics Aligned Pre-training) という新しい学習手法を提案する。 画像で検出されたオブジェクトタグをアンカーポイントとして使用することで、アライメントの学習を大幅に容易にする。 我々は、650万のテキストイメージ対のパブリックコーパスでオスカーモデルを事前訓練し、下流のタスクで微調整する。
• 参考スコア（独自算出の注目度）: 207.52609682812147
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large-scale pre-training methods of learning cross-modal representations on image-text pairs are becoming popular for vision-language tasks. While existing methods simply concatenate image region features and text features as input to the model to be pre-trained and use self-attention to learn image-text semantic alignments in a brute force manner, in this paper, we propose a new learning method Oscar (Object-Semantics Aligned Pre-training), which uses object tags detected in images as anchor points to significantly ease the learning of alignments. Our method is motivated by the observation that the salient objects in an image can be accurately detected, and are often mentioned in the paired text. We pre-train an Oscar model on the public corpus of 6.5 million text-image pairs, and fine-tune it on downstream tasks, creating new state-of-the-arts on six well-established vision-language understanding and generation tasks.
• Abstract（参考訳）: 画像とテキストのペアでクロスモーダル表現を学ぶための大規模事前学習手法が視覚言語タスクで人気を集めている。 既存の手法では,事前学習されるモデルへの入力として画像領域の特徴とテキストの特徴を単純に結合し,自己照査を用いて画像テキストの意味的アライメントをブラッテ力で学習するが,本論文では,画像から検出されたオブジェクトタグをアンカーポイントとして用いる新しい学習方法であるoscar(object-semantics aligned pre-training)を提案する。 本手法は,画像中の有意な物体を高精度に検出できるという観測結果に動機づけられ,ペアテキストでしばしば言及される。 我々は,650万のテキスト画像ペアの公開コーパスでオスカーモデルを事前学習し,下流タスクで微調整し,確立された6つの視覚言語理解と生成タスクに関する新たな最新技術を作成する。

関連論文リスト

• TIPS: Text-Image Pretraining with Spatial Awareness [13.38247732379754]
  自己教師付き画像のみの事前訓練は、多くの視覚的応用にとって依然としてゴートな方法である。 本稿では,高密度かつ大域的な視覚タスクに有効な汎用画像テキストモデルを提案する。
  論文  参考訳（メタデータ） (2024-10-21T21:05:04Z)
• Language Quantized AutoEncoders: Towards Unsupervised Text-Image Alignment [81.73717488887938]
  Language-Quantized AutoEncoder (LQAE)は、事前訓練された言語モデルを利用して、教師なしの方法でテキストイメージデータを整列することを学ぶ。 LQAEは類似した画像を類似したテキストトークンのクラスタで表現することを学び、一致したテキストイメージペアを使わずにこれら2つのモダリティを整列させる。 これにより、大きな言語モデル(例えばGPT-3)による少数ショット画像の分類や、BERTテキストの特徴に基づく画像の線形分類が可能になる。
  論文  参考訳（メタデータ） (2023-02-02T06:38:44Z)
• Fine-Grained Semantically Aligned Vision-Language Pre-Training [151.7372197904064]
  大規模な視覚言語による事前学習は、幅広い下流タスクにおいて顕著な進歩を見せている。 既存の手法は主に、画像とテキストのグローバルな表現の類似性によって、モーダル間のアライメントをモデル化する。 ゲーム理論的相互作用の新たな視点から, 微粒なセマンティックアライメントを学習する, 微粒なセマンティックなvisiOn-langUage PrEトレーニングフレームワークであるLOを導入する。
  論文  参考訳（メタデータ） (2022-08-04T07:51:48Z)
• Semantic-Aware Fine-Grained Correspondence [8.29030327276322]
  本稿では,画像レベルの自己教師付き手法を用いて,セマンティック・アウェアのきめ細かな対応を学習する。 我々は,微粒な対応を特に狙う画素レベルの自己教師型学習目標を設計する。 本手法は,様々な視覚対応タスクにおける畳み込みネットワークを用いた従来の自己教師手法を超越した手法である。
  論文  参考訳（メタデータ） (2022-07-21T12:51:41Z)
• Language Matters: A Weakly Supervised Pre-training Approach for Scene Text Detection and Spotting [69.77701325270047]
  本稿では,シーンテキストを効果的に表現できる弱教師付き事前学習手法を提案する。 本ネットワークは,画像エンコーダと文字認識型テキストエンコーダから構成され,視覚的特徴とテキスト的特徴を抽出する。 実験により、事前訓練されたモデルは、重みを他のテキスト検出やスポッティングネットワークに転送しながら、Fスコアを+2.5%、+4.8%改善することが示された。
  論文  参考訳（メタデータ） (2022-03-08T08:10:45Z)
• DenseCLIP: Language-Guided Dense Prediction with Context-Aware Prompting [91.56988987393483]
  本稿では,CLIPから事前学習した知識を暗黙的かつ明示的に活用することで,高密度予測のための新しい枠組みを提案する。 具体的には,CLIPにおける元の画像テキストマッチング問題を画素テキストマッチング問題に変換し,画素テキストスコアマップを用いて高密度予測モデルの学習を指導する。 本手法は,任意の密集予測システムや種々の事前学習された視覚バックボーンに適用可能な,モデルに依存しない手法である。
  論文  参考訳（メタデータ） (2021-12-02T18:59:32Z)
• Multi-Grained Vision Language Pre-Training: Aligning Texts with Visual Concepts [14.808701042367401]
  物体検出は視覚言語による事前学習には適さないと考えられる。 本稿では,多粒度視覚言語事前学習を行うためのX-VLMという新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-11-16T07:55:26Z)
• FILIP: Fine-grained Interactive Language-Image Pre-Training [106.19474076935363]
  微粒な対話型言語-画像事前学習は、モーダルな遅延相互作用機構を通じてより細粒度なアライメントを実現する。 我々は,FILIP300Mと呼ばれる大規模画像テキストペアデータセットを構築し,事前学習を行う。 実験により、FILIPは複数の下流視覚言語タスクで最先端のパフォーマンスを達成することが示された。
  論文  参考訳（メタデータ） (2021-11-09T17:15:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。