論文の概要: Unified Contrastive Learning in Image-Text-Label Space

• arxiv url: http://arxiv.org/abs/2204.03610v1
• Date: Thu, 7 Apr 2022 17:34:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-08 13:03:56.505627
• Title: Unified Contrastive Learning in Image-Text-Label Space
• Title（参考訳）: 画像-テキスト-ラベル空間における統一コントラスト学習
• Authors: Jianwei Yang, Chunyuan Li, Pengchuan Zhang, Bin Xiao, Ce Liu, Lu Yuan, Jianfeng Gao
• Abstract要約: Unified Contrastive Learning (UniCL)は、意味的に豊かだが差別的な表現を学習する効果的な方法である。 UniCLスタンドアローンは、3つの画像分類データセットにまたがる教師あり学習手法に対抗して、純粋な画像ラベルデータに関する優れた学習者である。
• 参考スコア（独自算出の注目度）: 130.31947133453406
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Visual recognition is recently learned via either supervised learning on human-annotated image-label data or language-image contrastive learning with webly-crawled image-text pairs. While supervised learning may result in a more discriminative representation, language-image pretraining shows unprecedented zero-shot recognition capability, largely due to the different properties of data sources and learning objectives. In this work, we introduce a new formulation by combining the two data sources into a common image-text-label space. In this space, we propose a new learning paradigm, called Unified Contrastive Learning (UniCL) with a single learning objective to seamlessly prompt the synergy of two data types. Extensive experiments show that our UniCL is an effective way of learning semantically rich yet discriminative representations, universally for image recognition in zero-shot, linear-probe, fully finetuning and transfer learning scenarios. Particularly, it attains gains up to 9.2% and 14.5% in average on zero-shot recognition benchmarks over the language-image contrastive learning and supervised learning methods, respectively. In linear probe setting, it also boosts the performance over the two methods by 7.3% and 3.4%, respectively. Our study also indicates that UniCL stand-alone is a good learner on pure image-label data, rivaling the supervised learning methods across three image classification datasets and two types of vision backbones, ResNet and Swin Transformer. Code is available at https://github.com/microsoft/UniCL.
• Abstract（参考訳）: 視覚認識は最近、人間の注釈付き画像ラベルデータによる教師付き学習か、weblycrawled画像テキストペアによる言語画像コントラスト学習のいずれかによって学習される。 教師付き学習はより差別的な表現をもたらすかもしれないが、言語イメージ事前学習は、主にデータソースの異なる性質と学習目的のために、前例のないゼロショット認識能力を示す。 本研究では,2つのデータソースを共通画像-テキスト-ラベル空間に組み合わせ,新しい定式化を導入する。 本稿では,2つのデータ型の相乗効果をシームレスに促進するために,単一の学習目標を持つUnified Contrastive Learning (UniCL) という新たな学習パラダイムを提案する。 広範な実験により、私たちのuniclは、ゼロショット、リニアプロベ、完全微調整、転送学習シナリオにおける画像認識に普遍的に、意味的にリッチで差別的な表現を学習する効果的な方法であることが示されました。 特に、言語画像のコントラスト学習と教師あり学習の手法に関して、ゼロショット認識ベンチマークでは、平均で9.2%、14.5%向上している。 線形プローブ設定では、2つの手法でそれぞれ7.3%と3.4%の性能を向上する。 また,3つの画像分類データセットと2種類の視覚バックボーン(ResNetとSwin Transformer)にまたがる教師あり学習手法に対抗して,UniCLは純粋な画像ラベルデータにおいて優れた学習者であることを示す。 コードはhttps://github.com/microsoft/UniCLで入手できる。

関連論文リスト

• AddressCLIP: Empowering Vision-Language Models for City-wide Image Address Localization [57.34659640776723]
  そこで我々は,より意味論的に問題を解決するために,AddressCLIPというエンドツーエンドのフレームワークを提案する。 われわれはピッツバーグとサンフランシスコに3つのデータセットを構築した。
  論文  参考訳（メタデータ） (2024-07-11T03:18:53Z)
• Non-Contrastive Learning Meets Language-Image Pre-Training [145.6671909437841]
  非コントラスト型言語画像事前学習(nCLIP)の有効性について検討する。 我々は、CLIPとnCLIPを組み合わせたマルチタスクフレームワークであるxCLIPを紹介し、nCLIPが機能セマンティクスの強化にCLIPを支援することを示す。
  論文  参考訳（メタデータ） (2022-10-17T17:57:46Z)
• CRIS: CLIP-Driven Referring Image Segmentation [71.56466057776086]
  エンドツーエンドのCLIP駆動参照画像フレームワーク(CRIS)を提案する。 CRISは、テキストとピクセルのアライメントを達成するために、視覚言語によるデコーディングとコントラスト学習に頼っている。 提案するフレームワークは, 後処理を伴わずに, 最先端の性能を著しく向上させる。
  論文  参考訳（メタデータ） (2021-11-30T07:29:08Z)
• Align before Fuse: Vision and Language Representation Learning with Momentum Distillation [52.40490994871753]
  本稿では,ALBEF (BEfore Fusing) の表現に対して,モーダルな注意を通したコントラスト的損失を導入する。 本研究では,運動量モデルで生成した擬似ターゲットから学習する自己学習法である運動量蒸留を提案する。 ALBEFは、複数の下流視覚言語タスクで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2021-07-16T00:19:22Z)
• AugNet: End-to-End Unsupervised Visual Representation Learning with Image Augmentation [3.6790362352712873]
  我々は、未ラベル画像の集合から画像特徴を学習するための新しいディープラーニングトレーニングパラダイムであるAugNetを提案する。 実験により,低次元空間における画像の表現が可能であることを実証した。 多くのディープラーニングベースの画像検索アルゴリズムとは異なり、我々のアプローチは外部アノテーション付きデータセットへのアクセスを必要としない。
  論文  参考訳（メタデータ） (2021-06-11T09:02:30Z)
• Scaling Up Visual and Vision-Language Representation Learning With Noisy Text Supervision [57.031588264841]
  高価なフィルタリングや後処理のステップを使わずに得られる10億以上の画像アルトテキストペアのノイズの多いデータセットを活用します。 単純なデュアルエンコーダアーキテクチャは、画像とテキストペアの視覚的および言語的表現を、対照的な損失を使って整列させることを学ぶ。 コーパスのスケールはノイズを補うことができ、そのような単純な学習方式であっても最先端の表現に繋がることを示す。
  論文  参考訳（メタデータ） (2021-02-11T10:08:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。