論文の概要: Billion-Scale Pretraining with Vision Transformers for Multi-Task Visual Representations

• arxiv url: http://arxiv.org/abs/2108.05887v1
• Date: Thu, 12 Aug 2021 17:58:56 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-13 14:45:59.761234
• Title: Billion-Scale Pretraining with Vision Transformers for Multi-Task Visual Representations
• Title（参考訳）: マルチタスク視覚表現のための視覚トランスフォーマーを用いた10億規模の事前学習
• Authors: Josh Beal, Hao-Yu Wu, Dong Huk Park, Andrew Zhai, Dmitry Kislyuk
• Abstract要約: 弱教師付き事前学習によって10億以上の画像を持つデータセットを生成する方法について述べる。 従来の畳み込みバックボーンを置き換えるためにTransformerを活用しています。 本稿では,大規模トランスフォーマーによる事前学習が,産業用コンピュータビジョンアプリケーションに多大な効果をもたらすことを示す。
• 参考スコア（独自算出の注目度）: 9.6221436745451
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large-scale pretraining of visual representations has led to state-of-the-art performance on a range of benchmark computer vision tasks, yet the benefits of these techniques at extreme scale in complex production systems has been relatively unexplored. We consider the case of a popular visual discovery product, where these representations are trained with multi-task learning, from use-case specific visual understanding (e.g. skin tone classification) to general representation learning for all visual content (e.g. embeddings for retrieval). In this work, we describe how we (1) generate a dataset with over a billion images via large weakly-supervised pretraining to improve the performance of these visual representations, and (2) leverage Transformers to replace the traditional convolutional backbone, with insights into both system and performance improvements, especially at 1B+ image scale. To support this backbone model, we detail a systematic approach to deriving weakly-supervised image annotations from heterogenous text signals, demonstrating the benefits of clustering techniques to handle the long-tail distribution of image labels. Through a comprehensive study of offline and online evaluation, we show that large-scale Transformer-based pretraining provides significant benefits to industry computer vision applications. The model is deployed in a production visual shopping system, with 36% improvement in top-1 relevance and 23% improvement in click-through volume. We conduct extensive experiments to better understand the empirical relationships between Transformer-based architectures, dataset scale, and the performance of production vision systems.
• Abstract（参考訳）: 大規模なビジュアル表現の事前トレーニングは、様々なベンチマークコンピュータビジョンタスクで最先端のパフォーマンスをもたらすが、複雑なプロダクションシステムにおけるこれらのテクニックの極端な利点は、比較的探究されていない。 このような表現は、ユースケース固有の視覚的理解から、マルチタスク学習でトレーニングされる、一般的なビジュアルディスカバリ製品の場合を考える。 スキントーン分類) すべての視覚コンテンツ(例)に対する一般的な表現学習 検索のための埋め込み)。 本研究では,(1)視覚的表現の性能を向上させるために,大規模な教師付き事前訓練を通じて10億以上の画像を持つデータセットを生成する方法,(2)従来の畳み込みバックボーンを置き換えるためにトランスフォーマーを活用し,特に1B+画像スケールにおけるシステムとパフォーマンスの改善について考察する。 このバックボーンモデルをサポートするために,異種テキスト信号から弱い教師付き画像アノテーションを導出する体系的アプローチを詳述し,画像ラベルの長テール分布を扱うクラスタリング手法の利点を実証した。 オフラインおよびオンライン評価の総合的研究を通じて,大規模トランスフォーマーベースの事前学習が,産業用コンピュータビジョンアプリケーションに多大な効果をもたらすことを示す。 モデルは製品用ビジュアルショッピングシステムにデプロイされ、トップ1の関連性は36%改善され、クリックスルーボリュームは23%改善された。 我々は、Transformerベースのアーキテクチャ、データセットスケール、プロダクションビジョンシステムの性能といった経験的関係をよりよく理解するための広範な実験を行う。

関連論文リスト

• Deep Domain Adaptation: A Sim2Real Neural Approach for Improving Eye-Tracking Systems [80.62854148838359]
  眼球画像のセグメンテーションは、最終視線推定に大きな影響を及ぼす眼球追跡の重要なステップである。 対象視線画像と合成訓練データとの重なり合いを測定するために,次元還元法を用いている。 提案手法は,シミュレーションと実世界のデータサンプルの相違に対処する際の頑健で,性能が向上する。
  論文  参考訳（メタデータ） (2024-03-23T22:32:06Z)
• Unveiling Backbone Effects in CLIP: Exploring Representational Synergies and Variances [49.631908848868505]
  コントラスト言語-画像事前学習(CLIP)は画像表現学習において顕著な手法である。 各種ニューラルアーキテクチャにおけるCLIP性能の違いについて検討する。 我々は、複数のバックボーンからの予測を組み合わせるためのシンプルで効果的なアプローチを提案し、最大6.34%のパフォーマンス向上につながった。
  論文  参考訳（メタデータ） (2023-12-22T03:01:41Z)
• GPT4Image: Can Large Pre-trained Models Help Vision Models on Perception Tasks? [51.22096780511165]
  本稿では,大規模な事前学習モデルから抽出した知識を利用して,CNN や ViT などのモデルが拡張表現を学習するのを支援する新しい学習パラダイムを提案する。 我々は、詳細な記述を事前訓練されたエンコーダに入力し、画像の内容をエンコードするリッチなセマンティック情報でテキスト埋め込みを抽出する。
  論文  参考訳（メタデータ） (2023-06-01T14:02:45Z)
• Efficient Large-Scale Visual Representation Learning And Evaluation [0.13192560874022083]
  大規模なeコマースビジョンアプリケーションにおける課題を解説し、視覚表現を効果的に訓練し、評価し、提供する方法を強調する。 いくつかの下流タスクにおける視覚的表現を評価するアブレーション研究について述べる。 大規模なeコマースプラットフォーム上にデプロイされた機械学習システムの実運用におけるオンライン結果を含める。
  論文  参考訳（メタデータ） (2023-05-22T18:25:03Z)
• Advancing Plain Vision Transformer Towards Remote Sensing Foundation Model [97.9548609175831]
  約1億のパラメータを持つプレーンビジョントランスフォーマーを利用して、リモートセンシングタスク用にカスタマイズされた大規模なビジョンモデルを提案する。 具体的には、RS画像における大きな画像サイズと様々な向きのオブジェクトを扱うために、回転する様々なウィンドウアテンションを提案する。 検出タスクの実験は、DOTA-V1.0データセット上で81.16%のmAPを達成したすべての最先端モデルよりも、我々のモデルの方が優れていることを示す。
  論文  参考訳（メタデータ） (2022-08-08T09:08:40Z)
• Three things everyone should know about Vision Transformers [67.30250766591405]
  トランスフォーマーアーキテクチャは コンピュータビジョンにおいて 急速に勢いを増しています 視覚変換器の変種をシンプルかつ容易に実装できる3つの洞察を提供する。 我々は、ImageNet-1kデータセットを用いて、これらの設計選択の影響を評価し、ImageNet-v2テストセットにおける結果を確認した。
  論文  参考訳（メタデータ） (2022-03-18T08:23:03Z)
• ProFormer: Learning Data-efficient Representations of Body Movement with Prototype-based Feature Augmentation and Visual Transformers [31.908276711898548]
  身体からのデータ効率の高い認識法は、画像のような配列として構造化された骨格配列をますます活用している。 我々は、このパラダイムをトランスフォーマーネットワークの観点から見て、初めて、骨格運動のデータ効率の高いエンコーダとして視覚トランスフォーマーを探索する。 私たちのパイプラインでは、画像のような表現としてキャストされたボディポーズシーケンスをパッチ埋め込みに変換し、深いメトリック学習に最適化されたビジュアルトランスフォーマーバックボーンに渡します。
  論文  参考訳（メタデータ） (2022-02-23T11:11:54Z)
• Efficient Self-supervised Vision Transformers for Representation Learning [86.57557009109411]
  疎密な自己意識を持つマルチステージアーキテクチャは、モデリングの複雑さを著しく低減できることを示す。 そこで本研究では,モデルがよりきめ細かな領域依存を捕捉できるような,領域マッチングの事前学習タスクを提案する。 この2つの手法を組み合わせることで,ImageNet線形プローブ評価において,EsViTは81.3%のトップ1を達成した。
  論文  参考訳（メタデータ） (2021-06-17T19:57:33Z)
• Generative Adversarial Transformers [13.633811200719627]
  本稿では,新規かつ効率的な変換器であるGANsformerを紹介し,視覚生成モデリングの課題について検討する。 ネットワークは、線形効率の計算を維持しながら、画像間の長距離相互作用を可能にする二部構造を用いる。 高速な学習とより良いデータ効率を享受しながら、画像品質と多様性の観点から最先端の成果が得られることを示す。
  論文  参考訳（メタデータ） (2021-03-01T18:54:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。