Fugu-MT 論文翻訳(概要): Dense Contrastive Learning for Self-Supervised Visual Pre-Training

論文の概要: Dense Contrastive Learning for Self-Supervised Visual Pre-Training

arxiv url: http://arxiv.org/abs/2011.09157v2
Date: Sun, 4 Apr 2021 11:41:26 GMT
ステータス: 処理完了
システム内更新日: 2022-09-24 04:32:23.761665
Title: Dense Contrastive Learning for Self-Supervised Visual Pre-Training
Title（参考訳）: 自己監督型視覚前訓練のためのDense Contrastive Learning
Authors: Xinlong Wang, Rufeng Zhang, Chunhua Shen, Tao Kong, Lei Li
Abstract要約: 入力画像の2つのビュー間の画素レベルでの差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分)を最適化することにより自己教師学習を実現する。ベースライン法であるMoCo-v2と比較すると,計算オーバーヘッドは1%遅かった。
参考スコア（独自算出の注目度）: 102.15325936477362
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: To date, most existing self-supervised learning methods are designed and optimized for image classification. These pre-trained models can be sub-optimal for dense prediction tasks due to the discrepancy between image-level prediction and pixel-level prediction. To fill this gap, we aim to design an effective, dense self-supervised learning method that directly works at the level of pixels (or local features) by taking into account the correspondence between local features. We present dense contrastive learning, which implements self-supervised learning by optimizing a pairwise contrastive (dis)similarity loss at the pixel level between two views of input images. Compared to the baseline method MoCo-v2, our method introduces negligible computation overhead (only <1% slower), but demonstrates consistently superior performance when transferring to downstream dense prediction tasks including object detection, semantic segmentation and instance segmentation; and outperforms the state-of-the-art methods by a large margin. Specifically, over the strong MoCo-v2 baseline, our method achieves significant improvements of 2.0% AP on PASCAL VOC object detection, 1.1% AP on COCO object detection, 0.9% AP on COCO instance segmentation, 3.0% mIoU on PASCAL VOC semantic segmentation and 1.8% mIoU on Cityscapes semantic segmentation. Code is available at: https://git.io/AdelaiDet
Abstract（参考訳）: 現在まで、既存の自己教師あり学習法は画像分類のために設計・最適化されている。これらの事前学習モデルは、画像レベルの予測と画素レベルの予測との相違により、密集予測タスクに準最適である。このギャップを埋めるために,局所特徴間の対応を考慮し,ピクセル(あるいは局所特徴)のレベルで直接動作する,効果的で高密度な自己教師付き学習手法を設計することを目的とする。入力画像の2つのビュー間の画素レベルでの相似性損失を最適化し,自己教師付き学習を実現する。ベースライン法であるmoco-v2と比較すると,計算オーバーヘッドは無視できるが,オブジェクト検出や意味セグメンテーション,インスタンスセグメンテーションなど,下流の密集した予測タスクに移行した場合,一貫して優れた性能を示すとともに,最先端の手法を大差で上回っている。具体的には,強いMoCo-v2ベースライン上でPASCAL VOCオブジェクト検出では2.0% AP,COCOオブジェクト検出では1.1% AP,COCOインスタンスセグメントでは0.9% AP,PASCAL VOCセマンティックセグメントでは3.0% mIoU,Cityscapesセマンティックセグメントでは1.8% mIoUの大幅な改善を実現している。コードは、https://git.io/AdelaiDet.comで入手できる。

関連論文リスト

MOCA: Self-supervised Representation Learning by Predicting Masked Online Codebook Assignments [72.6405488990753]
自己教師付き学習は、ビジョントランスフォーマーネットワークの欲求を軽減できる。所望のプロパティを統一する単段および単段のMOCAを提案する。我々は,様々な評価プロトコルにおいて,低照度設定と強力な実験結果に対して,最先端の新たな結果を得る。
論文参考訳（メタデータ） (2023-07-18T15:46:20Z)
IDEAL: Improved DEnse locAL Contrastive Learning for Semi-Supervised Medical Image Segmentation [3.6748639131154315]
我々は,メートル法学習の概念をセグメンテーションタスクに拡張する。本稿では,高密度画素レベルの特徴量を得るための単純な畳み込みプロジェクションヘッドを提案する。下流タスクに対して,2ストリーム正規化トレーニングを含む双方向正規化機構を考案した。
論文参考訳（メタデータ） (2022-10-26T23:11:02Z)
Semantic Segmentation with Active Semi-Supervised Representation Learning [23.79742108127707]
我々はラベル付きデータよりもはるかに少ない効果的なセマンティックセグメンテーションアルゴリズムを訓練する。半教師あり学習のための平均教師アプローチを自己学習アプローチに置き換えることで、従来のS4ALアルゴリズムを拡張した。セマンティックセグメンテーションのためのアクティブラーニングのためのデファクト標準であるCamVidおよびCityScapesデータセットについて,本手法の評価を行った。
論文参考訳（メタデータ） (2022-10-16T00:21:43Z)
Self-supervised Learning with Local Contrastive Loss for Detection and Semantic Segmentation [9.711659088922838]
本稿では,オブジェクト検出やセマンティックセグメンテーションといった半言語タスクに適した自己教師付き学習(SSL)手法を提案する。我々は、同一画像の変換された画像の位置を表す自己学習特徴間の局所的な一貫性を強制する。LC-lossは、最小限のオーバーヘッドで既存の自己教師付き学習手法に追加することができる。提案手法は,COCOオブジェクト検出では1.9%,PASCALVOC検出では1.4%,CityScapesセグメンテーションでは0.6%,既存の最先端SSLアプローチでは1.9%向上する。
論文参考訳（メタデータ） (2022-07-10T06:53:15Z)
Mix-up Self-Supervised Learning for Contrast-agnostic Applications [33.807005669824136]
コントラストに依存しないアプリケーションのための,最初の混合型自己教師型学習フレームワークを提案する。クロスドメイン・ミックスアップに基づく画像間の低分散に対処し、画像再構成と透明性予測に基づくプレテキストタスクを構築する。
論文参考訳（メタデータ） (2022-04-02T16:58:36Z)
Learning Contrastive Representation for Semantic Correspondence [150.29135856909477]
セマンティックマッチングのためのマルチレベルコントラスト学習手法を提案する。画像レベルのコントラスト学習は、畳み込み特徴が類似したオブジェクト間の対応を見出すための鍵となる要素であることを示す。
論文参考訳（メタデータ） (2021-09-22T18:34:14Z)
Attention-Guided Supervised Contrastive Learning for Semantic Segmentation [16.729068267453897]
画素ごとの予測タスクでは、セグメンテーションのために1つのイメージに複数のラベルが存在する可能性がある。本研究では,1つの意味的対象を目標として毎回強調する,注意誘導型教師付きコントラスト学習手法を提案する。
論文参考訳（メタデータ） (2021-06-03T05:01:11Z)
DetCo: Unsupervised Contrastive Learning for Object Detection [64.22416613061888]
教師なしのコントラスト学習は,CNNを用いた画像表現学習において大きな成功を収めている。我々は,グローバルイメージとローカルイメージパッチのコントラストをフルに検討する,DetCoという新しいコントラスト学習手法を提案する。 DetCoは1倍のスケジュールでMask RCNN-C4/FPN/RetinaNet上で1.6/1.2/1.0 APで教師付き手法を一貫して上回っている。
論文参考訳（メタデータ） (2021-02-09T12:47:20Z)
SCAN: Learning to Classify Images without Labels [73.69513783788622]
機能学習とクラスタリングを分離する2段階のアプローチを提唱する。表現学習からの自己教師型タスクを用いて意味論的意味のある特徴を得る。我々は、ImageNet上で有望な結果を得、低データ体制下では、いくつかの半教師付き学習方法より優れています。
論文参考訳（メタデータ） (2020-05-25T18:12:33Z)
Pairwise Similarity Knowledge Transfer for Weakly Supervised Object Localization [53.99850033746663]
弱教師付き画像ラベルを持つ対象クラスにおける局所化モデル学習の問題点について検討する。本研究では,対象関数のみの学習は知識伝達の弱い形態であると主張する。 COCOおよびILSVRC 2013検出データセットの実験では、ペアワイズ類似度関数を含むことにより、ローカライズモデルの性能が大幅に向上することが示された。
論文参考訳（メタデータ） (2020-03-18T17:53:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。