論文の概要: Saliency Guided Contrastive Learning on Scene Images
- arxiv url: http://arxiv.org/abs/2302.11461v1
- Date: Wed, 22 Feb 2023 15:54:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-23 14:46:57.967029
- Title: Saliency Guided Contrastive Learning on Scene Images
- Title（参考訳）: 情景画像におけるsariency guided contrastive learning
- Authors: Meilin Chen, Yizhou Wang, Shixiang Tang, Feng Zhu, Haiyang Yang, Lei
Bai, Rui Zhao, Donglian Qi, Wanli Ouyang
- Abstract要約: 我々は、学習中のモデルの出力から導かれるサリエンシマップを活用し、差別的な領域を強調し、対照的な学習全体をガイドする。
提案手法は,画像上の自己教師学習の性能を,画像の線形評価において+1.1,+4.3,+2.2の精度で向上させる。
- 参考スコア（独自算出の注目度）: 71.07412958621052
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Self-supervised learning holds promise in leveraging large numbers of
unlabeled data. However, its success heavily relies on the highly-curated
dataset, e.g., ImageNet, which still needs human cleaning. Directly learning
representations from less-curated scene images is essential for pushing
self-supervised learning to a higher level. Different from curated images which
include simple and clear semantic information, scene images are more complex
and mosaic because they often include complex scenes and multiple objects.
Despite being feasible, recent works largely overlooked discovering the most
discriminative regions for contrastive learning to object representations in
scene images. In this work, we leverage the saliency map derived from the
model's output during learning to highlight these discriminative regions and
guide the whole contrastive learning. Specifically, the saliency map first
guides the method to crop its discriminative regions as positive pairs and then
reweighs the contrastive losses among different crops by its saliency scores.
Our method significantly improves the performance of self-supervised learning
on scene images by +1.1, +4.3, +2.2 Top1 accuracy in ImageNet linear
evaluation, Semi-supervised learning with 1% and 10% ImageNet labels,
respectively. We hope our insights on saliency maps can motivate future
research on more general-purpose unsupervised representation learning from
scene data.
- Abstract（参考訳）: 自己教師付き学習は、大量のラベルのないデータを活用することを約束する。
しかし、その成功は高度に計算されたデータセット、例えば、人間のクリーニングを必要とするImageNetに大きく依存している。
低精度のシーン画像から表現を直接学習することは、自己教師あり学習をより高いレベルに押し上げる上で不可欠である。
単純で明確な意味情報を含むキュレートされた画像とは異なり、シーンイメージは複雑なシーンや複数のオブジェクトを含むため、より複雑でモザイクである。
実現可能であったにもかかわらず、近年の作品は、シーン画像のオブジェクト表現に対する対照的な学習のための最も差別的な領域の発見をほとんど見落としていた。
本研究は,学習中のモデルの出力から導かれるサリエンシマップを利用して,これらの識別領域を強調し,対照的な学習全体を導く。
特に、塩分マップはまず、その識別領域を正のペアとして収穫し、その後、その塩分スコアによって異なる作物間の対比的損失を和らげる方法を導く。
提案手法は,画像上の自己教師学習の性能を,画像の線形評価において+1.1,+4.3,+2.2の精度で向上させる。
サラマンシーマップに関する我々の洞察が、シーンデータからより汎用的な教師なし表現学習に関する将来の研究を動機付けることを期待している。
関連論文リスト
- LeOCLR: Leveraging Original Images for Contrastive Learning of Visual Representations [4.680881326162484]
画像分類やオブジェクト検出などの下流タスクにおける教師あり学習よりも優れている。
対照的な学習における一般的な強化手法は、ランダムな収穫とそれに続くリサイズである。
本稿では,新しいインスタンス識別手法と適応型損失関数を用いたフレームワークであるLeOCLRを紹介する。
論文 参考訳（メタデータ） (2024-03-11T15:33:32Z) - Semantic Segmentation with Active Semi-Supervised Learning [23.79742108127707]
本稿では,能動的学習と半教師付き学習を組み合わせた新しいアルゴリズムを提案する。
本手法は,ネットワークの性能の95%以上をフルトレーニングセットで取得する。
論文 参考訳（メタデータ） (2022-03-21T04:16:25Z) - Object-Aware Cropping for Self-Supervised Learning [21.79324121283122]
本研究では,通常のランダムな作付けに基づく自己教師型学習が,このようなデータセットでは不十分であることを示す。
対象提案アルゴリズムから得られた作物を、ランダムな作物の一方または両方に置き換えることを提案する。
オブジェクト認識トリミング(object-aware cropping)と呼ぶこのアプローチを用いることで、分類とオブジェクト検出ベンチマークにおいてシーントリミングよりも大幅に改善される。
論文 参考訳（メタデータ） (2021-12-01T07:23:37Z) - Unsupervised Object-Level Representation Learning from Scene Images [97.07686358706397]
Object-level Representation Learning (ORL) はシーンイメージに対する新たな自己教師型学習フレームワークである。
我々の重要な洞察は、画像レベルの自己教師付き事前学習を、オブジェクトレベルの意味的対応を見つけるための事前学習として活用することである。
ORLは、複数の下流タスクにおける教師付きImageNet事前学習を超越しても、シーンイメージ上での自己教師型学習のパフォーマンスを著しく向上させる。
論文 参考訳（メタデータ） (2021-06-22T17:51:24Z) - Few-Shot Learning with Part Discovery and Augmentation from Unlabeled
Images [79.34600869202373]
帰納的バイアスは、ラベルなし画像の平坦な集合から学習でき、目に見えるクラスと目に見えないクラスの間で伝達可能な表現としてインスタンス化されることを示す。
具体的には、トランスファー可能な表現を学習するための、新しいパートベース自己教師型表現学習手法を提案する。
我々の手法は印象的な結果をもたらし、それまでの最高の教師なし手法を7.74%、9.24%上回った。
論文 参考訳（メタデータ） (2021-05-25T12:22:11Z) - Self-Adaptively Learning to Demoire from Focused and Defocused Image
Pairs [97.67638106818613]
モアレアーティファクトはデジタル写真では一般的であり、高周波シーンコンテンツとカメラのカラーフィルタアレイとの干渉によるものである。
大規模反復で訓練された既存のディープラーニングに基づく復習手法は、様々な複雑なモアレパターンを扱う場合に限られる。
本稿では,高頻度画像の復調のための自己適応学習手法を提案する。
論文 参考訳（メタデータ） (2020-11-03T23:09:02Z) - Mining Cross-Image Semantics for Weakly Supervised Semantic Segmentation [128.03739769844736]
2つのニューラルコアテンションを分類器に組み込んで、画像間のセマンティックな類似点と相違点をキャプチャする。
オブジェクトパターン学習の強化に加えて、コアテンションは他の関連する画像からのコンテキストを活用して、ローカライズマップの推論を改善することができる。
提案アルゴリズムは,これらすべての設定に対して新たな最先端性を設定し,その有効性と一般化性を示す。
論文 参考訳（メタデータ） (2020-07-03T21:53:46Z) - Distilling Localization for Self-Supervised Representation Learning [82.79808902674282]
コントラスト学習は教師なし表現学習に革命をもたらした。
現在のコントラストモデルでは、前景オブジェクトのローカライズには効果がない。
本稿では,背景変化を学習するためのデータ駆動型手法を提案する。
論文 参考訳（メタデータ） (2020-04-14T16:29:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。