論文の概要: Spatial Cross-Attention Improves Self-Supervised Visual Representation Learning

• arxiv url: http://arxiv.org/abs/2206.05028v1
• Date: Tue, 7 Jun 2022 21:14:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-19 22:47:41.946413
• Title: Spatial Cross-Attention Improves Self-Supervised Visual Representation Learning
• Title（参考訳）: 自己教師付き視覚表現学習を改良した空間クロスタッチ
• Authors: Mehdi Seyfi, Amin Banitalebi-Dehkordi, and Yong Zhang
• Abstract要約: サンプル間の空間的相互相関を考慮に入れた知識の注入を容易にするアドオンモジュールを提案する。 これにより、特徴レベルの位置や同クラスのインスタンス間の相互類似性を含むクラス内情報を蒸留することが可能になる。
• 参考スコア（独自算出の注目度）: 5.085461418671174
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Unsupervised representation learning methods like SwAV are proved to be effective in learning visual semantics of a target dataset. The main idea behind these methods is that different views of a same image represent the same semantics. In this paper, we further introduce an add-on module to facilitate the injection of the knowledge accounting for spatial cross correlations among the samples. This in turn results in distilling intra-class information including feature level locations and cross similarities between same-class instances. The proposed add-on can be added to existing methods such as the SwAV. We can later remove the add-on module for inference without any modification of the learned weights. Through an extensive set of empirical evaluations, we verify that our method yields an improved performance in detecting the class activation maps, top-1 classification accuracy, and down-stream tasks such as object detection, with different configuration settings.
• Abstract（参考訳）: SwAVのような教師なし表現学習法は、ターゲットデータセットの視覚的意味学学習に有効であることが証明された。 これらの方法の背後にある主な考え方は、同じイメージの異なるビューが同じセマンティクスを表すことである。 本稿では,サンプル間の空間的相互相関に対する知識計算の注入を容易にするアドオンモジュールについても紹介する。 これにより、特徴レベルの位置や同クラスのインスタンス間の相互類似性を含むクラス内情報を蒸留する。 提案されたアドオンは、SwaVのような既存のメソッドに追加することができる。 その後、学習した重みを変更せずに推論のためのアドオンモジュールを削除することができる。 本手法は,広範囲にわたる経験的評価を通して,クラスアクティベーションマップの検出性能,top-1分類精度,オブジェクト検出などのダウンストリームタスクを異なる構成設定で改善できることを確認した。

関連論文リスト

• Fine-Grained Visual Classification using Self Assessment Classifier [12.596520707449027]
  識別的特徴の抽出は、きめ細かい視覚的分類タスクにおいて重要な役割を担っている。 本稿では,画像とトップkの予測クラスを同時に活用する自己評価手法を提案する。 本手法は,CUB200-2011,Stanford Dog,FGVC Aircraft のデータセットに対して,最新の結果が得られることを示す。
  論文  参考訳（メタデータ） (2022-05-21T07:41:27Z)
• LEAD: Self-Supervised Landmark Estimation by Aligning Distributions of Feature Similarity [49.84167231111667]
  自己監督型ランドマーク検出における既存の研究は、画像から高密度(ピクセルレベルの)特徴表現を学習することに基づいている。 自己教師付き方式で高密度同変表現の学習を強化するアプローチを提案する。 機能抽出器にそのような先行性があることは,アノテーションの数が大幅に制限されている場合でも,ランドマーク検出に役立ちます。
  論文  参考訳（メタデータ） (2022-04-06T17:48:18Z)
• CAD: Co-Adapting Discriminative Features for Improved Few-Shot Classification [11.894289991529496]
  少数のラベル付きサンプルを与えられた未確認のクラスに適応できるモデルを学ぶことを目的としている。 最近のアプローチでは、特徴抽出器を事前訓練し、その後、エピソードなメタラーニングのための微調整を行う。 本研究は, 複数ショットの分類において, 横断的および再重み付き識別機能を実現するための戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-25T06:14:51Z)
• Revisiting Contrastive Methods for Unsupervised Learning of Visual Representations [78.12377360145078]
  対照的な自己教師型学習は、セグメンテーションやオブジェクト検出といった多くの下流タスクにおいて教師付き事前訓練よりも優れています。 本稿では,データセットのバイアスが既存手法にどのように影響するかを最初に検討する。 現在のコントラストアプローチは、(i)オブジェクト中心対シーン中心、(ii)一様対ロングテール、(iii)一般対ドメイン固有データセットなど、驚くほどうまく機能することを示す。
  論文  参考訳（メタデータ） (2021-06-10T17:59:13Z)
• Visual Transformer for Task-aware Active Learning [49.903358393660724]
  プールベースのアクティブラーニングのための新しいパイプラインを提案する。 提案手法は,学習中に使用可能なアンラベリング例を利用して,ラベル付き例との相関関係を推定する。 ビジュアルトランスフォーマーは、ラベル付き例と非ラベル付き例の間の非ローカルビジュアル概念依存性をモデル化する。
  論文  参考訳（メタデータ） (2021-06-07T17:13:59Z)
• Instance Localization for Self-supervised Detection Pretraining [68.24102560821623]
  インスタンスローカリゼーションと呼ばれる,新たな自己監視型プリテキストタスクを提案する。 境界ボックスを事前学習に組み込むことで、より優れたタスクアライメントとアーキテクチャアライメントが促進されることを示す。 実験結果から, オブジェクト検出のための最先端の転送学習結果が得られた。
  論文  参考訳（メタデータ） (2021-02-16T17:58:57Z)
• Attributes-Guided and Pure-Visual Attention Alignment for Few-Shot Recognition [27.0842107128122]
  属性誘導型アテンションモジュール (AGAM) を設計し, 属性を付加し, より識別的な特徴を学習する。 提案モジュールは,最先端性能を実現するため,単純なメートル法に基づくアプローチを大幅に改善することができる。
  論文  参考訳（メタデータ） (2020-09-10T08:38:32Z)
• Region Comparison Network for Interpretable Few-shot Image Classification [97.97902360117368]
  新しいクラスのモデルをトレーニングするために、ラベル付きサンプルの限られた数だけを効果的に活用するための画像分類が提案されている。 本研究では,領域比較ネットワーク (RCN) と呼ばれる距離学習に基づく手法を提案する。 また,タスクのレベルからカテゴリへの解釈可能性の一般化も提案する。
  論文  参考訳（メタデータ） (2020-09-08T07:29:05Z)
• Demystifying Contrastive Self-Supervised Learning: Invariances, Augmentations and Dataset Biases [34.02639091680309]
  近年のパフォーマンス向上は、インスタンス分類モデルをトレーニングし、各イメージを扱い、拡張バージョンを単一のクラスのサンプルとして扱うことで実現している。 我々は,MOCO や PIRL のようなアプローチがオクルージョン不変表現を学習することを示した。 第2に、Imagenetのようなクリーンなオブジェクト中心のトレーニングデータセットにアクセスすることで、これらのアプローチがさらに利益を得ることを示す。
  論文  参考訳（メタデータ） (2020-07-28T00:11:31Z)
• Distilling Localization for Self-Supervised Representation Learning [82.79808902674282]
  コントラスト学習は教師なし表現学習に革命をもたらした。 現在のコントラストモデルでは、前景オブジェクトのローカライズには効果がない。 本稿では,背景変化を学習するためのデータ駆動型手法を提案する。
  論文  参考訳（メタデータ） (2020-04-14T16:29:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。