論文の概要: Object-aware Contrastive Learning for Debiased Scene Representation

• arxiv url: http://arxiv.org/abs/2108.00049v1
• Date: Fri, 30 Jul 2021 19:24:07 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-03 15:34:36.925005
• Title: Object-aware Contrastive Learning for Debiased Scene Representation
• Title（参考訳）: デバイアスシーン表現のためのオブジェクト指向コントラスト学習
• Authors: Sangwoo Mo, Hyunwoo Kang, Kihyuk Sohn, Chun-Liang Li, Jinwoo Shin
• Abstract要約: オブジェクトを自己教師型でローカライズする,オブジェクト認識型コントラスト学習フレームワークを開発した。 また、コントラCAM、オブジェクト認識型乱作、背景混合に基づく2つのデータ拡張を導入し、コントラスト型自己教師型学習における文脈バイアスと背景バイアスを低減した。
• 参考スコア（独自算出の注目度）: 74.30741492814327
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Contrastive self-supervised learning has shown impressive results in learning visual representations from unlabeled images by enforcing invariance against different data augmentations. However, the learned representations are often contextually biased to the spurious scene correlations of different objects or object and background, which may harm their generalization on the downstream tasks. To tackle the issue, we develop a novel object-aware contrastive learning framework that first (a) localizes objects in a self-supervised manner and then (b) debias scene correlations via appropriate data augmentations considering the inferred object locations. For (a), we propose the contrastive class activation map (ContraCAM), which finds the most discriminative regions (e.g., objects) in the image compared to the other images using the contrastively trained models. We further improve the ContraCAM to detect multiple objects and entire shapes via an iterative refinement procedure. For (b), we introduce two data augmentations based on ContraCAM, object-aware random crop and background mixup, which reduce contextual and background biases during contrastive self-supervised learning, respectively. Our experiments demonstrate the effectiveness of our representation learning framework, particularly when trained under multi-object images or evaluated under the background (and distribution) shifted images.
• Abstract（参考訳）: 対照的な自己教師型学習は、異なるデータ拡張に対する不変性を強制することにより、ラベルのない画像から視覚表現を学習する際、印象的な結果を示した。 しかし、学習された表現は、異なるオブジェクトやオブジェクト、背景のスプリアスなシーン相関に文脈的に偏りがちであり、下流タスクの一般化を損なう可能性がある。 この問題に対処するために、まず(a)自己監督的な方法でオブジェクトをローカライズし、次に(b)推論対象位置を考慮した適切なデータ拡張を通じてシーン相関をデビアスする新しいオブジェクト認識コントラスト学習フレームワークを開発する。 例えば, 画像中の最も識別性の高い領域(例えばオブジェクト)を, 対照的に訓練されたモデルを用いた他の画像と比較し, コントラクティブなクラスアクティベーションマップ(ContraCAM)を提案する。 我々はさらにContraCAMを改良し、反復的精錬法により複数の物体と全形状を検出する。 b) コントラCAM, オブジェクト認識型乱作, 背景混合に基づく2つのデータ拡張を導入し, コントラスト学習における文脈バイアスと背景バイアスを低減した。 実験では,マルチオブジェクト画像でトレーニングしたり,背景(および分布)シフト画像で評価した場合に,表現学習フレームワークの有効性を示す。

関連論文リスト

• Human-Object Interaction Detection Collaborated with Large Relation-driven Diffusion Models [65.82564074712836]
  テキストと画像の拡散モデルに光を流す新しいHOI検出器であるDIFfusionHOIを紹介する。 まず、埋め込み空間における人間と物体の関係パターンの表現をインバージョンベースで学習する戦略を考案する。 これらの学習された関係埋め込みはテキストのプロンプトとして機能し、スタイア拡散モデルが特定の相互作用を記述する画像を生成する。
  論文  参考訳（メタデータ） (2024-10-26T12:00:33Z)
• Matching Multiple Perspectives for Efficient Representation Learning [0.0]
  本稿では,自己教師型学習とマルチパースペクティブマッチング技術を組み合わせたアプローチを提案する。 我々は,同一オブジェクトの複数ビューと多種多様な自己教師付き事前学習アルゴリズムを組み合わせることで,オブジェクト分類性能が向上することを示す。
  論文  参考訳（メタデータ） (2022-08-16T10:33:13Z)
• CoDo: Contrastive Learning with Downstream Background Invariance for Detection [10.608660802917214]
  下流背景不変性(CoDo)を用いたコントラスト学習という,オブジェクトレベルの自己教師型学習手法を提案する。 プリテキストタスクは、さまざまなバックグラウンド、特に下流データセットのインスタンス位置モデリングに集中するように変換される。 MSCOCOの実験では、共通のバックボーンを持つCoDoであるResNet50-FPNが、オブジェクト検出に強力な転送学習結果をもたらすことを示した。
  論文  参考訳（メタデータ） (2022-05-10T01:26:15Z)
• Towards Self-Supervised Learning of Global and Object-Centric Representations [4.36572039512405]
  自己スーパービジョンを用いた構造化対象中心表現の学習における重要な側面について論じる。 CLEVRデータセットに関するいくつかの実験を通じて、私たちの洞察を検証します。
  論文  参考訳（メタデータ） (2022-03-11T15:18:47Z)
• Contrastive Object-level Pre-training with Spatial Noise Curriculum Learning [12.697842097171119]
  本稿では,生成した領域を適応的に拡張するカリキュラム学習機構を提案する。 実験の結果,マルチオブジェクトシーンイメージデータセットの事前学習において,MoCo v2のベースラインに対するアプローチは,複数のオブジェクトレベルタスクに対して大きなマージンで改善されていることがわかった。
  論文  参考訳（メタデータ） (2021-11-26T18:29:57Z)
• A Simple and Effective Use of Object-Centric Images for Long-Tailed Object Detection [56.82077636126353]
  シーン中心画像における物体検出を改善するために,物体中心画像を活用する。 私たちは、シンプルで驚くほど効果的なフレームワークを提示します。 我々の手法は、レアオブジェクトのオブジェクト検出(およびインスタンスセグメンテーション)の精度を相対的に50%(および33%)向上させることができる。
  論文  参考訳（メタデータ） (2021-02-17T17:27:21Z)
• Instance Localization for Self-supervised Detection Pretraining [68.24102560821623]
  インスタンスローカリゼーションと呼ばれる,新たな自己監視型プリテキストタスクを提案する。 境界ボックスを事前学習に組み込むことで、より優れたタスクアライメントとアーキテクチャアライメントが促進されることを示す。 実験結果から, オブジェクト検出のための最先端の転送学習結果が得られた。
  論文  参考訳（メタデータ） (2021-02-16T17:58:57Z)
• Distilling Localization for Self-Supervised Representation Learning [82.79808902674282]
  コントラスト学習は教師なし表現学習に革命をもたらした。 現在のコントラストモデルでは、前景オブジェクトのローカライズには効果がない。 本稿では,背景変化を学習するためのデータ駆動型手法を提案する。
  論文  参考訳（メタデータ） (2020-04-14T16:29:42Z)
• Improving Few-shot Learning by Spatially-aware Matching and CrossTransformer [116.46533207849619]
  数ショット学習シナリオにおけるスケールと位置ミスマッチの影響について検討する。 本稿では,複数のスケールや場所のマッチングを効果的に行うための,空間認識型マッチング手法を提案する。
  論文  参考訳（メタデータ） (2020-01-06T14:10:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。