論文の概要: Semantic Positive Pairs for Enhancing Contrastive Instance Discrimination

• arxiv url: http://arxiv.org/abs/2306.16122v1
• Date: Wed, 28 Jun 2023 11:47:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-29 14:26:12.070188
• Title: Semantic Positive Pairs for Enhancing Contrastive Instance Discrimination
• Title（参考訳）: コントラストの識別を促進する意味ポジティブペア
• Authors: Mohammad Alkhalefi, Georgios Leontidis, Mingjun Zhong
• Abstract要約: インスタンス識別に基づく自己教師付き学習アルゴリズムは、表現学習において有望な結果をもたらす。 しかし、埋め込み空間において正のペアを引き付け、他のすべてのインスタンスを撃退するプロセスは、重要な特徴を捨てることになる。 そこで本研究では,これらのイメージを類似したセマンティックコンテンツで識別し,肯定的な事例として扱うアプローチを提案する。
• 参考スコア（独自算出の注目度）: 10.046549855562123
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-supervised learning algorithms based on instance discrimination effectively prevent representation collapse and produce promising results in representation learning. However, the process of attracting positive pairs (i.e., two views of the same instance) in the embedding space and repelling all other instances (i.e., negative pairs) irrespective of their categories could result in discarding important features. To address this issue, we propose an approach to identifying those images with similar semantic content and treating them as positive instances, named semantic positive pairs set (SPPS), thereby reducing the risk of discarding important features during representation learning. Our approach could work with any contrastive instance discrimination framework such as SimCLR or MOCO. We conduct experiments on three datasets: ImageNet, STL-10 and CIFAR-10 to evaluate our approach. The experimental results show that our approach consistently outperforms the baseline method vanilla SimCLR across all three datasets; for example, our approach improves upon vanilla SimCLR under linear evaluation protocol by 4.18% on ImageNet with a batch size 1024 and 800 epochs.
• Abstract（参考訳）: インスタンス識別に基づく自己教師付き学習アルゴリズムは,表現の崩壊を効果的に防止し,表現学習に有望な結果をもたらす。 しかし、組込み空間において正のペア(すなわち同じインスタンスの2つのビュー)を引き付け、それらのカテゴリに関係なく他のすべてのインスタンス(すなわち負のペア)を撃退するプロセスは、重要な特徴を破棄する。 そこで本研究では,類似した意味的内容を持つ画像を特定し,それを正のインスタンスとして扱う手法であるspps(semantic positive pairs set)を提案し,表現学習中に重要な特徴を捨てるリスクを低減させる。 このアプローチは、SimCLRやMOCOのような対照的なインスタンス識別フレームワークでも機能します。 我々は、ImageNet、STL-10、CIFAR-10の3つのデータセットで実験を行い、我々のアプローチを評価する。 実験結果から,本手法は3つのデータセットのベースライン手法であるvanilla SimCLRよりも一貫して優れており,例えば,バッチサイズ1024および800エポックのImageNet上では,線形評価プロトコル下でのvanilla SimCLRを4.18%改善する。

関連論文リスト

• LeOCLR: Leveraging Original Images for Contrastive Learning of Visual Representations [4.680881326162484]
  画像分類やオブジェクト検出などの下流タスクにおける教師あり学習よりも優れている。 対照的な学習における一般的な強化手法は、ランダムな収穫とそれに続くリサイズである。 本稿では,新しいインスタンス識別手法と適応型損失関数を用いたフレームワークであるLeOCLRを紹介する。
  論文  参考訳（メタデータ） (2024-03-11T15:33:32Z)
• A Probabilistic Model Behind Self-Supervised Learning [53.64989127914936]
  自己教師付き学習(SSL)では、アノテートラベルなしで補助的なタスクを通じて表現が学習される。 自己教師型学習のための生成潜在変数モデルを提案する。 対照的な方法を含む識別的SSLのいくつかのファミリーは、表現に匹敵する分布を誘導することを示した。
  論文  参考訳（メタデータ） (2024-02-02T13:31:17Z)
• C3: Cross-instance guided Contrastive Clustering [8.953252452851862]
  クラスタリングは、事前に定義されたラベルを使わずに、類似したデータサンプルをクラスタに収集するタスクである。 我々は,新しいコントラストクラスタリング手法であるクロスインスタンスガイドコントラストクラスタリング(C3)を提案する。 提案手法は、ベンチマークコンピュータビジョンデータセット上で最先端のアルゴリズムより優れている。
  論文  参考訳（メタデータ） (2022-11-14T06:28:07Z)
• UniVIP: A Unified Framework for Self-Supervised Visual Pre-training [50.87603616476038]
  単一中心オブジェクトまたは非調和データセット上で,汎用的な視覚表現を学習するための,新しい自己教師型フレームワークを提案する。 大規模実験により、非高調波COCOで事前訓練されたUniVIPは、最先端の転送性能を実現することが示された。 また、ImageNetのような単一中心オブジェクトのデータセットを利用でき、線形探索において同じ事前学習エポックでBYOLを2.5%上回る。
  論文  参考訳（メタデータ） (2022-03-14T10:04:04Z)
• Weakly Supervised Contrastive Learning [68.47096022526927]
  この問題に対処するために,弱教師付きコントラスト学習フレームワーク(WCL)を導入する。 WCLはResNet50を使用して65%と72%のImageNet Top-1の精度を実現している。
  論文  参考訳（メタデータ） (2021-10-10T12:03:52Z)
• Contrastive Learning for Fair Representations [50.95604482330149]
  訓練された分類モデルは、意図せずバイアスのある表現や予測につながる可能性がある。 対戦訓練のような既存の分類モデルのデバイアス化手法は、訓練に高価であり、最適化が困難であることが多い。 比較学習を取り入れたバイアス軽減手法を提案し、同じクラスラベルを共有するインスタンスに類似した表現を推奨する。
  論文  参考訳（メタデータ） (2021-09-22T10:47:51Z)
• Solving Inefficiency of Self-supervised Representation Learning [87.30876679780532]
  既存のコントラスト学習法は、非常に低い学習効率に苦しむ。 アンダークラスタリングとオーバークラスタリングの問題は、学習効率の大きな障害である。 中央三重項損失を用いた新しい自己監督学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-04-18T07:47:10Z)
• Beyond Single Instance Multi-view Unsupervised Representation Learning [21.449132256091662]
  ランダムにサンプリングされた2つのインスタンス間の結合類似度を測定することにより、より正確なインスタンス識別能力を付与する。 符号化された特徴が潜伏した空間でより均等に分散される場合,共同学習の類似性によって性能が向上すると考えている。
  論文  参考訳（メタデータ） (2020-11-26T15:43:27Z)
• Unsupervised Feature Learning by Cross-Level Instance-Group Discrimination [68.83098015578874]
  我々は、インスタンスグループ化ではなく、クロスレベルな識別によって、インスタンス間の類似性を対照的な学習に統合する。 CLDは、教師なし学習を、自然データや現実世界のアプリケーションに効果的に近づける。 セルフスーパービジョン、セミスーパービジョン、トランスファーラーニングベンチマークに関する新たな最先端技術は、報告されたすべてのパフォーマンスでMoCo v2とSimCLRを上回っている。
  論文  参考訳（メタデータ） (2020-08-09T21:13:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。