論文の概要: SynCo: Synthetic Hard Negatives in Contrastive Learning for Better Unsupervised Visual Representations

• arxiv url: http://arxiv.org/abs/2410.02401v2
• Date: Mon, 14 Oct 2024 23:48:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-04 03:30:37.555451
• Title: SynCo: Synthetic Hard Negatives in Contrastive Learning for Better Unsupervised Visual Representations
• Title（参考訳）: SynCo: より良い教師なし視覚表現のためのコントラスト学習における合成ハードネガティクス
• Authors: Nikolaos Giakoumoglou, Tania Stathaki,
• Abstract要約: 表現空間上で合成ハードネガティブを生成することによってモデル性能を向上させる新しい手法であるSynCoを導入する。 MoCoフレームワーク上に構築されたSynCoは,計算オーバーヘッドを最小限に抑えた,さまざまな合成ハードネガをオンザフライで生成するための6つの戦略を導入している。 我々の合成ハード・ネガティブ・ジェネレーション・アプローチは、自己教師付きコントラスト学習を通じて学習した視覚的表現を著しく向上させる。
• 参考スコア（独自算出の注目度）: 6.24302896438145
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Contrastive learning has become a dominant approach in self-supervised visual representation learning. Hard negatives - samples closely resembling the anchor - are key to enhancing learned representations' discriminative power. However, efficiently leveraging hard negatives remains challenging. We introduce SynCo (sYnthetic Negatives in Contrastive learning), a novel approach that improves model performance by generating synthetic hard negatives on the representation space. Building on the MoCo framework, SynCo introduces six strategies for creating diverse synthetic hard negatives on-the-fly with minimal computational overhead. SynCo achieves faster training and better representation learning, reaching 67.9% top-1 accuracy on ImageNet ILSVRC-201 linear evaluation after 200 pretraining epochs, surpassing MoCo's 67.5% using the same ResNet-50 encoder. It also transfers more effectively to detection tasks: on PASCAL VOC, it outperforms both the supervised baseline and MoCo with 82.6% AP; on COCO, it sets new benchmarks with 41.0% AP for bounding box detection and 35.7% AP for instance segmentation. Our synthetic hard negative generation approach significantly enhances visual representations learned through self-supervised contrastive learning. Code is available at https://github.com/giakoumoglou/synco.
• Abstract（参考訳）: コントラスト学習は、自己監督型視覚表現学習において支配的なアプローチとなっている。 ハードネガティブ(アンカーによく似たサンプル)は、学習した表現の識別力を高める鍵となる。 しかし、ハードネガティブを効果的に活用することは依然として困難である。 表現空間上の合成強陰性を生成することによってモデル性能を向上させる新しい手法であるSynCo(SYnthetic Negatives in Contrastive Learning)を紹介する。 MoCoフレームワーク上に構築されたSynCoは,計算オーバーヘッドを最小限に抑えた,さまざまな合成ハードネガをオンザフライで生成するための6つの戦略を導入している。 SynCoはより高速なトレーニングと表現学習を実現し、イメージNet ILSVRC-201の線形評価では67.9%の精度を達成し、同じResNet-50エンコーダを使用してMoCoの67.5%を上回った。 PASCAL VOCでは、監督されたベースラインとMoCoの両方を82.6%APで上回り、COCOではバウンディングボックス検出の41.0%AP、インスタンスセグメンテーションの35.7%APで新しいベンチマークを設定できる。 我々の合成ハード・ネガティブ・ジェネレーション・アプローチは、自己教師付きコントラスト学習を通じて学習した視覚的表現を著しく向上させる。 コードはhttps://github.com/giakoumoglou/synco.comから入手できる。

関連論文リスト

• CoNe: Contrast Your Neighbours for Supervised Image Classification [62.12074282211957]
  Contrast Your Neighbours (CoNe)は、教師付き画像分類のための学習フレームワークである。 CoNeは、より適応的で洗練されたターゲットを生成するために、類似した隣人の特徴をアンカーとして採用している。 私たちのCoNeは、最近のTimトレーニングレシピを上回るResNet-50で、ImageNetの80.8%のTop-1精度を実現しています。
  論文  参考訳（メタデータ） (2023-08-21T14:49:37Z)
• Siamese Prototypical Contrastive Learning [24.794022951873156]
  コントラスト型自己教師学習(Contrastive Self-supervised Learning, CSL)は、大規模データから意味のある視覚的表現を教師なしアプローチで学習する実践的ソリューションである。 本稿では,単純かつ効果的なコントラスト学習フレームワークを導入することで,この問題に対処する。 重要な洞察は、シアメスタイルのメートル法損失を用いて、原型間特徴間の距離を増大させながら、原型内特徴と一致させることである。
  論文  参考訳（メタデータ） (2022-08-18T13:25:30Z)
• Fast-MoCo: Boost Momentum-based Contrastive Learning with Combinatorial Patches [75.41348688487525]
  この研究は運動量に基づくコントラスト学習フレームワークを再考し、2つの拡張ビューが1つの正のペアだけを生成する非効率性を同定する。 我々は2つの拡張ビューから複数の正のペアを構築するためにパッチを利用する新しいフレームワークであるFast-MoCoを提案する。 100エポックでトレーニングされたFast-MoCoは、800エポックでトレーニングされたMoCo v3と同様、73.5%の線形評価精度を達成する。
  論文  参考訳（メタデータ） (2022-07-17T16:28:41Z)
• CaCo: Both Positive and Negative Samples are Directly Learnable via Cooperative-adversarial Contrastive Learning [45.68097757313092]
  クエリアンカーが与えられた負のサンプルと正のサンプルを区別することで、エンコーダを訓練する。 比較損失の最小化と最大化により, 正および負のサンプルを協調的に, 対角的に学習できることが示唆された。 提案手法は、ImageNet1K上で事前トレーニングされたResNet-50バックボーンの200と800のエポックに対して、トップ1の精度で71.3%と75.3%を達成する。
  論文  参考訳（メタデータ） (2022-03-27T18:50:39Z)
• Chaos is a Ladder: A New Theoretical Understanding of Contrastive Learning via Augmentation Overlap [64.60460828425502]
  コントラスト学習の下流性能に関する新たな保証を提案する。 我々の新しい理論は、攻撃的なデータ強化の下で、異なるクラス内サンプルのサポートがより重なり合うという知見に基づいている。 本稿では、下流の精度とよく一致した教師なしモデル選択距離ARCを提案する。
  論文  参考訳（メタデータ） (2022-03-25T05:36:26Z)
• Weakly Supervised Contrastive Learning [68.47096022526927]
  この問題に対処するために,弱教師付きコントラスト学習フレームワーク(WCL)を導入する。 WCLはResNet50を使用して65%と72%のImageNet Top-1の精度を実現している。
  論文  参考訳（メタデータ） (2021-10-10T12:03:52Z)
• Stochastic Contrastive Learning [3.1594831736896025]
  潜在変数(LV)モデルは不確実性への帰属を可能にし、タスク固有の圧縮を誘導し、一般により解釈可能な表現を可能にする。 本研究では,大規模コントラストSSLモデルにLV近似を導入する。
  論文  参考訳（メタデータ） (2021-10-01T17:30:08Z)
• EqCo: Equivalent Rules for Self-supervised Contrastive Learning [81.45848885547754]
  本稿では,InfoNCEをベースとしたコントラスト学習フレームワークにおいて,負のサンプル数と無関係に自己教師型学習を実現する手法を提案する。 InfoMaxの原理に着想を得て、負のペアの数に応じて、対照的な損失のマージン項を適応的にスケールする必要があることを指摘する。
  論文  参考訳（メタデータ） (2020-10-05T11:39:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。