論文の概要: SynCo: Synthetic Hard Negatives in Contrastive Learning for Better Unsupervised Visual Representations

• arxiv url: http://arxiv.org/abs/2410.02401v5
• Date: Tue, 5 Nov 2024 14:38:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-06 15:11:34.575837
• Title: SynCo: Synthetic Hard Negatives in Contrastive Learning for Better Unsupervised Visual Representations
• Title（参考訳）: SynCo: より良い教師なし視覚表現のためのコントラスト学習における合成ハードネガティクス
• Authors: Nikolaos Giakoumoglou, Tania Stathaki,
• Abstract要約: 表現空間上で合成ハードネガティブを生成することによってモデル性能を向上させる新しい手法であるSynCoを導入する。 MoCoフレームワーク上に構築されたSynCoは,計算オーバーヘッドを最小限に抑えた,さまざまな合成ハードネガをオンザフライで生成するための6つの戦略を導入している。 我々の合成ハード・ネガティブ・ジェネレーション・アプローチは、自己教師付きコントラスト学習を通じて学習した視覚的表現を著しく向上させる。
• 参考スコア（独自算出の注目度）: 6.24302896438145
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Contrastive learning has become a dominant approach in self-supervised visual representation learning. Hard negatives - samples closely resembling the anchor - are key to enhancing learned representations' discriminative power. However, efficiently leveraging hard negatives remains challenging. We introduce SynCo (Synthetic Negatives in Contrastive learning), a novel approach that improves model performance by generating synthetic hard negatives on the representation space. Building on the MoCo framework, SynCo introduces six strategies for creating diverse synthetic hard negatives on-the-fly with minimal computational overhead. SynCo achieves faster training and better representation learning, reaching 67.9% top-1 accuracy on ImageNet ILSVRC-2012 linear evaluation after 200 pretraining epochs, surpassing MoCo's 67.5% using the same ResNet-50 encoder. It also transfers more effectively to detection tasks: on PASCAL VOC, it outperforms both the supervised baseline and MoCo with 82.5% AP; on COCO, it sets new benchmarks with 40.9% AP for bounding box detection and 35.5% AP for instance segmentation. Our synthetic hard negative generation approach significantly enhances visual representations learned through self-supervised contrastive learning. Code is available at https://github.com/giakoumoglou/synco.
• Abstract（参考訳）: コントラスト学習は、自己監督型視覚表現学習において支配的なアプローチとなっている。 ハードネガティブ(アンカーによく似たサンプル)は、学習した表現の識別力を高める鍵となる。 しかし、ハードネガティブを効果的に活用することは依然として困難である。 本稿では,表現空間上で合成強陰性を生成することによってモデル性能を向上させる新しい手法であるSynCo(Synthetic Negatives in Contrastive Learning)を紹介する。 MoCoフレームワーク上に構築されたSynCoは,計算オーバーヘッドを最小限に抑えた,さまざまな合成ハードネガをオンザフライで生成するための6つの戦略を導入している。 SynCoはより高速なトレーニングと表現学習を実現し、ImageNet ILSVRC-2012の線形評価では67.9%の精度を達成し、同じResNet-50エンコーダを使用してMoCoの67.5%を上回った。 PASCAL VOCでは、監督されたベースラインとMoCoの両方を82.5% APで上回り、COCOではバウンディングボックス検出に40.9% AP、インスタンスセグメンテーションに35.5% APで新しいベンチマークを設定する。 我々の合成ハード・ネガティブ・ジェネレーション・アプローチは、自己教師付きコントラスト学習を通じて学習した視覚的表現を著しく向上させる。 コードはhttps://github.com/giakoumoglou/synco.comから入手できる。

関連論文リスト

• Momentum Contrastive Learning with Enhanced Negative Sampling and Hard Negative Filtering [13.258721379999685]
  本研究では、2つの重要な革新を取り入れた強化されたコントラスト学習フレームワークを提案する。 まず、両ビュー損失関数を導入し、クエリとキー埋め込みのバランスよく最適化し、表現品質を向上させる。 第2に,コサイン類似性に基づいて,ノイズの影響を緩和し,特徴識別を向上する,最も難易度の高いネガティブサンプリング戦略を開発する。
  論文  参考訳（メタデータ） (2025-01-20T22:01:52Z)
• When hard negative sampling meets supervised contrastive learning [17.173114048398947]
  我々は、微調整フェーズ中にハードネガティブサンプリングを組み込んだ新しい教師付きコントラスト学習目標であるSCHaNeを導入する。 SchaNeは、様々なベンチマークで、トップ1の精度で強いベースラインBEiT-3を上回っている。 提案手法は,ImageNet-1kのベースモデルに対して,86.14%の精度で新たな最先端技術を実現する。
  論文  参考訳（メタデータ） (2023-08-28T20:30:10Z)
• Hallucination Improves the Performance of Unsupervised Visual Representation Learning [9.504503675097137]
  本研究では,さらにコントラストを増すために,効率よく追加の正のサンプルを生成できるHalucinatorを提案する。 Hallucinatorは識別可能で、機能領域で新しいデータを生成する。 顕著なことに,提案した幻覚器が様々な対照的な学習モデルによく当てはまることを実証的に証明する。
  論文  参考訳（メタデータ） (2023-07-22T21:15:56Z)
• Fast-MoCo: Boost Momentum-based Contrastive Learning with Combinatorial Patches [75.41348688487525]
  この研究は運動量に基づくコントラスト学習フレームワークを再考し、2つの拡張ビューが1つの正のペアだけを生成する非効率性を同定する。 我々は2つの拡張ビューから複数の正のペアを構築するためにパッチを利用する新しいフレームワークであるFast-MoCoを提案する。 100エポックでトレーニングされたFast-MoCoは、800エポックでトレーニングされたMoCo v3と同様、73.5%の線形評価精度を達成する。
  論文  参考訳（メタデータ） (2022-07-17T16:28:41Z)
• Improving Music Performance Assessment with Contrastive Learning [78.8942067357231]
  本研究では,既存のMPAシステムを改善するための潜在的手法として,コントラスト学習について検討する。 畳み込みニューラルネットワークに適用された回帰タスクに適した重み付きコントラスト損失を導入する。 この結果から,MPA回帰タスクにおいて,コントラッシブ・ベースの手法がSoTA性能に適合し,超越できることが示唆された。
  論文  参考訳（メタデータ） (2021-08-03T19:24:25Z)
• Self-Damaging Contrastive Learning [92.34124578823977]
  ラベルのないデータは一般に不均衡であり、長い尾の分布を示す。 本稿では,クラスを知らずに表現学習を自動的にバランスをとるための,自己学習コントラスト学習という原則的枠組みを提案する。 実験の結果,SDCLRは全体としての精度だけでなく,バランス性も著しく向上することがわかった。
  論文  参考訳（メタデータ） (2021-06-06T00:04:49Z)
• Contrastive Attraction and Contrastive Repulsion for Representation Learning [131.72147978462348]
  コントラスト学習(CL)法は,複数の負のサンプルに対して,エンコーダが各正のサンプルと対比する自己超越的な方法でデータ表現を学習する。 最近のCL法は、ImageNetのような大規模データセットで事前訓練された場合、有望な結果を得た。 自己グループ内の正と負のサンプルを別々に比較し、正と負の群を対比して進行する2つのCL戦略を提案する。
  論文  参考訳（メタデータ） (2021-05-08T17:25:08Z)
• Doubly Contrastive Deep Clustering [135.7001508427597]
  本稿では、サンプルビューとクラスビューの両方でコントラスト損失を構築する新しい二重コントラストディープクラスタリング(DCDC)フレームワークを紹介します。 具体的には、サンプルビューに対して、元のサンプルとその拡張バージョンのクラス分布を正のサンプルペアとして設定する。 クラスビューでは、クラスのサンプル分布から正のペアと負のペアを構築します。 このように、2つのコントラスト損失は、サンプルとクラスレベルでのミニバッチサンプルのクラスタリング結果をうまく制限します。
  論文  参考訳（メタデータ） (2021-03-09T15:15:32Z)
• Unleashing the Power of Contrastive Self-Supervised Visual Models via Contrast-Regularized Fine-Tuning [94.35586521144117]
  コントラスト学習を微調整に適用することでさらにメリットが得られるか検討する。 本研究では,コントラスト正規化調律(core-tuning)を提案する。
  論文  参考訳（メタデータ） (2021-02-12T16:31:24Z)
• Concurrent Training Improves the Performance of Behavioral Cloning from Observation [10.939683083130616]
  デモから学ぶことは、ロボットが新しいスキルを身につけるための効率的な方法として広く利用されている。 観察から学ぶことは、ラベルのないデモ(例えばビデオ)を使って模倣学習を行う手段を提供する。 これに対する1つのアプローチは、観察からの行動クローニング(BCO)である。 本稿では,BCO の新たな理論的解析,修正 BCO* の導入,および半教師付き設定において,BCO* は逆ダイナミクスモデルとエキスパートポリシーの両方の見積もりを同時に改善可能であることを示す。
  論文  参考訳（メタデータ） (2020-08-03T21:30:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。