論文の概要: Momentum Contrastive Learning with Enhanced Negative Sampling and Hard Negative Filtering

• arxiv url: http://arxiv.org/abs/2501.16360v1
• Date: Mon, 20 Jan 2025 22:01:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-02 07:52:45.617231
• Title: Momentum Contrastive Learning with Enhanced Negative Sampling and Hard Negative Filtering
• Title（参考訳）: 強化負サンプリングとハード負フィルタリングを用いたモーメントコントラスト学習
• Authors: Duy Hoang, Huy Ngo, Khoi Pham, Tri Nguyen, Gia Bao, Huy Phan,
• Abstract要約: 本研究では、2つの重要な革新を取り入れた強化されたコントラスト学習フレームワークを提案する。 まず、両ビュー損失関数を導入し、クエリとキー埋め込みのバランスよく最適化し、表現品質を向上させる。 第2に,コサイン類似性に基づいて,ノイズの影響を緩和し,特徴識別を向上する,最も難易度の高いネガティブサンプリング戦略を開発する。
• 参考スコア（独自算出の注目度）: 13.258721379999685
• License:
• Abstract: Contrastive learning has become pivotal in unsupervised representation learning, with frameworks like Momentum Contrast (MoCo) effectively utilizing large negative sample sets to extract discriminative features. However, traditional approaches often overlook the full potential of key embeddings and are susceptible to performance degradation from noisy negative samples in the memory bank. This study addresses these challenges by proposing an enhanced contrastive learning framework that incorporates two key innovations. First, we introduce a dual-view loss function, which ensures balanced optimization of both query and key embeddings, improving representation quality. Second, we develop a selective negative sampling strategy that emphasizes the most challenging negatives based on cosine similarity, mitigating the impact of noise and enhancing feature discrimination. Extensive experiments demonstrate that our framework achieves superior performance on downstream tasks, delivering robust and well-structured representations. These results highlight the potential of optimized contrastive mechanisms to advance unsupervised learning and extend its applicability across domains such as computer vision and natural language processing
• Abstract（参考訳）: コントラスト学習は教師なし表現学習において重要になっており、Momentum Contrast(MoCo)のようなフレームワークは、大きな負のサンプルセットを効果的に利用して識別的特徴を抽出している。 しかし、従来のアプローチは、キー埋め込みの潜在可能性を完全に見落とし、メモリバンクのノイズの多い負のサンプルからパフォーマンスの劣化に影響を受けやすい。 本研究では,2つの重要なイノベーションを取り入れたコントラスト学習フレームワークを提案することで,これらの課題に対処する。 まず、両ビュー損失関数を導入し、クエリとキー埋め込みのバランスよく最適化し、表現品質を向上させる。 第2に,コサイン類似性に基づいて,ノイズの影響を緩和し,特徴識別を向上する,最も難易度の高いネガティブサンプリング戦略を開発する。 大規模な実験により、我々のフレームワークは下流のタスクにおいて優れたパフォーマンスを達成し、堅牢でよく構造化された表現を提供することを示した。 これらの結果は、教師なし学習を推進し、コンピュータビジョンや自然言語処理といった領域にまたがる適用性を高めるための最適化されたコントラスト機構の可能性を強調している。

関連論文リスト

• Enhancing Adversarial Robustness of Deep Neural Networks Through Supervised Contrastive Learning [0.0]
  敵攻撃は、知覚不能な摂動を導入することで畳み込みニューラルネットワークの脆弱性を悪用する。 本稿では,教師付きコントラスト学習とマージンに基づくコントラスト損失を組み合わせた新たな枠組みを提案する。
  論文  参考訳（メタデータ） (2024-12-27T17:14:52Z)
• Enhancing Robust Representation in Adversarial Training: Alignment and Exclusion Criteria [61.048842737581865]
  対人訓練 (AT) は, 頑健な特徴の学習を省略し, 対人的頑健さの低下を招いた。 非対称な負のコントラストと逆の注意によって、頑健な表現を得るためのATの一般的なフレームワークを提案する。 3つのベンチマークデータセットの実証評価により,ATの堅牢性を大幅に向上し,最先端の性能を実現することができた。
  論文  参考訳（メタデータ） (2023-10-05T07:29:29Z)
• Learning Transferable Adversarial Robust Representations via Multi-view Consistency [57.73073964318167]
  デュアルエンコーダを用いたメタ逆多視点表現学習フレームワークを提案する。 未確認領域からの少数ショット学習タスクにおけるフレームワークの有効性を実証する。
  論文  参考訳（メタデータ） (2022-10-19T11:48:01Z)
• Enhancing Adversarial Training with Feature Separability [52.39305978984573]
  本稿では,特徴分離性を備えた対人訓練(ATFS)により,クラス内特徴の類似性を向上し,クラス間特徴分散を増大させることができる,新たな対人訓練グラフ(ATG)を提案する。 包括的な実験を通じて、提案したATFSフレームワークがクリーンかつロバストなパフォーマンスを著しく改善することを示した。
  論文  参考訳（メタデータ） (2022-05-02T04:04:23Z)
• Incremental False Negative Detection for Contrastive Learning [95.68120675114878]
  本稿では,自己指導型コントラスト学習のための新たな偽陰性検出手法を提案する。 対照的な学習では、検出された偽陰性を明示的に除去する2つの戦略について議論する。 提案手法は,制限された計算内での複数のベンチマークにおいて,他の自己教師付きコントラスト学習フレームワークよりも優れる。
  論文  参考訳（メタデータ） (2021-06-07T15:29:14Z)
• Solving Inefficiency of Self-supervised Representation Learning [87.30876679780532]
  既存のコントラスト学習法は、非常に低い学習効率に苦しむ。 アンダークラスタリングとオーバークラスタリングの問題は、学習効率の大きな障害である。 中央三重項損失を用いた新しい自己監督学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-04-18T07:47:10Z)
• Understanding and Achieving Efficient Robustness with Adversarial Contrastive Learning [34.97017489872795]
  Adversarial Supervised Contrastive Learning (ASCL)アプローチは、堅牢な精度の観点から最先端の防御を2.6%$上回る。 提案された選択戦略を持つASCLは、選択戦略なしでASCLと比較してわずか4,2.8%のプラスと6.3%のマイナスでさらに1.4%$改善を得ることができます。
  論文  参考訳（メタデータ） (2021-01-25T11:57:52Z)
• Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
  近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。 我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
  論文  参考訳（メタデータ） (2020-10-26T04:44:43Z)
• Hard Negative Mixing for Contrastive Learning [29.91220669060252]
  我々は、コントラスト学習の重要な側面、すなわちハードネガティブの影響は、これまで無視されてきたと論じている。 計算オーバーヘッドを最小限に抑えながら、オンザフライで計算できる機能レベルでのハードネガティブな混合戦略を提案する。
  論文  参考訳（メタデータ） (2020-10-02T14:34:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。