論文の概要: Rethinking Positive Pairs in Contrastive Learning

• arxiv url: http://arxiv.org/abs/2410.18200v1
• Date: Wed, 23 Oct 2024 18:07:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-25 12:50:57.715279
• Title: Rethinking Positive Pairs in Contrastive Learning
• Title（参考訳）: コントラスト学習におけるポジティブペアの再考
• Authors: Jiantao Wu, Shentong Mo, Zhenhua Feng, Sara Atito, Josef Kitler, Muhammad Awais,
• Abstract要約: 視覚表現のための普遍的なコントラスト学習フレームワークであるHydraについて述べる。 このアプローチはIN1Kを用いて検証され、1Kの多様なクラスが500,500対からなる。 我々の研究は、任意のペアの共通の特徴を学習することの価値を強調し、弱い関係を持つサンプルペアに対する対照的な学習手法の適用性を広げる可能性がある。
• 参考スコア（独自算出の注目度）: 19.149235307036324
• License:
• Abstract: Contrastive learning, a prominent approach to representation learning, traditionally assumes positive pairs are closely related samples (the same image or class) and negative pairs are distinct samples. We challenge this assumption by proposing to learn from arbitrary pairs, allowing any pair of samples to be positive within our framework.The primary challenge of the proposed approach lies in applying contrastive learning to disparate pairs which are semantically distant. Motivated by the discovery that SimCLR can separate given arbitrary pairs (e.g., garter snake and table lamp) in a subspace, we propose a feature filter in the condition of class pairs that creates the requisite subspaces by gate vectors selectively activating or deactivating dimensions. This filter can be optimized through gradient descent within a conventional contrastive learning mechanism. We present Hydra, a universal contrastive learning framework for visual representations that extends conventional contrastive learning to accommodate arbitrary pairs. Our approach is validated using IN1K, where 1K diverse classes compose 500,500 pairs, most of them being distinct. Surprisingly, Hydra achieves superior performance in this challenging setting. Additional benefits include the prevention of dimensional collapse and the discovery of class relationships. Our work highlights the value of learning common features of arbitrary pairs and potentially broadens the applicability of contrastive learning techniques on the sample pairs with weak relationships.
• Abstract（参考訳）: 比較学習(Contrastive Learning)は、表現学習における顕著なアプローチであり、伝統的に正のペアが近縁なサンプル(同じ画像やクラス)であり、負のペアが別個のサンプルであると仮定する。 我々は、任意のペアから学習し、任意のペアのサンプルを我々のフレームワーク内でポジティブにすることでこの仮定に挑戦し、提案するアプローチの第一の課題は、意味的に離れたペアにコントラッシブな学習を適用することである。 また,SimCLRが任意のペア(例えば,ガーターヘビ,テーブルランプ)をサブ空間に分離できるという発見に触発され,ゲートベクトルによって必要部分空間を生成するクラスペアの状態における特徴フィルタを提案する。 このフィルタは、従来のコントラスト学習機構内で勾配降下により最適化することができる。 視覚表現のための普遍的なコントラスト学習フレームワークであるHydraについて述べる。 このアプローチはIN1Kを用いて検証され、1Kの多様なクラスが500,500対からなる。 驚くべきことに、Hydraはこの挑戦的な環境で優れたパフォーマンスを実現している。 その他の利点として、次元崩壊の防止とクラス関係の発見がある。 我々の研究は、任意のペアの共通の特徴を学習することの価値を強調し、弱い関係を持つサンプルペアに対する対照的な学習手法の適用性を広げる可能性がある。

関連論文リスト

• CKD: Contrastive Knowledge Distillation from A Sample-wise Perspective [48.99488315273868]
  本研究では,試料内およびサンプル間制約によるサンプルワイドアライメント問題として定式化できる,対照的な知識蒸留手法を提案する。 本手法は, 数値を考慮し, 同一試料中のロジット差を最小化する。 CIFAR-100, ImageNet-1K, MS COCOの3つのデータセットについて総合的な実験を行った。
  論文  参考訳（メタデータ） (2024-04-22T11:52:40Z)
• Prototypical Contrastive Learning through Alignment and Uniformity for Recommendation [6.790779112538357]
  提案するアンダーライン・アライメントとアンダーライン・ユニフォーマル性によるインダーライン型コントラスト学習について述べる。 具体的には、まず、原点グラフから異なる拡張点間の整合性を確保するために、潜時空間としてプロトタイプを提案する。 明示的な負の欠如は、インスタンスとプロトタイプ間の整合性損失を直接最適化することで、次元的な崩壊の問題が容易に生じることを意味する。
  論文  参考訳（メタデータ） (2024-02-03T08:19:26Z)
• Learning by Sorting: Self-supervised Learning with Group Ordering Constraints [75.89238437237445]
  本稿では,対照学習目標である群順序制約(GroCo)の新たなバリエーションを提案する。 正の対と負の対の距離をソートし、正の対が負の対よりも多くの距離を持つかに基づいてそれぞれの損失を計算するという考え方を利用しており、したがって正しく順序付けされていない。 各種自己教師付き学習ベンチマークの定式化について検討し、バニラのコントラスト学習と比較して結果が向上するだけでなく、k-NNの性能において、線形探索や性能向上において同等の手法と競合する性能を示すことを示す。
  論文  参考訳（メタデータ） (2023-01-05T11:17:55Z)
• Non-contrastive representation learning for intervals from well logs [58.70164460091879]
  石油・ガス産業における表現学習問題は、ログデータに基づく表現を一定間隔で提供するモデルを構築することを目的としている。 可能なアプローチの1つは、自己教師付き学習(SSL)である。 私たちは、よくログするデータのための非コントラストSSLを最初に導入しました。
  論文  参考訳（メタデータ） (2022-09-28T13:27:10Z)
• Adaptive Soft Contrastive Learning [19.45520684918576]
  本稿では,適応型ソフトコントラスト学習(ASCL)という,サンプル間のソフトな関係を導入する適応手法を提案する。 既存の自己教師付き学習フレームワークのための効果的で簡潔なプラグインモジュールとして、ASCLはいくつかのベンチマークで最高のパフォーマンスを達成している。
  論文  参考訳（メタデータ） (2022-07-22T16:01:07Z)
• Contrasting quadratic assignments for set-based representation learning [5.142415132534397]
  コントラスト学習の標準的なアプローチは、データの異なるビュー間の合意を最大化することです。 本研究では、個々のペアを考えるアプローチは、セット内およびセット間類似性の両方を考慮できないことに留意する。 我々は、オブジェクトを集合として対比することに焦点をあてて、個々のオブジェクトの対を対比する以上のことを提案する。
  論文  参考訳（メタデータ） (2022-05-31T14:14:36Z)
• Chaos is a Ladder: A New Theoretical Understanding of Contrastive Learning via Augmentation Overlap [64.60460828425502]
  コントラスト学習の下流性能に関する新たな保証を提案する。 我々の新しい理論は、攻撃的なデータ強化の下で、異なるクラス内サンプルのサポートがより重なり合うという知見に基づいている。 本稿では、下流の精度とよく一致した教師なしモデル選択距離ARCを提案する。
  論文  参考訳（メタデータ） (2022-03-25T05:36:26Z)
• A Low Rank Promoting Prior for Unsupervised Contrastive Learning [108.91406719395417]
  提案手法は,従来の低階の促進をコントラスト学習の枠組みに効果的に組み込む新しい確率的グラフィカルモデルを構築する。 我々の仮説は、同じインスタンスクラスに属するすべてのサンプルが、小さな次元の同じ部分空間上にあることを明示的に要求する。 実証的な証拠は、提案アルゴリズムが複数のベンチマークにおける最先端のアプローチを明らかに上回っていることを示している。
  論文  参考訳（メタデータ） (2021-08-05T15:58:25Z)
• Provable Guarantees for Self-Supervised Deep Learning with Spectral Contrastive Loss [72.62029620566925]
  自己教師型学習の最近の研究は、対照的な学習パラダイムを頼りに、最先端の技術の進歩を遂げている。 我々の研究は、正の対の条件的独立性を仮定することなく、対照的な学習を分析する。 本稿では,人口増分グラフ上でスペクトル分解を行う損失を提案し,コントラスト学習目的として簡潔に記述することができる。
  論文  参考訳（メタデータ） (2021-06-08T07:41:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。