論文の概要: Contrastive Principal Component Learning: Modeling Similarity by Augmentation Overlap

• arxiv url: http://arxiv.org/abs/2206.00471v1
• Date: Wed, 1 Jun 2022 13:03:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-02 15:58:32.421801
• Title: Contrastive Principal Component Learning: Modeling Similarity by Augmentation Overlap
• Title（参考訳）: 対比主成分学習:拡張重なりによる類似性のモデル化
• Authors: Lu Han, Han-Jia Ye, De-Chuan Zhan
• Abstract要約: コントラシブ・プリンシパル・コンポーネント・ラーニング(CPCL)手法を提案する。 CPCLにより、学習された低次元埋め込みは、標本間の増大分布の類似性を理論的に保存する。
• 参考スコア（独自算出の注目度）: 50.48888534815361
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Traditional self-supervised contrastive learning methods learn embeddings by pulling views of the same sample together and pushing views of different samples away. Since views of a sample are usually generated via data augmentations, the semantic relationship between samples is ignored. Based on the observation that semantically similar samples are more likely to have similar augmentations, we propose to measure similarity via the distribution of augmentations, i.e., how much the augmentations of two samples overlap. To handle the dimensional and computational complexity, we propose a novel Contrastive Principal Component Learning (CPCL) method composed of a contrastive-like loss and an on-the-fly projection loss to efficiently perform PCA on the augmentation feature, which encodes the augmentation distribution. By CPCL, the learned low-dimensional embeddings theoretically preserve the similarity of augmentation distribution between samples. Empirical results show our method can achieve competitive results against various traditional contrastive learning methods on different benchmarks.
• Abstract（参考訳）: 従来の自己教師付きコントラスト学習手法は、同じサンプルのビューをまとめ、異なるサンプルのビューをプッシュすることで埋め込みを学習する。 サンプルのビューは通常、データ拡張によって生成されるため、サンプル間のセマンティックな関係は無視される。 意味的に類似したサンプルが類似した増量を持つ可能性が高いという観測に基づいて、増量分布、すなわち2つのサンプルの増分がどれだけ重なり合うかを通して類似度を測定することを提案する。 次元的および計算的複雑性に対処するために,コントラスト的損失とオンザフライ射影損失からなる新しいコントラスト主成分学習(cpcl)法を提案する。 cpclにより、学習された低次元埋め込みは理論的にサンプル間の拡張分布の類似性を保存する。 実験の結果,様々なベンチマークにおいて,従来のコントラスト学習法と競合する結果が得られることがわかった。

関連論文リスト

• CKD: Contrastive Knowledge Distillation from A Sample-wise Perspective [48.99488315273868]
  本研究では,試料内およびサンプル間制約によるサンプルワイドアライメント問題として定式化できる,対照的な知識蒸留手法を提案する。 本手法は, 数値を考慮し, 同一試料中のロジット差を最小化する。 CIFAR-100, ImageNet-1K, MS COCOの3つのデータセットについて総合的な実験を行った。
  論文  参考訳（メタデータ） (2024-04-22T11:52:40Z)
• Synthetic Hard Negative Samples for Contrastive Learning [8.776888865665024]
  本稿では,コントラスト学習のための新しい特徴レベル手法,すなわち合成硬質負のサンプルをサンプリングする手法を提案する。 負試料を混合し, アンカー試料と他の負試料とのコントラストを制御して, より硬い負試料を生成する。 提案手法は,画像データセットの分類性能を向上し,既存の手法に容易に組み込むことができる。
  論文  参考訳（メタデータ） (2023-04-06T09:54:35Z)
• Hybrid Contrastive Constraints for Multi-Scenario Ad Ranking [38.666592866591344]
  マルチシナリオ広告ランキングは、複数のドメインやチャネルからのデータを活用して、統一されたランキングモデルをトレーニングすることを目的としている。 マルチシナリオ広告ランキングのためのHybrid Contrastive Constrained Approach (HC2)を提案する。
  論文  参考訳（メタデータ） (2023-02-06T09:15:39Z)
• Beyond Instance Discrimination: Relation-aware Contrastive Self-supervised Learning [75.46664770669949]
  本稿では,関係認識型コントラスト型自己教師型学習(ReCo)をインスタンス関係に統合するために提案する。 当社のReCoは、常に顕著なパフォーマンス改善を実現しています。
  論文  参考訳（メタデータ） (2022-11-02T03:25:28Z)
• R\'enyiCL: Contrastive Representation Learning with Skew R\'enyi Divergence [78.15455360335925]
  我々はR'enyiCLという新しい頑健なコントラスト学習手法を提案する。 我々の手法は R'enyi divergence の変動的下界の上に構築されている。 我々は,R'enyi の対照的な学習目的が,自然に強い負のサンプリングと簡単な正のサンプリングを同時に行うことを示す。
  論文  参考訳（メタデータ） (2022-08-12T13:37:05Z)
• ReSSL: Relational Self-Supervised Learning with Weak Augmentation [68.47096022526927]
  自己教師付き学習は、データアノテーションなしで視覚表現を学ぶことに成功しました。 本稿では,異なるインスタンス間の関係をモデル化して表現を学習する新しいリレーショナルSSLパラダイムを提案する。 提案したReSSLは,性能とトレーニング効率の両面で,従来の最先端アルゴリズムよりも大幅に優れています。
  論文  参考訳（メタデータ） (2021-07-20T06:53:07Z)
• Similarity Transfer for Knowledge Distillation [25.042405967561212]
  知識蒸留は、大きなモデルから小さなモデルに知識を移すことで、ポータブルニューラルネットワークを学ぶための一般的なパラダイムである。 本稿では,複数試料のカテゴリ間の類似性を十分に活用することを目的とした,知識蒸留のための類似性伝達法(stkd)を提案する。 その結果, stkdはバニラ知識蒸留法を実質的に上回り, 最先端知識蒸留法よりも精度が高かった。
  論文  参考訳（メタデータ） (2021-03-18T06:54:59Z)
• Doubly Contrastive Deep Clustering [135.7001508427597]
  本稿では、サンプルビューとクラスビューの両方でコントラスト損失を構築する新しい二重コントラストディープクラスタリング(DCDC)フレームワークを紹介します。 具体的には、サンプルビューに対して、元のサンプルとその拡張バージョンのクラス分布を正のサンプルペアとして設定する。 クラスビューでは、クラスのサンプル分布から正のペアと負のペアを構築します。 このように、2つのコントラスト損失は、サンプルとクラスレベルでのミニバッチサンプルのクラスタリング結果をうまく制限します。
  論文  参考訳（メタデータ） (2021-03-09T15:15:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。