論文の概要: Understanding Contrastive Representation Learning through Alignment and Uniformity on the Hypersphere

• arxiv url: http://arxiv.org/abs/2005.10242v10
• Date: Tue, 10 Nov 2020 07:05:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-01 04:28:48.882267
• Title: Understanding Contrastive Representation Learning through Alignment and Uniformity on the Hypersphere
• Title（参考訳）: ハイパースフィア上のアライメントと一様性によるコントラスト表現学習の理解
• Authors: Tongzhou Wang, Phillip Isola
• Abstract要約: 対照的な損失に関連する2つの重要な特性を同定する。 コントラスト損失はこれらの特性を最適化し、下流タスクに対する正の効果を解析する。 注目すべきは、これらの2つのメトリクスを直接最適化することは、対照的な学習よりも下流のタスクにおける同等または優れたパフォーマンスの表現につながることだ。
• 参考スコア（独自算出の注目度）: 32.0469500831667
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Contrastive representation learning has been outstandingly successful in practice. In this work, we identify two key properties related to the contrastive loss: (1) alignment (closeness) of features from positive pairs, and (2) uniformity of the induced distribution of the (normalized) features on the hypersphere. We prove that, asymptotically, the contrastive loss optimizes these properties, and analyze their positive effects on downstream tasks. Empirically, we introduce an optimizable metric to quantify each property. Extensive experiments on standard vision and language datasets confirm the strong agreement between both metrics and downstream task performance. Remarkably, directly optimizing for these two metrics leads to representations with comparable or better performance at downstream tasks than contrastive learning. Project Page: https://tongzhouwang.info/hypersphere Code: https://github.com/SsnL/align_uniform , https://github.com/SsnL/moco_align_uniform
• Abstract（参考訳）: 対照的な表現学習は実践において著しく成功した。 本研究では,(1)正対からの特徴のアライメント(近接性)と(2)超球面上の(正規化)特徴の誘導分布の均一性という,対照的な損失に関連する2つの重要な性質を同定する。 漸近的に、対照的な損失はこれらの特性を最適化し、下流タスクに対する正の効果を分析する。 経験的に、各特性を定量化する最適化可能な計量を導入する。 標準ビジョンと言語データセットに関する大規模な実験は、メトリクスと下流タスクのパフォーマンスの双方の強い一致を確認します。 驚くべきことに、これらの2つのメトリクスを直接最適化することは、コントラスト学習よりも下流タスクで同等あるいは優れたパフォーマンスを持つ表現につながる。 プロジェクトページ: https://tongzhouwang.info/hypersphere code: https://github.com/ssnl/align_uniform , https://github.com/ssnl/moco_align_uniform

関連論文リスト

• Decoupled Contrastive Learning for Long-Tailed Recognition [58.255966442426484]
  Supervised Contrastive Loss (SCL) は視覚表現学習で人気がある。 ロングテール認識のシナリオでは、各クラスのサンプル数が不均衡である場合、2種類の正のサンプルを同じように扱うと、カテゴリー内距離に対するバイアス最適化が導かれる。 そこで我々は,尾級の低表現を緩和するために,頭級から尾級へ知識を伝達するためのパッチベースの自己蒸留法を提案する。
  論文  参考訳（メタデータ） (2024-03-10T09:46:28Z)
• Perfect Alignment May be Poisonous to Graph Contrastive Learning [15.668610380413682]
  Graph Contrastive Learning (GCL)は、正のペアの整列と負のペアの分離によってノード表現を学習することを目的としている。 本稿では,アップストリーム性能とダウンストリーム性能の関連性を確立することを目的とする。
  論文  参考訳（メタデータ） (2023-10-06T02:22:49Z)
• Hodge-Aware Contrastive Learning [101.56637264703058]
  単純コンプレックスは、マルチウェイ依存によるデータのモデリングに有効である。 我々は、単純なデータを処理するための対照的な自己教師付き学習手法を開発した。
  論文  参考訳（メタデータ） (2023-09-14T00:40:07Z)
• Single-Pass Contrastive Learning Can Work for Both Homophilic and Heterophilic Graph [60.28340453547902]
  グラフコントラッシブ・ラーニング(GCL)技術は通常、コントラッシブ・ロスを構築するために単一のインスタンスに対して2つのフォワードパスを必要とする。 既存のGCLアプローチは、強力なパフォーマンス保証を提供していない。 我々はSingle-Pass Graph Contrastive Learning法(SP-GCL)を実装した。 経験的に、SP-GCLが学んだ機能は、計算オーバーヘッドを著しく少なくして、既存の強いベースラインにマッチまたは性能を向上することができる。
  論文  参考訳（メタデータ） (2022-11-20T07:18:56Z)
• Generate, Discriminate and Contrast: A Semi-Supervised Sentence Representation Learning Framework [68.04940365847543]
  本稿では,大規模未ラベルデータを効果的に活用する半教師付き文埋め込みフレームワークGenSEを提案する。 1) 生成: 生成: 生成/識別器モデルはオープンドメインの未ラベルコーパスから文ペアを合成するために共同で訓練される; 2) 識別: ノイズのある文ペアは識別器によってフィルタリングされ、高品質な正と負の文ペアを取得する; 3) コントラスト: 注釈付きデータと合成されたデータの両方を用いて文表現を学習するために、プロンプトベースのコントラクティブアプローチが提示される。
  論文  参考訳（メタデータ） (2022-10-30T10:15:21Z)
• Correlation between Alignment-Uniformity and Performance of Dense Contrastive Representations [11.266613717084788]
  我々は,標準CNNと簡単な特徴マッチング方式を用いて,高密度コントラスト学習の理論的アイデアを分析する。 正の高密度な特徴のペアを構築する際の基本原理を発見し、その妥当性を実証的に証明した。 また、アライメント・アンド・ユニフォーム性と下流性能の相関関係を要約した新しいスカラー計量を導入する。
  論文  参考訳（メタデータ） (2022-10-17T08:08:37Z)
• Non-contrastive representation learning for intervals from well logs [58.70164460091879]
  石油・ガス産業における表現学習問題は、ログデータに基づく表現を一定間隔で提供するモデルを構築することを目的としている。 可能なアプローチの1つは、自己教師付き学習(SSL)である。 私たちは、よくログするデータのための非コントラストSSLを最初に導入しました。
  論文  参考訳（メタデータ） (2022-09-28T13:27:10Z)
• Positive-Negative Equal Contrastive Loss for Semantic Segmentation [8.664491798389662]
  従来の作業では、グローバルコンテキストを効果的に抽出し集約するために、プラグアンドプレイモジュールと構造的損失を設計するのが一般的だった。 そこで我々は, 正負の負の正の負の負の正の負の正の負の正の負の負の負の正の負の負の正の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の 総合的な実験を行い、2つのベンチマークデータセット上で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-07-04T13:51:29Z)
• Improving Contrastive Learning by Visualizing Feature Transformation [37.548120912055595]
  本稿では,データ拡張とは異なる特徴レベルのデータ操作を考案し,汎用的なコントラスト型自己教師型学習の強化を試みる。 まず,pos/negスコアの可視化手法(pos/negスコアはpos/negペアの類似性を示す)を設計し,学習過程の分析,解釈,理解を可能にする。 その結果,MoCoベースライン上でのImageNet-100の精度は少なくとも6.0%向上し,MoCoV2ベースライン上でのImageNet-1Kの精度は約2.0%向上した。
  論文  参考訳（メタデータ） (2021-08-06T07:26:08Z)
• Provable Guarantees for Self-Supervised Deep Learning with Spectral Contrastive Loss [72.62029620566925]
  自己教師型学習の最近の研究は、対照的な学習パラダイムを頼りに、最先端の技術の進歩を遂げている。 我々の研究は、正の対の条件的独立性を仮定することなく、対照的な学習を分析する。 本稿では,人口増分グラフ上でスペクトル分解を行う損失を提案し,コントラスト学習目的として簡潔に記述することができる。
  論文  参考訳（メタデータ） (2021-06-08T07:41:02Z)
• Dissecting Supervised Constrastive Learning [24.984074794337157]
  高容量エンコーダで構成された線形マップのソフトマックススコアよりもクロスエントロピーを最小化することは、教師付き学習タスクでニューラルネットワークを訓練するための最も一般的な選択肢である。 コントラスト目的の教師付き変種を通して等しく(あるいはそれ以上)識別表現を得るために、エンコーダを直接最適化することができることを示す。
  論文  参考訳（メタデータ） (2021-02-17T15:22:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。