論文の概要: Energy-Based Contrastive Learning of Visual Representations

• arxiv url: http://arxiv.org/abs/2202.04933v1
• Date: Thu, 10 Feb 2022 09:46:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-12 02:25:02.069761
• Title: Energy-Based Contrastive Learning of Visual Representations
• Title（参考訳）: エネルギーに基づく視覚表現のコントラスト学習
• Authors: Beomsu Kim and Jong Chul Ye
• Abstract要約: コントラスト学習とエネルギーベースモデル(EBM)を組み合わせたエネルギーベースコントラスト学習(EBCLR)を提案する。 EBCLRは254対の負対(バッチサイズ128)と30対の負対(バッチサイズ16)でほぼ同じ性能を達成し、少数の負対に対してEBCLRの堅牢性を示す。
• 参考スコア（独自算出の注目度）: 54.06799491319278
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Contrastive learning is a method of learning visual representations by training Deep Neural Networks (DNNs) to increase the similarity between representations of positive pairs and reduce the similarity between representations of negative pairs. However, contrastive methods usually require large datasets with significant number of negative pairs per iteration to achieve reasonable performance on downstream tasks. To address this problem, here we propose Energy-Based Contrastive Learning (EBCLR) that combines contrastive learning with Energy-Based Models (EBMs) and can be theoretically interpreted as learning the joint distribution of positive pairs. Using a novel variant of Stochastic Gradient Langevin Dynamics (SGLD) to accelerate the training of EBCLR, we show that EBCLR is far more sample-efficient than previous self-supervised learning methods. Specifically, EBCLR shows from X4 up to X20 acceleration compared to SimCLR and MoCo v2 in terms of training epochs. Furthermore, in contrast to SimCLR, EBCLR achieves nearly the same performance with 254 negative pairs (batch size 128) and 30 negative pairs (batch size 16) per positive pair, demonstrating the robustness of EBCLR to small number of negative pairs.
• Abstract（参考訳）: コントラスト学習(Contrastive Learning)とは、ディープニューラルネットワーク(DNN)を訓練して視覚表現を学ぶ方法であり、正の対の表現間の類似性を高め、負の対の表現間の類似性を減らす。 しかし、対照的な手法は通常、ダウンストリームタスクで妥当なパフォーマンスを達成するために、イテレーション毎にかなりの数の負のペアを持つ大きなデータセットを必要とする。 本稿では,エネルギーベースモデル(EBM)と対比学習を組み合わせたエネルギーベースコントラスト学習(EBCLR)を提案する。 EBCLRの学習を高速化するために,SGLD(Stochastic Gradient Langevin Dynamics)の新たな変種を用いて,EBCLRは従来の自己教師型学習法よりもはるかにサンプリング効率が高いことを示した。 特に ebclr は x4 から x20 までの加速度を simclr や moco v2 と比較し、トレーニング時代の経過を示す。 さらに、SimCLRとは対照的に、EBCLRは254対の負対(バッチサイズ128)と30対の負対(バッチサイズ16)でほぼ同じ性能を達成し、少数の負対に対するEBCLRの堅牢性を示す。

関連論文リスト

• When hard negative sampling meets supervised contrastive learning [17.173114048398947]
  我々は、微調整フェーズ中にハードネガティブサンプリングを組み込んだ新しい教師付きコントラスト学習目標であるSCHaNeを導入する。 SchaNeは、様々なベンチマークで、トップ1の精度で強いベースラインBEiT-3を上回っている。 提案手法は,ImageNet-1kのベースモデルに対して,86.14%の精度で新たな最先端技術を実現する。
  論文  参考訳（メタデータ） (2023-08-28T20:30:10Z)
• Cross-Stream Contrastive Learning for Self-Supervised Skeleton-Based Action Recognition [22.067143671631303]
  自己教師型骨格に基づく行動認識は、対照的な学習の発展とともに急速に成長する。 骨格に基づく行動表現学習(CSCLR)のためのクロスストリームコントラスト学習フレームワークを提案する。 具体的には、CSCLRはストリーム内コントラストペアを利用するだけでなく、ストリーム間コントラストペアをハードサンプルとして導入し、より良い表現学習を定式化する。
  論文  参考訳（メタデータ） (2023-05-03T10:31:35Z)
• Semi-supervised Contrastive Learning with Similarity Co-calibration [72.38187308270135]
  SsCL(Semi-supervised Contrastive Learning)と呼ばれる新しいトレーニング戦略を提案する。 ssclは、自己教師付き学習におけるよく知られたコントラスト損失と、半教師付き学習におけるクロスエントロピー損失を組み合わせる。 SsCLはより差別的な表現を生じさせ,ショット学習に有益であることを示す。
  論文  参考訳（メタデータ） (2021-05-16T09:13:56Z)
• Contrastive Attraction and Contrastive Repulsion for Representation Learning [131.72147978462348]
  コントラスト学習(CL)法は,複数の負のサンプルに対して,エンコーダが各正のサンプルと対比する自己超越的な方法でデータ表現を学習する。 最近のCL法は、ImageNetのような大規模データセットで事前訓練された場合、有望な結果を得た。 自己グループ内の正と負のサンプルを別々に比較し、正と負の群を対比して進行する2つのCL戦略を提案する。
  論文  参考訳（メタデータ） (2021-05-08T17:25:08Z)
• Solving Inefficiency of Self-supervised Representation Learning [87.30876679780532]
  既存のコントラスト学習法は、非常に低い学習効率に苦しむ。 アンダークラスタリングとオーバークラスタリングの問題は、学習効率の大きな障害である。 中央三重項損失を用いた新しい自己監督学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-04-18T07:47:10Z)
• EqCo: Equivalent Rules for Self-supervised Contrastive Learning [81.45848885547754]
  本稿では,InfoNCEをベースとしたコントラスト学習フレームワークにおいて,負のサンプル数と無関係に自己教師型学習を実現する手法を提案する。 InfoMaxの原理に着想を得て、負のペアの数に応じて、対照的な損失のマージン項を適応的にスケールする必要があることを指摘する。
  論文  参考訳（メタデータ） (2020-10-05T11:39:04Z)
• Hybrid Discriminative-Generative Training via Contrastive Learning [96.56164427726203]
  エネルギーベースモデルのハイブリッド識別・生成訓練の観点から、コントラスト学習と教師あり学習の直接的な関連性を示す。 CIFAR-10 および CIFAR-100 上の WideResNet の分類精度において,エネルギーベース損失の近似の具体的な選択が既存手法より優れていることを示す。
  論文  参考訳（メタデータ） (2020-07-17T15:50:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。