論文の概要: Similarity Contrastive Estimation for Self-Supervised Soft Contrastive Learning

• arxiv url: http://arxiv.org/abs/2111.14585v1
• Date: Mon, 29 Nov 2021 15:19:15 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-30 14:58:16.123352
• Title: Similarity Contrastive Estimation for Self-Supervised Soft Contrastive Learning
• Title（参考訳）: 自己教師付きソフトコントラスト学習における類似性コントラスト推定
• Authors: Julien Denize, Jaonary Rabarisoa, Astrid Orcesi, Romain H\'erault, St\'ephane Canu
• Abstract要約: 優れたデータ表現は、インスタンス間の関係、つまり意味的類似性を含んでいる、と我々は主張する。 類似性コントラスト推定(SCE)と呼ばれるインスタンス間の意味的類似性を用いたコントラスト学習の新しい定式化を提案する。 我々の訓練対象はソフトコントラスト学習と見なすことができる。
• 参考スコア（独自算出の注目度）: 0.41998444721319206
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Contrastive representation learning has proven to be an effective self-supervised learning method. Most successful approaches are based on the Noise Contrastive Estimation (NCE) paradigm and consider different views of an instance as positives and other instances as noise that positives should be contrasted with. However, all instances in a dataset are drawn from the same distribution and share underlying semantic information that should not be considered as noise. We argue that a good data representation contains the relations, or semantic similarity, between the instances. Contrastive learning implicitly learns relations but considers the negatives as noise which is harmful to the quality of the learned relations and therefore the quality of the representation. To circumvent this issue we propose a novel formulation of contrastive learning using semantic similarity between instances called Similarity Contrastive Estimation (SCE). Our training objective can be considered as soft contrastive learning. Instead of hard classifying positives and negatives, we propose a continuous distribution to push or pull instances based on their semantic similarities. The target similarity distribution is computed from weak augmented instances and sharpened to eliminate irrelevant relations. Each weak augmented instance is paired with a strong augmented instance that contrasts its positive while maintaining the target similarity distribution. Experimental results show that our proposed SCE outperforms its baselines MoCov2 and ReSSL on various datasets and is competitive with state-of-the-art algorithms on the ImageNet linear evaluation protocol.
• Abstract（参考訳）: コントラスト表現学習は効果的な自己指導型学習法であることが証明されている。 最も成功したアプローチは、ノイズコントラスト推定(NCE)パラダイムに基づいており、インスタンスの異なるビューをポジティブとみなし、他のインスタンスをポジティブと対比すべきノイズとみなしている。 しかしながら、データセットのすべてのインスタンスは、同じディストリビューションから引き出され、ノイズと見なすべきでない基礎となるセマンティック情報を共有する。 優れたデータ表現は、インスタンス間の関係性、あるいは意味的類似性を含むと主張する。 対照的な学習は暗黙的に関係を学習するが、否定性は学習した関係の品質とそれゆえ表現の質に有害な雑音であると考える。 この問題を回避するために,SCE(Simisity Contrastive Estimation)と呼ばれるインスタンス間の意味的類似性を用いたコントラスト学習の新たな定式化を提案する。 我々の訓練目標はソフトコントラスト学習と見なすことができる。 ポジティクスと負の分類を困難にするのではなく、セマンティックな類似性に基づいてインスタンスをプッシュまたはプルする継続的分布を提案する。 ターゲットの類似度分布は弱い拡張インスタンスから計算され、無関係な関係を排除するためにシャープ化される。 各弱い拡張インスタンスは、ターゲットの類似度分布を維持しながら、その正と対照的な強い拡張インスタンスとペアリングされる。 実験の結果,提案したSCEは様々なデータセット上でMoCov2とReSSLのベースラインよりも優れており,ImageNet線形評価プロトコルの最先端アルゴリズムと競合することがわかった。

関連論文リスト

• DenoSent: A Denoising Objective for Self-Supervised Sentence Representation Learning [59.4644086610381]
  本稿では,他の視点,すなわち文内視点から継承する新たな認知的目的を提案する。 離散ノイズと連続ノイズの両方を導入することで、ノイズの多い文を生成し、モデルを元の形式に復元するように訓練する。 我々の経験的評価は,本手法が意味的テキスト類似性(STS)と幅広い伝達タスクの両面で競合する結果をもたらすことを示した。
  論文  参考訳（メタデータ） (2024-01-24T17:48:45Z)
• Soft Neighbors are Positive Supporters in Contrastive Visual Representation Learning [35.53729744330751]
  コントラスト学習法は、あるインスタンスと他のインスタンスのビューを比較して視覚エンコーダを訓練する。 このバイナリインスタンス識別は、自己教師付き学習における特徴表現を改善するために広範囲に研究されている。 本稿では、インスタンス識別フレームワークを再考し、異なるサンプル間の相関を測定するのに不十分なバイナリインスタンスラベルを見つける。
  論文  参考訳（メタデータ） (2023-03-30T04:22:07Z)
• Similarity Contrastive Estimation for Image and Video Soft Contrastive Self-Supervised Learning [0.22940141855172028]
  本稿では,インスタンス間の意味的類似性を用いたコントラスト学習の新たな定式化を提案する。 私たちのトレーニングの目標はソフトコントラストで、ポジティブに近づき、ネガティブなインスタンスを押したり引っ張ったりするための継続的分布を見積もります。 我々は,SCEが映像表現を事前学習するための最先端の結果に到達し,学習された表現が映像下流タスクに一般化可能であることを示す。
  論文  参考訳（メタデータ） (2022-12-21T16:56:55Z)
• Beyond Instance Discrimination: Relation-aware Contrastive Self-supervised Learning [75.46664770669949]
  本稿では,関係認識型コントラスト型自己教師型学習(ReCo)をインスタンス関係に統合するために提案する。 当社のReCoは、常に顕著なパフォーマンス改善を実現しています。
  論文  参考訳（メタデータ） (2022-11-02T03:25:28Z)
• Non-contrastive representation learning for intervals from well logs [58.70164460091879]
  石油・ガス産業における表現学習問題は、ログデータに基づく表現を一定間隔で提供するモデルを構築することを目的としている。 可能なアプローチの1つは、自己教師付き学習(SSL)である。 私たちは、よくログするデータのための非コントラストSSLを最初に導入しました。
  論文  参考訳（メタデータ） (2022-09-28T13:27:10Z)
• Unsupervised Voice-Face Representation Learning by Cross-Modal Prototype Contrast [34.58856143210749]
  同一性ラベルを使わずに,音声映像から音声表現を学習する手法を提案する。 これまでの研究では、音声と顔の相関を確立するために、クロスモーダルなインスタンス識別タスクが用いられてきた。 比較手法を生かし, 偽陰性の悪影響に抵抗し, 正の逸脱に抵抗するクロスモーダル・プロトタイプ・コントラッシブ・ラーニング(CMPC)を提案する。
  論文  参考訳（メタデータ） (2022-04-28T07:28:56Z)
• SNCSE: Contrastive Learning for Unsupervised Sentence Embedding with Soft Negative Samples [36.08601841321196]
  ソフトな負のサンプルを埋め込んだ教師なし文のコントラスト学習を提案する。 SNCSEは意味的テキスト類似性タスクにおいて最先端の性能を得ることができることを示す。
  論文  参考訳（メタデータ） (2022-01-16T06:15:43Z)
• Robust Contrastive Learning against Noisy Views [79.71880076439297]
  ノイズの多い視点に対して頑健な新しいコントラスト損失関数を提案する。 提案手法は,最新の画像,ビデオ,グラフのコントラスト学習ベンチマークに対して一貫した改善を提供する。
  論文  参考訳（メタデータ） (2022-01-12T05:24:29Z)
• A Theory-Driven Self-Labeling Refinement Method for Contrastive Representation Learning [111.05365744744437]
  教師なしのコントラスト学習は、正のイメージの作物と、負のイメージの作物とをラベル付けする。 本研究は, コントラスト学習において, 不正確なラベル割り当てがセマンティック・インスタンス識別の一般化を著しく損なうことを最初に証明する。 この理論に触発されて、コントラスト学習のための新しい自己ラベル改善手法を提案する。
  論文  参考訳（メタデータ） (2021-06-28T14:24:52Z)
• Unsupervised Feature Learning by Cross-Level Instance-Group Discrimination [68.83098015578874]
  我々は、インスタンスグループ化ではなく、クロスレベルな識別によって、インスタンス間の類似性を対照的な学習に統合する。 CLDは、教師なし学習を、自然データや現実世界のアプリケーションに効果的に近づける。 セルフスーパービジョン、セミスーパービジョン、トランスファーラーニングベンチマークに関する新たな最先端技術は、報告されたすべてのパフォーマンスでMoCo v2とSimCLRを上回っている。
  論文  参考訳（メタデータ） (2020-08-09T21:13:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。