論文の概要: Understanding the Behaviour of Contrastive Loss

• arxiv url: http://arxiv.org/abs/2012.09740v2
• Date: Sat, 20 Mar 2021 10:46:06 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-07 05:16:10.815714
• Title: Understanding the Behaviour of Contrastive Loss
• Title（参考訳）: コントラスト損失の挙動を理解する
• Authors: Feng Wang, Huaping Liu
• Abstract要約: その結果, コントラスト損失は硬さ認識損失関数であり, 温度tauは硬い負の試料のペナルティ強度を制御することがわかった。 本研究では, 対比学習が分離可能な特徴を学習する上で, 対比損失が意味的に類似したサンプルに耐えられないことを示した。
• 参考スコア（独自算出の注目度）: 16.30437694463679
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Unsupervised contrastive learning has achieved outstanding success, while the mechanism of contrastive loss has been less studied. In this paper, we concentrate on the understanding of the behaviours of unsupervised contrastive loss. We will show that the contrastive loss is a hardness-aware loss function, and the temperature {\tau} controls the strength of penalties on hard negative samples. The previous study has shown that uniformity is a key property of contrastive learning. We build relations between the uniformity and the temperature {\tau} . We will show that uniformity helps the contrastive learning to learn separable features, however excessive pursuit to the uniformity makes the contrastive loss not tolerant to semantically similar samples, which may break the underlying semantic structure and be harmful to the formation of features useful for downstream tasks. This is caused by the inherent defect of the instance discrimination objective. Specifically, instance discrimination objective tries to push all different instances apart, ignoring the underlying relations between samples. Pushing semantically consistent samples apart has no positive effect for acquiring a prior informative to general downstream tasks. A well-designed contrastive loss should have some extents of tolerance to the closeness of semantically similar samples. Therefore, we find that the contrastive loss meets a uniformity-tolerance dilemma, and a good choice of temperature can compromise these two properties properly to both learn separable features and tolerant to semantically similar samples, improving the feature qualities and the downstream performances.
• Abstract（参考訳）: 教師なしのコントラスト学習は顕著な成功を収め、対照的な損失のメカニズムは研究されていない。 本稿では、教師なしの対照的な損失の挙動の理解に焦点を当てる。 対照的な損失は硬度認識損失関数であり、温度は硬度負のサンプルに対するペナルティの強度を制御する。 前回の研究では、一様性はコントラスト学習の重要な特性であることが示された。 我々は一様度と温度の相関関係を構築する。 しかし,一様性への過度な追及は,意味論的に類似したサンプルに対して,コントラスト損失が寛容にならないようにし,意味構造を損なう可能性があり,下流タスクに有用な特徴の形成に有害であることを示した。 これはインスタンス識別目的の固有の欠陥によって引き起こされる。 具体的には、インスタンス識別の目的は、すべての異なるインスタンスを分離し、サンプル間の基盤となる関係を無視しようとする。 意味的に一貫性のあるサンプルを分割すると、一般的なダウンストリームタスクに事前情報を取得する効果はない。 よく設計されたコントラスト損失は、意味的に類似したサンプルの近接性に対するある程度の耐性を持つべきである。 したがって, コントラスト損失は一様性トレランスジレンマに適合し, 温度選択が良好であれば, これら2つの特性を適切に妥協し, 分離可能な特徴を学習し, セマンティックに類似したサンプルに寛容であり, 特性特性と下流性能を改善することができる。

関連論文リスト

• Mitigating Feature Gap for Adversarial Robustness by Feature Disentanglement [61.048842737581865]
  逆方向の微調整法は, 逆方向の訓練方法で, 自然に事前訓練されたモデルを微調整することにより, 逆方向の強靭性を高めることを目的としている。 特徴ギャップの原因となる潜伏する特徴を明示的にモデル化し,取り除く,アンタングルメントに基づくアプローチを提案する。 3つのベンチマークデータセットに対する実証的な評価は、我々のアプローチが既存の逆方向の微調整法や逆方向のトレーニングベースラインを超えていることを示している。
  論文  参考訳（メタデータ） (2024-01-26T08:38:57Z)
• Contrastive Bayesian Analysis for Deep Metric Learning [30.21464199249958]
  特徴的類似性によって条件付けられた画像ラベルの後方確率を特徴付け,モデル化するために,コントラッシブなベイズ解析を開発した。 この対照的なベイズ解析は、深い計量学習のための新しい損失関数をもたらす。 実験結果とアブレーション実験により,提案手法は深層学習の性能を著しく向上させることが示された。
  論文  参考訳（メタデータ） (2022-10-10T02:24:21Z)
• Adversarial Contrastive Learning via Asymmetric InfoNCE [64.42740292752069]
  非対称なInfoNCEの目的と対比した場合,非対称なサンプルを不等に扱うことを提案する。 非対称的な方法では、CLと対向学習の相反する目的の悪影響を効果的に軽減することができる。 実験の結果,提案手法は既存CL法より一貫して優れていることがわかった。
  論文  参考訳（メタデータ） (2022-07-18T04:14:36Z)
• Understanding Contrastive Learning Requires Incorporating Inductive Biases [64.56006519908213]
  下流タスクにおけるコントラスト学習の成功を理論的に説明しようとする最近の試みは、エム強化の特性とエムコントラスト学習の損失の値によって保証が証明されている。 このような分析は,関数クラスやトレーニングアルゴリズムの帰納的バイアスを無視し,いくつかの設定において不確実な保証につながることを実証する。
  論文  参考訳（メタデータ） (2022-02-28T18:59:20Z)
• SNCSE: Contrastive Learning for Unsupervised Sentence Embedding with Soft Negative Samples [36.08601841321196]
  ソフトな負のサンプルを埋め込んだ教師なし文のコントラスト学習を提案する。 SNCSEは意味的テキスト類似性タスクにおいて最先端の性能を得ることができることを示す。
  論文  参考訳（メタデータ） (2022-01-16T06:15:43Z)
• Robust Contrastive Learning against Noisy Views [79.71880076439297]
  ノイズの多い視点に対して頑健な新しいコントラスト損失関数を提案する。 提案手法は,最新の画像,ビデオ,グラフのコントラスト学習ベンチマークに対して一貫した改善を提供する。
  論文  参考訳（メタデータ） (2022-01-12T05:24:29Z)
• Similarity Contrastive Estimation for Self-Supervised Soft Contrastive Learning [0.41998444721319206]
  優れたデータ表現は、インスタンス間の関係、つまり意味的類似性を含んでいる、と我々は主張する。 類似性コントラスト推定(SCE)と呼ばれるインスタンス間の意味的類似性を用いたコントラスト学習の新しい定式化を提案する。 我々の訓練対象はソフトコントラスト学習と見なすことができる。
  論文  参考訳（メタデータ） (2021-11-29T15:19:15Z)
• CLINE: Contrastive Learning with Semantic Negative Examples for Natural Language Understanding [35.003401250150034]
  本稿では,事前学習した言語モデルの堅牢性を改善するために,セマントIc負例を用いたコントラスト学習を提案する。 CLINEは、意味論的敵対攻撃下での堅牢性を改善するために、教師なしの意味論的ネガティブな例を構築している。 実験結果から,本手法は感情分析,推論,読解作業において大幅な改善をもたらすことが示された。
  論文  参考訳（メタデータ） (2021-07-01T13:34:12Z)
• Incremental False Negative Detection for Contrastive Learning [95.68120675114878]
  本稿では,自己指導型コントラスト学習のための新たな偽陰性検出手法を提案する。 対照的な学習では、検出された偽陰性を明示的に除去する2つの戦略について議論する。 提案手法は,制限された計算内での複数のベンチマークにおいて,他の自己教師付きコントラスト学習フレームワークよりも優れる。
  論文  参考訳（メタデータ） (2021-06-07T15:29:14Z)
• Solving Inefficiency of Self-supervised Representation Learning [87.30876679780532]
  既存のコントラスト学習法は、非常に低い学習効率に苦しむ。 アンダークラスタリングとオーバークラスタリングの問題は、学習効率の大きな障害である。 中央三重項損失を用いた新しい自己監督学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-04-18T07:47:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。