論文の概要: Adaptive Multi-head Contrastive Learning

• arxiv url: http://arxiv.org/abs/2310.05615v1
• Date: Mon, 9 Oct 2023 11:08:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-12 06:31:38.004194
• Title: Adaptive Multi-head Contrastive Learning
• Title（参考訳）: 適応型多頭コントラスト学習
• Authors: Lei Wang, Piotr Koniusz, Tom Gedeon, Liang Zheng
• Abstract要約: 対照的な学習では、異なる拡張によって生成された元の画像の2つのビューを正のペアと見なす。 単一の投影ヘッドによって与えられる単一の類似度測定は、正と負のサンプル対を評価するために用いられる。 我々は複数のプロジェクションヘッドを使用し、それぞれが別々の特徴セットを生成することを提案する。
• 参考スコア（独自算出の注目度）: 48.245153886566186
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In contrastive learning, two views of an original image generated by different augmentations are considered as a positive pair whose similarity is required to be high. Moreover, two views of two different images are considered as a negative pair, and their similarity is encouraged to be low. Normally, a single similarity measure given by a single projection head is used to evaluate positive and negative sample pairs, respectively. However, due to the various augmentation strategies and varying intra-sample similarity, augmented views from the same image are often not similar. Moreover, due to inter-sample similarity, augmented views of two different images may be more similar than augmented views from the same image. As such, enforcing a high similarity for positive pairs and a low similarity for negative pairs may not always be achievable, and in the case of some pairs, forcing so may be detrimental to the performance. To address this issue, we propose to use multiple projection heads, each producing a separate set of features. Our loss function for pre-training emerges from a solution to the maximum likelihood estimation over head-wise posterior distributions of positive samples given observations. The loss contains the similarity measure over positive and negative pairs, each re-weighted by an individual adaptive temperature that is regularized to prevent ill solutions. Our adaptive multi-head contrastive learning (AMCL) can be applied to and experimentally improves several popular contrastive learning methods such as SimCLR, MoCo and Barlow Twins. Such improvement is consistent under various backbones and linear probing epoches and is more significant when multiple augmentation methods are used.
• Abstract（参考訳）: 対照的な学習では、異なる増補によって生成された原画像の2つのビューは、類似度が高くなければならない正のペアと見なされる。 さらに、2つの異なる画像の2つのビューを負のペアとみなし、それらの類似性が低いことを奨励する。 通常、1つの投影ヘッドによって与えられる1つの類似度尺度は、それぞれ正と負のサンプルペアを評価するために使用される。 しかし、様々な拡張戦略と様々なサンプル内類似性のため、同じ画像からの拡張ビューはよく似ていない。 さらに、サンプル間の類似性から、2つの異なる画像の強化ビューは、同一画像からの拡張ビューよりも類似している可能性がある。 したがって、正の対に対する高い類似性と負の対に対する低い類似性が常に達成可能であるとは限らないし、ある対の場合、強制的にその性能を損なうこともある。 この問題に対処するために、複数のプロジェクションヘッドを用いて、それぞれが別々の特徴セットを生成することを提案する。 予備学習のための損失関数は、観測結果から正のサンプルの頭部後方分布に対する最大確率推定の解から得られる。 この損失は正対と負対の類似度の測定値を含み、それぞれが個々の適応温度で再重み付けされ、悪溶液を防ぐために正規化される。 適応型マルチヘッドコントラスト学習(AMCL)は,SimCLR,MoCo,Barlow Twinsなどの一般的なコントラスト学習手法を応用し,実験的に改善することができる。 このような改善は、様々なバックボーンと線形プローブエポッチで一貫性があり、複数の拡張法を使用する場合により重要である。

関連論文リスト

• Synthetic Hard Negative Samples for Contrastive Learning [8.776888865665024]
  本稿では,コントラスト学習のための新しい特徴レベル手法,すなわち合成硬質負のサンプルをサンプリングする手法を提案する。 負試料を混合し, アンカー試料と他の負試料とのコントラストを制御して, より硬い負試料を生成する。 提案手法は,画像データセットの分類性能を向上し,既存の手法に容易に組み込むことができる。
  論文  参考訳（メタデータ） (2023-04-06T09:54:35Z)
• Extending Momentum Contrast with Cross Similarity Consistency Regularization [5.085461418671174]
  モーメントエンコーダユニットの遺産に基づく自己教師型表現学習手法であるExtended Momentum ContrastをMoCoファミリー構成で提案する。 交差一貫性規則の下では、任意の一対のイメージ(正あるいは負)に関連付けられた意味表現は、それらの相似性を維持するべきであると論じる。 我々は、標準のImagenet-1K線形ヘッド分類ベンチマークで競合性能を報告した。
  論文  参考訳（メタデータ） (2022-06-07T20:06:56Z)
• Contrastive Principal Component Learning: Modeling Similarity by Augmentation Overlap [50.48888534815361]
  コントラシブ・プリンシパル・コンポーネント・ラーニング(CPCL)手法を提案する。 CPCLにより、学習された低次元埋め込みは、標本間の増大分布の類似性を理論的に保存する。
  論文  参考訳（メタデータ） (2022-06-01T13:03:58Z)
• Modulated Contrast for Versatile Image Synthesis [60.304183493234376]
  MoNCEは画像のコントラストを導入し、多面的画像間距離の知覚のための校正基準を学習する。 複数の対照的な目的に対して協調的に負のサンプルのプッシュ力を変調するために,MoNCEの最適輸送を導入する。
  論文  参考訳（メタデータ） (2022-03-17T14:03:46Z)
• Contrastive Attraction and Contrastive Repulsion for Representation Learning [131.72147978462348]
  コントラスト学習(CL)法は,複数の負のサンプルに対して,エンコーダが各正のサンプルと対比する自己超越的な方法でデータ表現を学習する。 最近のCL法は、ImageNetのような大規模データセットで事前訓練された場合、有望な結果を得た。 自己グループ内の正と負のサンプルを別々に比較し、正と負の群を対比して進行する2つのCL戦略を提案する。
  論文  参考訳（メタデータ） (2021-05-08T17:25:08Z)
• Doubly Contrastive Deep Clustering [135.7001508427597]
  本稿では、サンプルビューとクラスビューの両方でコントラスト損失を構築する新しい二重コントラストディープクラスタリング(DCDC)フレームワークを紹介します。 具体的には、サンプルビューに対して、元のサンプルとその拡張バージョンのクラス分布を正のサンプルペアとして設定する。 クラスビューでは、クラスのサンプル分布から正のペアと負のペアを構築します。 このように、2つのコントラスト損失は、サンプルとクラスレベルでのミニバッチサンプルのクラスタリング結果をうまく制限します。
  論文  参考訳（メタデータ） (2021-03-09T15:15:32Z)
• Conditional Negative Sampling for Contrastive Learning of Visual Representations [19.136685699971864]
  難解な負の選択、あるいは現在の例に類似した選択は、より強い表現をもたらす可能性があることを示す。 それぞれの正の周りの「リング」に、負を条件付きでサンプリングする相互情報推定器のファミリーを導入する。 これらの推定器は, 偏差が大きいが, NCEよりも分散度が低いことが証明された。
  論文  参考訳（メタデータ） (2020-10-05T14:17:32Z)
• Learning from Aggregate Observations [82.44304647051243]
  本研究では,一組のインスタンスに監視信号が与えられる集合観察から学習する問題について検討する。 本稿では,多種多様な集合観測に適合する一般的な確率的枠組みを提案する。 単純な極大解は様々な微分可能なモデルに適用できる。
  論文  参考訳（メタデータ） (2020-04-14T06:18:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。