論文の概要: Adaptive Multi-head Contrastive Learning

• arxiv url: http://arxiv.org/abs/2310.05615v2
• Date: Wed, 10 Jul 2024 17:37:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-11 22:19:38.235097
• Title: Adaptive Multi-head Contrastive Learning
• Title（参考訳）: 適応型マルチヘッドコントラスト学習
• Authors: Lei Wang, Piotr Koniusz, Tom Gedeon, Liang Zheng,
• Abstract要約: 対照的な学習では、異なる拡張によって生成された元のイメージの2つのビューが正のペアと見なされる。 単射影ヘッドによって提供される単一の類似度測定は、正と負のサンプル対を評価する。 適応型マルチヘッドコントラスト学習(AMCL)は,いくつかの一般的なコントラスト学習手法に適用し,実験的に拡張することができる。
• 参考スコア（独自算出の注目度）: 44.163227964513695
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In contrastive learning, two views of an original image, generated by different augmentations, are considered a positive pair, and their similarity is required to be high. Similarly, two views of distinct images form a negative pair, with encouraged low similarity. Typically, a single similarity measure, provided by a lone projection head, evaluates positive and negative sample pairs. However, due to diverse augmentation strategies and varying intra-sample similarity, views from the same image may not always be similar. Additionally, owing to inter-sample similarity, views from different images may be more akin than those from the same image. Consequently, enforcing high similarity for positive pairs and low similarity for negative pairs may be unattainable, and in some cases, such enforcement could detrimentally impact performance. To address this challenge, we propose using multiple projection heads, each producing a distinct set of features. Our pre-training loss function emerges from a solution to the maximum likelihood estimation over head-wise posterior distributions of positive samples given observations. This loss incorporates the similarity measure over positive and negative pairs, each re-weighted by an individual adaptive temperature, regulated to prevent ill solutions. Our approach, Adaptive Multi-Head Contrastive Learning (AMCL), can be applied to and experimentally enhances several popular contrastive learning methods such as SimCLR, MoCo, and Barlow Twins. The improvement remains consistent across various backbones and linear probing epochs, and becomes more significant when employing multiple augmentation methods.
• Abstract（参考訳）: 対照的な学習では、異なる拡張によって生成された元のイメージの2つのビューは正のペアと見なされ、それらの類似性が要求される。 同様に、異なる画像の2つのビューは負のペアを形成し、低い類似性を奨励する。 通常、単射影ヘッドによって提供される単一の類似度尺度は、正と負のサンプル対を評価する。 しかし、多様な拡張戦略やサンプル内類似性のため、同じ画像からの視点が常に類似しているとは限らない。 さらに、サンプル間の類似性から、異なる画像からのビューは、同じ画像のビューよりも類似している可能性がある。 その結果、正の対に対する高い類似度と負の対に対する低い類似度は達成不可能であり、場合によっては性能に有害な影響を与える可能性がある。 この課題に対処するために、複数のプロジェクションヘッドを用いて、それぞれ異なる特徴セットを生成することを提案する。 我々の事前学習損失関数は, 得られた正試料の頭部後方分布に対する最大推定値の解から生じる。 この損失は、正と負のペアに対する類似度測定を取り入れ、それぞれが個々の適応温度で再重み付けされ、溶液の悪さを防ぐために規制される。 適応型マルチヘッドコントラスト学習(AMCL)は,SimCLR,MoCo,Barlow Twinsなどの一般的なコントラスト学習手法に適用し,実験的に拡張することができる。 改良は、様々なバックボーンと線形探傷エポックの間で一貫しており、複数の拡張手法を採用するとより重要になる。

関連論文リスト

• Synthetic Hard Negative Samples for Contrastive Learning [8.776888865665024]
  本稿では,コントラスト学習のための新しい特徴レベル手法,すなわち合成硬質負のサンプルをサンプリングする手法を提案する。 負試料を混合し, アンカー試料と他の負試料とのコントラストを制御して, より硬い負試料を生成する。 提案手法は,画像データセットの分類性能を向上し,既存の手法に容易に組み込むことができる。
  論文  参考訳（メタデータ） (2023-04-06T09:54:35Z)
• Extending Momentum Contrast with Cross Similarity Consistency Regularization [5.085461418671174]
  モーメントエンコーダユニットの遺産に基づく自己教師型表現学習手法であるExtended Momentum ContrastをMoCoファミリー構成で提案する。 交差一貫性規則の下では、任意の一対のイメージ(正あるいは負)に関連付けられた意味表現は、それらの相似性を維持するべきであると論じる。 我々は、標準のImagenet-1K線形ヘッド分類ベンチマークで競合性能を報告した。
  論文  参考訳（メタデータ） (2022-06-07T20:06:56Z)
• Contrastive Principal Component Learning: Modeling Similarity by Augmentation Overlap [50.48888534815361]
  コントラシブ・プリンシパル・コンポーネント・ラーニング(CPCL)手法を提案する。 CPCLにより、学習された低次元埋め込みは、標本間の増大分布の類似性を理論的に保存する。
  論文  参考訳（メタデータ） (2022-06-01T13:03:58Z)
• Modulated Contrast for Versatile Image Synthesis [60.304183493234376]
  MoNCEは画像のコントラストを導入し、多面的画像間距離の知覚のための校正基準を学習する。 複数の対照的な目的に対して協調的に負のサンプルのプッシュ力を変調するために,MoNCEの最適輸送を導入する。
  論文  参考訳（メタデータ） (2022-03-17T14:03:46Z)
• Contrastive Attraction and Contrastive Repulsion for Representation Learning [131.72147978462348]
  コントラスト学習(CL)法は,複数の負のサンプルに対して,エンコーダが各正のサンプルと対比する自己超越的な方法でデータ表現を学習する。 最近のCL法は、ImageNetのような大規模データセットで事前訓練された場合、有望な結果を得た。 自己グループ内の正と負のサンプルを別々に比較し、正と負の群を対比して進行する2つのCL戦略を提案する。
  論文  参考訳（メタデータ） (2021-05-08T17:25:08Z)
• Doubly Contrastive Deep Clustering [135.7001508427597]
  本稿では、サンプルビューとクラスビューの両方でコントラスト損失を構築する新しい二重コントラストディープクラスタリング(DCDC)フレームワークを紹介します。 具体的には、サンプルビューに対して、元のサンプルとその拡張バージョンのクラス分布を正のサンプルペアとして設定する。 クラスビューでは、クラスのサンプル分布から正のペアと負のペアを構築します。 このように、2つのコントラスト損失は、サンプルとクラスレベルでのミニバッチサンプルのクラスタリング結果をうまく制限します。
  論文  参考訳（メタデータ） (2021-03-09T15:15:32Z)
• Conditional Negative Sampling for Contrastive Learning of Visual Representations [19.136685699971864]
  難解な負の選択、あるいは現在の例に類似した選択は、より強い表現をもたらす可能性があることを示す。 それぞれの正の周りの「リング」に、負を条件付きでサンプリングする相互情報推定器のファミリーを導入する。 これらの推定器は, 偏差が大きいが, NCEよりも分散度が低いことが証明された。
  論文  参考訳（メタデータ） (2020-10-05T14:17:32Z)
• Learning from Aggregate Observations [82.44304647051243]
  本研究では,一組のインスタンスに監視信号が与えられる集合観察から学習する問題について検討する。 本稿では,多種多様な集合観測に適合する一般的な確率的枠組みを提案する。 単純な極大解は様々な微分可能なモデルに適用できる。
  論文  参考訳（メタデータ） (2020-04-14T06:18:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。