Fugu-MT 論文翻訳(概要): Contrastive Learning with Synthetic Positives

論文の概要: Contrastive Learning with Synthetic Positives

arxiv url: http://arxiv.org/abs/2408.16965v1
Date: Fri, 30 Aug 2024 01:47:43 GMT
ステータス: 処理完了
システム内更新日: 2024-09-02 16:39:11.567924
Title: Contrastive Learning with Synthetic Positives
Title（参考訳）: 合成陽性者によるコントラスト学習
Authors: Dewen Zeng, Yawen Wu, Xinrong Hu, Xiaowei Xu, Yiyu Shi,
Abstract要約: 近隣住民との対比学習は、最も効率的な自己教師付き学習(SSL)技術の1つであることが証明されている。本稿では,NCLP(Contrastive Learning with Synthetic Positives)という新しいアプローチを提案する。 NCLPは、無条件拡散モデルによって生成された合成画像を利用して、モデルが多様な正から学ぶのに役立つ追加の正として利用する。
参考スコア（独自算出の注目度）: 11.932323457691945
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Contrastive learning with the nearest neighbor has proved to be one of the most efficient self-supervised learning (SSL) techniques by utilizing the similarity of multiple instances within the same class. However, its efficacy is constrained as the nearest neighbor algorithm primarily identifies ``easy'' positive pairs, where the representations are already closely located in the embedding space. In this paper, we introduce a novel approach called Contrastive Learning with Synthetic Positives (CLSP) that utilizes synthetic images, generated by an unconditional diffusion model, as the additional positives to help the model learn from diverse positives. Through feature interpolation in the diffusion model sampling process, we generate images with distinct backgrounds yet similar semantic content to the anchor image. These images are considered ``hard'' positives for the anchor image, and when included as supplementary positives in the contrastive loss, they contribute to a performance improvement of over 2\% and 1\% in linear evaluation compared to the previous NNCLR and All4One methods across multiple benchmark datasets such as CIFAR10, achieving state-of-the-art methods. On transfer learning benchmarks, CLSP outperforms existing SSL frameworks on 6 out of 8 downstream datasets. We believe CLSP establishes a valuable baseline for future SSL studies incorporating synthetic data in the training process.
Abstract（参考訳）: 近接する隣人との対比学習は、同一クラス内の複数のインスタンスの類似性を活用することにより、最も効率的な自己教師付き学習(SSL)手法の1つであることが証明されている。しかし、その有効性は、最も近い隣のアルゴリズムが主に 'easy'' の正の対を識別するので制約される。本稿では,無条件拡散モデルにより生成される合成画像を,モデルが多様な正から学習するための追加の正として活用する,Contrastive Learning with Synthetic Positives (CLSP) という新しいアプローチを提案する。拡散モデルサンプリングプロセスにおける特徴補間により、異なる背景を持つ画像を生成するが、アンカー画像と類似のセマンティックコンテンツを生成する。これらの画像は、アンカーイメージの ``hard'' 陽性と見なされ、コントラスト損失の補足的正として含めると、CIFAR10のような複数のベンチマークデータセットにおける以前のNNCLRやAll4Oneメソッドと比較して、線形評価において2\%と1\%以上のパフォーマンス改善に寄与する。転送学習ベンチマークでは、CLSPは8つのダウンストリームデータセットのうち6つで既存のSSLフレームワークを上回っている。我々は、CLSPが、トレーニングプロセスに合成データを組み込んだ将来のSSL研究の貴重なベースラインを確立すると信じている。

関連論文リスト

Intra-video Positive Pairs in Self-Supervised Learning for Ultrasound [65.23740556896654]
自己教師付き学習 (SSL) は, 医療画像におけるラベル付きデータの健全性に対処するための戦略である。本研究では,同じBモード超音波映像をSSLのペアとして用いた近位画像の利用効果について検討した。この手法は、従来の超音波特異的比較学習法の平均検査精度を新型コロナウイルスの分類で上回り、IVPP(Intra-Video Positive Pairs)と命名された。
論文参考訳（メタデータ） (2024-03-12T14:57:57Z)
The Common Stability Mechanism behind most Self-Supervised Learning Approaches [64.40701218561921]
自己指導型学習手法の安定性のメカニズムを説明するための枠組みを提供する。我々は,BYOL,SWAV,SimSiam,Barlow Twins,DINOなどの非コントラスト技術であるSimCLRの動作メカニズムについて議論する。私たちは異なる仮説を定式化し、Imagenet100データセットを使ってそれらをテストします。
論文参考訳（メタデータ） (2024-02-22T20:36:24Z)
Transformer-based Clipped Contrastive Quantization Learning for Unsupervised Image Retrieval [15.982022297570108]
教師なし画像検索は、与えられたクエリ画像の類似画像を取得するために、任意のレベルなしに重要な視覚的特徴を学習することを目的としている。本稿では,パッチベースの処理により局所的なコンテキストを持つTransformerを用いて,画像のグローバルコンテキストを符号化するTransClippedCLRモデルを提案する。提案したクリップ付きコントラスト学習の結果は、バニラコントラスト学習と同一のバックボーンネットワークと比較して、すべてのデータセットで大幅に改善されている。
論文参考訳（メタデータ） (2024-01-27T09:39:11Z)
Semantic Positive Pairs for Enhancing Visual Representation Learning of Instance Discrimination methods [4.680881326162484]
インスタンス識別に基づく自己教師付き学習アルゴリズム(SSL)は有望な結果を示している。類似したセマンティックコンテンツを用いてそれらの画像を識別し、肯定的な例として扱うアプローチを提案する。我々は、ImageNet、STL-10、CIFAR-10の3つのベンチマークデータセットで、異なるインスタンス識別SSLアプローチで実験を行った。
論文参考訳（メタデータ） (2023-06-28T11:47:08Z)
Asymmetric Patch Sampling for Contrastive Learning [17.922853312470398]
正対間の非対称な出現は、対照的な学習における表現劣化のリスクを効果的に減少させる。比較学習のための新しい非対称なパッチサンプリング戦略を提案し、より良い表現のために外見非対称性を高める。
論文参考訳（メタデータ） (2023-06-05T13:10:48Z)
Robust Cross-Modal Representation Learning with Progressive Self-Distillation [7.676408770854477]
CLIPの視覚言語アプローチの学習目的は、Webハーベスト画像キャプションデータセットに見られるノイズの多い多対多対応を効果的に考慮していない。本研究では、進行的な自己蒸留とソフトな画像テキストアライメントを用いて、雑音の多いデータから頑健な表現をより効率的に学習するクロスモーダルコントラスト学習に基づく新しいトレーニングフレームワークを提案する。
論文参考訳（メタデータ） (2022-04-10T03:28:18Z)
Learning with Neighbor Consistency for Noisy Labels [69.83857578836769]
特徴空間におけるトレーニング例間の類似性を利用した雑音ラベルから学習する手法を提案する。合成(CIFAR-10, CIFAR-100)とリアル(mini-WebVision, Clothing1M, mini-ImageNet-Red)の両方のノイズを評価するデータセットの評価を行った。
論文参考訳（メタデータ） (2022-02-04T15:46:27Z)
Learning Contrastive Representation for Semantic Correspondence [150.29135856909477]
セマンティックマッチングのためのマルチレベルコントラスト学習手法を提案する。画像レベルのコントラスト学習は、畳み込み特徴が類似したオブジェクト間の対応を見出すための鍵となる要素であることを示す。
論文参考訳（メタデータ） (2021-09-22T18:34:14Z)
ReSSL: Relational Self-Supervised Learning with Weak Augmentation [68.47096022526927]
自己教師付き学習は、データアノテーションなしで視覚表現を学ぶことに成功しました。本稿では,異なるインスタンス間の関係をモデル化して表現を学習する新しいリレーショナルSSLパラダイムを提案する。提案したReSSLは,性能とトレーニング効率の両面で,従来の最先端アルゴリズムよりも大幅に優れています。
論文参考訳（メタデータ） (2021-07-20T06:53:07Z)
With a Little Help from My Friends: Nearest-Neighbor Contrastive Learning of Visual Representations [87.72779294717267]
対比損失で最も近い隣り合わせを正として使用すると、ImageNet分類でパフォーマンスが大幅に向上します。提案手法が複雑なデータ拡張に依存しないことを実証的に証明する。
論文参考訳（メタデータ） (2021-04-29T17:56:08Z)
Beyond Single Instance Multi-view Unsupervised Representation Learning [21.449132256091662]
ランダムにサンプリングされた2つのインスタンス間の結合類似度を測定することにより、より正確なインスタンス識別能力を付与する。符号化された特徴が潜伏した空間でより均等に分散される場合,共同学習の類似性によって性能が向上すると考えている。
論文参考訳（メタデータ） (2020-11-26T15:43:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。