Fugu-MT 論文翻訳(概要): Contrastive Learning with Synthetic Positives

論文の概要: Contrastive Learning with Synthetic Positives

arxiv url: http://arxiv.org/abs/2408.16965v2
Date: Thu, 24 Apr 2025 16:00:27 GMT
ステータス: 翻訳完了
システム内更新日: 2025-05-02 19:15:51.975397
Title: Contrastive Learning with Synthetic Positives
Title（参考訳）: 合成陽性者によるコントラスト学習
Authors: Dewen Zeng, Yawen Wu, Xinrong Hu, Xiaowei Xu, Yiyu Shi,
Abstract要約: PNCL(Contrastive Learning with Synthetic Positives)は、隣人から学ぶための新しいアプローチである。非条件拡散モデルにより生成された合成画像は、モデルが様々な正から学習するのに役立つ追加の正として使用される。これらの画像は、アンカー画像の「ハード」陽性と見なされ、コントラスト損失に補足陽性を含むと、線形評価において2%以上、1%以上の性能向上に寄与する。
参考スコア（独自算出の注目度）: 11.932323457691945
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Contrastive learning with the nearest neighbor has proved to be one of the most efficient self-supervised learning (SSL) techniques by utilizing the similarity of multiple instances within the same class. However, its efficacy is constrained as the nearest neighbor algorithm primarily identifies "easy" positive pairs, where the representations are already closely located in the embedding space. In this paper, we introduce a novel approach called Contrastive Learning with Synthetic Positives (CLSP) that utilizes synthetic images, generated by an unconditional diffusion model, as the additional positives to help the model learn from diverse positives. Through feature interpolation in the diffusion model sampling process, we generate images with distinct backgrounds yet similar semantic content to the anchor image. These images are considered "hard" positives for the anchor image, and when included as supplementary positives in the contrastive loss, they contribute to a performance improvement of over 2% and 1% in linear evaluation compared to the previous NNCLR and All4One methods across multiple benchmark datasets such as CIFAR10, achieving state-of-the-art methods. On transfer learning benchmarks, CLSP outperforms existing SSL frameworks on 6 out of 8 downstream datasets. We believe CLSP establishes a valuable baseline for future SSL studies incorporating synthetic data in the training process.
Abstract（参考訳）: 近接する隣人との対比学習は、同一クラス内の複数のインスタンスの類似性を活用することにより、最も効率的な自己教師付き学習(SSL)手法の1つであることが証明されている。しかし、その有効性は、最も近い隣のアルゴリズムが「容易」な正の対を主に特定するので、その表現は埋め込み空間に既に近い位置にある。本稿では,無条件拡散モデルにより生成される合成画像を,モデルが多様な正から学習するための追加の正として活用する,Contrastive Learning with Synthetic Positives (CLSP) という新しいアプローチを提案する。拡散モデルサンプリングプロセスにおける特徴補間により、異なる背景を持つ画像を生成するが、アンカー画像と類似のセマンティックコンテンツを生成する。これらの画像は、アンカーイメージの「ハード」陽性と見なされ、コントラスト損失の補足正として含めると、CIFAR10のような複数のベンチマークデータセットにおけるNNCLRやAll4Oneメソッドと比較して、線形評価において2%以上と1%以上のパフォーマンス改善に寄与する。転送学習ベンチマークでは、CLSPは8つのダウンストリームデータセットのうち6つで既存のSSLフレームワークを上回っている。我々は、CLSPが、トレーニングプロセスに合成データを組み込んだ将来のSSL研究の貴重なベースラインを確立すると信じている。

関連論文リスト

Cross-Modal Consistency Learning for Sign Language Recognition [92.44927164283641]
既存の事前学習方法は、コンパクトなポーズデータのみに焦点を当てている。クロスモーダル一貫性学習フレームワーク(CCL-SLR)を提案する。 CCL-SLRはRGBから学習し、自己教師付き事前学習に基づいてモダリティをポーズする。
論文参考訳（メタデータ） (2025-03-16T12:34:07Z)
Rethinking the Sample Relations for Few-Shot Classification [10.98165110941327]
MGRCL(Multi-Grained Relation Contrastive Learning)は、プレトレーニング済みの機能学習モデルである。 MGRCLはサンプル関係を3つのタイプに分類する: 同一試料の異なる変換の下でのサンプル内関係、同種試料のクラス内関係、不均一試料のクラス間関係。
論文参考訳（メタデータ） (2025-01-23T06:45:17Z)
Intra-video Positive Pairs in Self-Supervised Learning for Ultrasound [65.23740556896654]
自己教師付き学習 (SSL) は, 医療画像におけるラベル付きデータの健全性に対処するための戦略である。本研究では,同じBモード超音波映像をSSLのペアとして用いた近位画像の利用効果について検討した。この手法は、従来の超音波特異的比較学習法の平均検査精度を新型コロナウイルスの分類で上回り、IVPP(Intra-Video Positive Pairs)と命名された。
論文参考訳（メタデータ） (2024-03-12T14:57:57Z)
The Common Stability Mechanism behind most Self-Supervised Learning Approaches [64.40701218561921]
自己指導型学習手法の安定性のメカニズムを説明するための枠組みを提供する。我々は,BYOL,SWAV,SimSiam,Barlow Twins,DINOなどの非コントラスト技術であるSimCLRの動作メカニズムについて議論する。私たちは異なる仮説を定式化し、Imagenet100データセットを使ってそれらをテストします。
論文参考訳（メタデータ） (2024-02-22T20:36:24Z)
Transformer-based Clipped Contrastive Quantization Learning for Unsupervised Image Retrieval [15.982022297570108]
教師なし画像検索は、与えられたクエリ画像の類似画像を取得するために、任意のレベルなしに重要な視覚的特徴を学習することを目的としている。本稿では,パッチベースの処理により局所的なコンテキストを持つTransformerを用いて,画像のグローバルコンテキストを符号化するTransClippedCLRモデルを提案する。提案したクリップ付きコントラスト学習の結果は、バニラコントラスト学習と同一のバックボーンネットワークと比較して、すべてのデータセットで大幅に改善されている。
論文参考訳（メタデータ） (2024-01-27T09:39:11Z)
Semantic Positive Pairs for Enhancing Visual Representation Learning of Instance Discrimination methods [4.680881326162484]
インスタンス識別に基づく自己教師付き学習アルゴリズム(SSL)は有望な結果を示している。類似したセマンティックコンテンツを用いてそれらの画像を識別し、肯定的な例として扱うアプローチを提案する。我々は、ImageNet、STL-10、CIFAR-10の3つのベンチマークデータセットで、異なるインスタンス識別SSLアプローチで実験を行った。
論文参考訳（メタデータ） (2023-06-28T11:47:08Z)
Asymmetric Patch Sampling for Contrastive Learning [17.922853312470398]
正対間の非対称な出現は、対照的な学習における表現劣化のリスクを効果的に減少させる。比較学習のための新しい非対称なパッチサンプリング戦略を提案し、より良い表現のために外見非対称性を高める。
論文参考訳（メタデータ） (2023-06-05T13:10:48Z)
Robust Cross-Modal Representation Learning with Progressive Self-Distillation [7.676408770854477]
CLIPの視覚言語アプローチの学習目的は、Webハーベスト画像キャプションデータセットに見られるノイズの多い多対多対応を効果的に考慮していない。本研究では、進行的な自己蒸留とソフトな画像テキストアライメントを用いて、雑音の多いデータから頑健な表現をより効率的に学習するクロスモーダルコントラスト学習に基づく新しいトレーニングフレームワークを提案する。
論文参考訳（メタデータ） (2022-04-10T03:28:18Z)
Learning with Neighbor Consistency for Noisy Labels [69.83857578836769]
特徴空間におけるトレーニング例間の類似性を利用した雑音ラベルから学習する手法を提案する。合成(CIFAR-10, CIFAR-100)とリアル(mini-WebVision, Clothing1M, mini-ImageNet-Red)の両方のノイズを評価するデータセットの評価を行った。
論文参考訳（メタデータ） (2022-02-04T15:46:27Z)
Learning Contrastive Representation for Semantic Correspondence [150.29135856909477]
セマンティックマッチングのためのマルチレベルコントラスト学習手法を提案する。画像レベルのコントラスト学習は、畳み込み特徴が類似したオブジェクト間の対応を見出すための鍵となる要素であることを示す。
論文参考訳（メタデータ） (2021-09-22T18:34:14Z)
ReSSL: Relational Self-Supervised Learning with Weak Augmentation [68.47096022526927]
自己教師付き学習は、データアノテーションなしで視覚表現を学ぶことに成功しました。本稿では,異なるインスタンス間の関係をモデル化して表現を学習する新しいリレーショナルSSLパラダイムを提案する。提案したReSSLは,性能とトレーニング効率の両面で,従来の最先端アルゴリズムよりも大幅に優れています。
論文参考訳（メタデータ） (2021-07-20T06:53:07Z)
Contrastive Attraction and Contrastive Repulsion for Representation Learning [131.72147978462348]
コントラスト学習(CL)法は,複数の負のサンプルに対して,エンコーダが各正のサンプルと対比する自己超越的な方法でデータ表現を学習する。最近のCL法は、ImageNetのような大規模データセットで事前訓練された場合、有望な結果を得た。自己グループ内の正と負のサンプルを別々に比較し、正と負の群を対比して進行する2つのCL戦略を提案する。
論文参考訳（メタデータ） (2021-05-08T17:25:08Z)
With a Little Help from My Friends: Nearest-Neighbor Contrastive Learning of Visual Representations [87.72779294717267]
対比損失で最も近い隣り合わせを正として使用すると、ImageNet分類でパフォーマンスが大幅に向上します。提案手法が複雑なデータ拡張に依存しないことを実証的に証明する。
論文参考訳（メタデータ） (2021-04-29T17:56:08Z)
Beyond Single Instance Multi-view Unsupervised Representation Learning [21.449132256091662]
ランダムにサンプリングされた2つのインスタンス間の結合類似度を測定することにより、より正確なインスタンス識別能力を付与する。符号化された特徴が潜伏した空間でより均等に分散される場合,共同学習の類似性によって性能が向上すると考えている。
論文参考訳（メタデータ） (2020-11-26T15:43:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。