論文の概要: Contrastive latent representation learning with denoising score matching
- arxiv url: http://arxiv.org/abs/2611.18469v1
- Date: Fri, 13 Nov 2026 17:42:55 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-16 19:23:34.758365
- Title: Contrastive latent representation learning with denoising score matching
- Title(参考訳): デノジングスコアマッチングを用いたコントラスト潜在表現学習
- Abstract要約: 我々は、この反発項を推定する新しい方法を提供する、対照的な表現学習手法であるScoreCLRを紹介する。
サンプルの2つの潜在ビュー間の相互情報の最大化による表現学習の枠組みを検討する。
遅延表現に先立って,異なる雑音レベルとガウスアンを用いた正規化手法を提案する。
- 参考スコア(独自算出の注目度): 7.293508593001522
- License:
- Abstract: Contrastive representation learning methods operate by pulling different views of the same data sample together while pushing them away from views of different samples. A fundamental challenge is the estimation of the repulsive force, which typically requires large batch sizes, can exhibit high variance, and is susceptible to the curse of dimensionality. We introduce ScoreCLR, a contrastive representation learning method that offers a novel way to estimate this repulsion term. We consider the framework of representation learning by maximizing the mutual information between two latent views of a sample. By deriving the gradient of the Shannon entropy with respect to the encoder parameters, we obtain an equivalent objective that involves the score of the latent representation. We then use denoising score matching techniques to estimate this score with a lightweight network that is trained jointly with the encoder. We further propose regularization techniques using different noise levels and a Gaussian prior on the latent representation. ScoreCLR replaces the batch of explicit negative samples in contrastive methods with a learned repulsion whose cost is linear in the batch size rather than quadratic. On CIFAR-10 and ImageNet-100 it does so with minimal loss of linear-probe accuracy compared to SimCLR under a shared recipe, while producing projector outputs of higher effective rank, closer to the Gaussian prior.
- Abstract(参考訳): コントラスト表現学習法は、同一データサンプルの異なるビューをまとめて、異なるサンプルのビューから引き離して動作させる。
基本的な課題は、通常大きなバッチサイズを必要とし、高いばらつきを示し、次元の呪いの影響を受けやすい、反発力の推定である。
我々は、この反発項を推定する新しい方法を提供する、対照的な表現学習手法であるScoreCLRを紹介する。
サンプルの2つの潜在ビュー間の相互情報の最大化による表現学習の枠組みを検討する。
エンコーダパラメータに対するシャノンエントロピーの勾配を導出することにより、潜在表現のスコアを含む等価な目的を得る。
次に、復調スコアマッチング手法を用いて、このスコアをエンコーダと共同でトレーニングした軽量ネットワークを用いて推定する。
さらに、遅延表現に先立って、異なる雑音レベルとガウスを用いた正規化手法を提案する。
ScoreCLRは、対照的な方法で明示的な負のサンプルのバッチを、二次的ではなくバッチサイズで線形である学習的な反発に置き換える。
CIFAR-10とImageNet-100では、共有レシピの下でSimCLRと比較して線形プローブの精度が最小限に低下する一方で、ガウス以前のより高い有効ランクのプロジェクター出力を生成する。
関連論文リスト
- Rethinking Token Reduction for Diffusion Models via Output-Similarity-Awareness [2.5966966127729454]
拡散変換器(DiT)はより優れた画像生成品質を実現するが、トークン数に対して2次計算の複雑さに悩まされる。
出力中心のトークン還元に焦点を移す新しいTRパラダイムであるDiToを提案する。
実験により、DiToは既存のTR法よりも1.6-3.9dB高いPSNRを同等のスピードアップで一貫して上回っていることが示された。
論文 参考訳(メタデータ) (2026-05-21T05:18:42Z) - Robust Representation Consistency Model via Contrastive Denoising [83.47584074390842]
ランダムな平滑化は、敵の摂動に対する堅牢性を証明する理論的保証を提供する。
拡散モデルは、ノイズ摂動サンプルを浄化するためにランダムな平滑化に成功している。
我々は,画素空間における拡散軌跡に沿った生成的モデリングタスクを,潜在空間における識別的タスクとして再構成する。
論文 参考訳(メタデータ) (2025-01-22T18:52:06Z) - CKD: Contrastive Knowledge Distillation from A Sample-wise Perspective [48.99488315273868]
セマンティックな一貫性を維持しつつ,サンプル単位のロジットアライメントを実現するコントラッシブな知識蒸留フレームワークを提案する。
提案手法は,教師と教師の対照的アライメントを通じて「暗黒知識」をサンプルレベルで伝達する。
CIFAR-100、ImageNet-1K、MS COCOデータセットを含む3つのベンチマークデータセットの総合的な実験を行う。
論文 参考訳(メタデータ) (2024-04-22T11:52:40Z) - PLReMix: Combating Noisy Labels with Pseudo-Label Relaxed Contrastive Representation Learning [7.556169113399857]
Pseudo-Label Relaxed (PLR) のコントラスト損失を導入することで、エンドツーエンドの textbfPLReMix フレームワークを提案する。
提案したPLR損失はプラガブルであり,他のLNL手法に統合し,その性能改善を観察した。
論文 参考訳(メタデータ) (2024-02-27T15:22:20Z) - Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。
我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
論文 参考訳(メタデータ) (2023-12-27T09:03:43Z) - Diffusion-Based Representation Learning [65.55681678004038]
教師付き信号のない表現学習を実現するために,デノナイズスコアマッチングフレームワークを拡張した。
対照的に、拡散に基づく表現学習は、デノナイジングスコアマッチング目的の新しい定式化に依存している。
同じ手法を用いて,半教師付き画像分類における最先端モデルの改善を実現する無限次元潜在符号の学習を提案する。
論文 参考訳(メタデータ) (2021-05-29T09:26:02Z) - Contrastive Attraction and Contrastive Repulsion for Representation
Learning [131.72147978462348]
コントラスト学習(CL)法は,複数の負のサンプルに対して,エンコーダが各正のサンプルと対比する自己超越的な方法でデータ表現を学習する。
最近のCL法は、ImageNetのような大規模データセットで事前訓練された場合、有望な結果を得た。
自己グループ内の正と負のサンプルを別々に比較し、正と負の群を対比して進行する2つのCL戦略を提案する。
論文 参考訳(メタデータ) (2021-05-08T17:25:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。