論文の概要: DySTreSS: Dynamically Scaled Temperature in Self-Supervised Contrastive
Learning
- arxiv url: http://arxiv.org/abs/2308.01140v1
- Date: Wed, 2 Aug 2023 13:31:41 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-03 12:50:21.362761
- Title: DySTreSS: Dynamically Scaled Temperature in Self-Supervised Contrastive
Learning
- Title(参考訳): DySTreSS: 自己監督型コントラスト学習における動的スケール温度
- Authors: Siladittya Manna, Soumitri Chattopadhyay, Rakesh Dey, Saumik
Bhattacharya, Umapada Pal
- Abstract要約: 特徴空間におけるサンプルの分布を最適化するために,コサイン類似性に依存した温度スケーリング関数を提案する。
予備学習段階を通じて特徴空間における局所的・大域的構造の挙動を包括的に検討する。
実験的な証拠は、提案されたフレームワークが、対照的な損失ベースのSSLアルゴリズムよりも優れているか、あるいは同等であることを示している。
- 参考スコア(独自算出の注目度): 15.103383001990714
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In contemporary self-supervised contrastive algorithms like SimCLR, MoCo,
etc., the task of balancing attraction between two semantically similar samples
and repulsion between two samples from different classes is primarily affected
by the presence of hard negative samples. While the InfoNCE loss has been shown
to impose penalties based on hardness, the temperature hyper-parameter is the
key to regulating the penalties and the trade-off between uniformity and
tolerance. In this work, we focus our attention to improve the performance of
InfoNCE loss in SSL by studying the effect of temperature hyper-parameter
values. We propose a cosine similarity-dependent temperature scaling function
to effectively optimize the distribution of the samples in the feature space.
We further analyze the uniformity and tolerance metrics to investigate the
optimal regions in the cosine similarity space for better optimization.
Additionally, we offer a comprehensive examination of the behavior of local and
global structures in the feature space throughout the pre-training phase, as
the temperature varies. Experimental evidence shows that the proposed framework
outperforms or is at par with the contrastive loss-based SSL algorithms. We
believe our work (DySTreSS) on temperature scaling in SSL provides a foundation
for future research in contrastive learning.
- Abstract(参考訳): SimCLRやMoCoなどの現代の自己監督型コントラストアルゴリズムでは、2つの意味論的に類似したサンプル間のアトラクションのバランスと、異なるクラスからの2つのサンプル間の反発は、主にハードネガティブなサンプルの存在によって影響を受ける。
情報損失はハードネスに基づくペナルティを課すことが示されているが、温度ハイパーパラメータはペナルティの規制と均一性と耐性の間のトレードオフの鍵である。
本研究では, 温度ハイパーパラメータ値の影響を調べることにより, sslにおけるインフォメーションロスの性能向上に着目する。
特徴空間における試料分布を効果的に最適化するために,コサイン類似度依存性温度スケーリング関数を提案する。
さらに,統一性と耐性の指標を分析し,コサイン類似性空間の最適領域を調査した。
さらに、温度が変化するにつれて、前訓練フェーズを通して特徴空間における局所構造と大域構造の挙動を網羅的に調べる。
実験的な証拠は、提案されたフレームワークが、対照的な損失ベースのSSLアルゴリズムよりも優れているか、あるいは同等であることを示している。
SSLの温度スケーリングに関する我々の研究(DySTreSS)は、コントラスト学習における将来の研究の基盤となると信じています。
関連論文リスト
- CKD: Contrastive Knowledge Distillation from A Sample-wise Perspective [48.99488315273868]
本研究では,試料内およびサンプル間制約によるサンプルワイドアライメント問題として定式化できる,対照的な知識蒸留手法を提案する。
本手法は, 数値を考慮し, 同一試料中のロジット差を最小化する。
CIFAR-100, ImageNet-1K, MS COCOの3つのデータセットについて総合的な実験を行った。
論文 参考訳(メタデータ) (2024-04-22T11:52:40Z) - The Common Stability Mechanism behind most Self-Supervised Learning
Approaches [64.40701218561921]
自己指導型学習手法の安定性のメカニズムを説明するための枠組みを提供する。
我々は,BYOL,SWAV,SimSiam,Barlow Twins,DINOなどの非コントラスト技術であるSimCLRの動作メカニズムについて議論する。
私たちは異なる仮説を定式化し、Imagenet100データセットを使ってそれらをテストします。
論文 参考訳(メタデータ) (2024-02-22T20:36:24Z) - Temperature Balancing, Layer-wise Weight Analysis, and Neural Network
Training [58.20089993899729]
本稿では,直感的で効果的な階層学習手法であるTempBalanceを提案する。
我々は、TempBalanceが通常のSGDと注意深く調整されたスペクトルノルム正規化より著しく優れていることを示す。
また、TempBalanceは最先端のメトリクスやスケジューラよりも優れています。
論文 参考訳(メタデータ) (2023-12-01T05:38:17Z) - Graph-Aware Contrasting for Multivariate Time-Series Classification [50.84488941336865]
既存のコントラスト学習手法は主に、時間的拡張とコントラスト技術による時間的一貫性を達成することに焦点を当てている。
MTSデータ間の空間的整合性を考慮したグラフ認識コントラストを提案する。
提案手法は,様々なMSS分類タスクにおける最先端性能を実現する。
論文 参考訳(メタデータ) (2023-09-11T02:35:22Z) - KL-Divergence Guided Temperature Sampling [5.726259957909055]
温度が上がると、予測は多様になるが、幻覚にも弱い。
幻覚を緩和するための一般的なアプローチは、ソース/グラウンドのドキュメントを提供することである。
本稿では,デコードステップよりも温度が一定であることの制約を緩和すると共に,その発生源との関係に応じて動的温度を誘導する機構を提案する。
論文 参考訳(メタデータ) (2023-06-02T06:11:26Z) - Not All Semantics are Created Equal: Contrastive Self-supervised
Learning with Automatic Temperature Individualization [51.41175648612714]
分散ロバスト最適化(DRO)に着想を得た新しい頑健なコントラスト損失を提案する。
提案アルゴリズムは,各サンプルに対して適切な$tau$を自動で学習することを示す。
提案手法は, 単モーダル・バイモーダル・データセットにおいて, 従来の強いベースラインよりも優れていた。
論文 参考訳(メタデータ) (2023-05-19T19:25:56Z) - The effective noise of Stochastic Gradient Descent [9.645196221785694]
Gradient Descent (SGD) は、ディープラーニング技術のワークホースアルゴリズムである。
SGDのパラメータと最近導入された変種である永続型SGDをニューラルネットワークモデルで特徴づける。
よりノイズの多いアルゴリズムは、対応する制約満足度問題のより広い決定境界につながる。
論文 参考訳(メタデータ) (2021-12-20T20:46:19Z) - SleepPriorCL: Contrastive Representation Learning with Prior
Knowledge-based Positive Mining and Adaptive Temperature for Sleep Staging [9.102084407643199]
意味論的に類似した(肯定的)と異種(否定的)のサンプルの対比に基づく自己教師付き学習(SSL)は、有望な成功を収めた。
既存のSSLメソッドは、多くの意味論的に類似した正がまだ発見されておらず、ネガティブとして扱われる問題に悩まされている。
本稿では,SleepPriorCLという新しいSSLアプローチを提案する。
論文 参考訳(メタデータ) (2021-10-15T06:54:29Z) - How Can Increased Randomness in Stochastic Gradient Descent Improve
Generalization? [0.0]
一般化におけるSGD学習率とバッチサイズの役割について検討する。
SGD温度の上昇は局所的微小腫の曲率低下を助長することを示した。
論文 参考訳(メタデータ) (2021-08-21T13:18:49Z) - Critical Parameters for Scalable Distributed Learning with Large Batches
and Asynchronous Updates [67.19481956584465]
飽和を伴う分散トレーニング(SGD)の効率は、バッチサイズと、実装における停滞に決定的に依存することが実験的に観察されている。
結果がタイトであることを示し、数値実験で重要な結果を示しています。
論文 参考訳(メタデータ) (2021-03-03T12:08:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。