Fugu-MT 論文翻訳(概要): SigCLR: Sigmoid Contrastive Learning of Visual Representations

論文の概要: SigCLR: Sigmoid Contrastive Learning of Visual Representations

arxiv url: http://arxiv.org/abs/2410.17427v1
Date: Tue, 22 Oct 2024 20:56:04 GMT
ステータス: 翻訳完了
システム内更新日: 2024-10-24 13:56:48.661470
Title: SigCLR: Sigmoid Contrastive Learning of Visual Representations
Title（参考訳）: SigCLR: 視覚表現のSigmoid Contrastive Learning
Authors: Ömer Veysel Çağatan,
Abstract要約: SigCLRは、ユビキタスで、様々なドメインで大きな成功を収めているSimCLRの代替として有望であることを示す。以上の結果から,SigLUPの場合のように学習可能なバイアスの重要性が検証された。
参考スコア（独自算出の注目度）: 0.0
License:
Abstract: We propose SigCLR: Sigmoid Contrastive Learning of Visual Representations. SigCLR utilizes the logistic loss that only operates on pairs and does not require a global view as in the cross-entropy loss used in SimCLR. We show that logistic loss shows competitive performance on CIFAR-10, CIFAR-100, and Tiny-IN compared to other established SSL objectives. Our findings verify the importance of learnable bias as in the case of SigLUP, however, it requires a fixed temperature as in the SimCLR to excel. Overall, SigCLR is a promising replacement for the SimCLR which is ubiquitous and has shown tremendous success in various domains.
Abstract（参考訳）: SigCLR: Sigmoid Contrastive Learning of Visual Representationsを提案する。 SigCLRは、ペアでのみ動作するロジスティックな損失を利用し、SimCLRで使用されるクロスエントロピーな損失のようにグローバルなビューを必要としない。 CIFAR-10, CIFAR-100, Tiny-INにおけるロジスティック損失は, 他のSSL目標と比較して競合することを示す。以上の結果から,SigLUPの場合のように学習可能なバイアスの重要性が検証された。全体として、SigCLRは、ユビキタスで、さまざまなドメインで大きな成功を収めているSimCLRの代替として有望である。

関連論文リスト

Bridging Mini-Batch and Asymptotic Analysis in Contrastive Learning: From InfoNCE to Kernel-Based Losses [20.273126099815517]
異なるコントラスト学習(CL)の損失は、実際には最適化されているのでしょうか? DHEL(Decoupled Hyperspherical Energy Loss)を新たに導入する。我々は、カーネルコントラスト学習(KCL)という別の関連するCLファミリに対して、期待される損失がバッチサイズに依存しないことの利点として、同じ結果が得られたことを示す。
論文参考訳（メタデータ） (2024-05-28T11:00:41Z)
Data Poisoning for In-context Learning [49.77204165250528]
In-context Learning (ICL)は、新しいタスクに適応する革新的な能力として認識されている。本論文は、ICLのデータ中毒に対する感受性の重大な問題について述べる。 ICLの学習メカニズムを活用するために考案された特殊攻撃フレームワークであるICLPoisonを紹介する。
論文参考訳（メタデータ） (2024-02-03T14:20:20Z)
Rethinking and Simplifying Bootstrapped Graph Latents [48.76934123429186]
グラフ・コントラッシブ・ラーニング(GCL)はグラフ自己教師型ラーニングにおいて代表的なパラダイムとして登場した。 SGCLは2つの繰り返しの出力を正のペアとして利用するシンプルで効果的なGCLフレームワークである。我々は,SGCLがより少ないパラメータ,少ない時間と空間コスト,およびかなりの収束速度で競合性能を達成可能であることを示す。
論文参考訳（メタデータ） (2023-12-05T09:49:50Z)
Hard-Negative Sampling for Contrastive Learning: Optimal Representation Geometry and Neural- vs Dimensional-Collapse [16.42457033976047]
ニューラル・コラプス(NC)を示す表現によって、SCL(Servised Contrastive Learning)、Hard-SCL(HSCL)、Unsupervised Contrastive Learning(UCL)の損失が最小化されることを実証する。また、任意の表現写像に対して、HSCLとHard-UCL(HUCL)の損失は対応するSCLとUCLの損失によって低く抑えられていることを証明した。
論文参考訳（メタデータ） (2023-11-09T04:40:32Z)
Symmetric Neural-Collapse Representations with Supervised Contrastive Loss: The Impact of ReLU and Batching [26.994954303270575]
スーパーバイザード・コントラスト・ロス(SCL)は、分類におけるクロスエントロピー・ロスの代わりとして、競争力があり、しばしば優れた選択肢である。従来の研究では、両方の損失がバランスデータの下で対称的なトレーニング表現をもたらすことが示されているが、この対称性はクラス不均衡の下で破れる。最終層におけるReLU活性化の導入は,SCL学習表現の対称性を効果的に回復させる。
論文参考訳（メタデータ） (2023-06-13T17:55:39Z)
Self Contrastive Learning for Session-based Recommendation [16.69827431125858]
SCL(Self-Contrastive Learning)は、アイテム表現間の一様分布を直接促進する目的関数として定式化されている。 SCLは、統計的に重要な最先端モデルの性能を一貫して改善する。
論文参考訳（メタデータ） (2023-06-02T04:43:21Z)
Enhancing Adversarial Contrastive Learning via Adversarial Invariant Regularization [59.77647907277523]
Adversarial contrastive learning (ACL)は、標準コントラスト学習(SCL)を強化する技術である。本稿では,スタイル要因からの独立性を確保するために,逆不変正規化(AIR)を提案する。
論文参考訳（メタデータ） (2023-04-30T03:12:21Z)
Single-Pass Contrastive Learning Can Work for Both Homophilic and Heterophilic Graph [60.28340453547902]
グラフコントラッシブ・ラーニング(GCL)技術は通常、コントラッシブ・ロスを構築するために単一のインスタンスに対して2つのフォワードパスを必要とする。既存のGCLアプローチは、強力なパフォーマンス保証を提供していない。我々はSingle-Pass Graph Contrastive Learning法(SP-GCL)を実装した。経験的に、SP-GCLが学んだ機能は、計算オーバーヘッドを著しく少なくして、既存の強いベースラインにマッチまたは性能を向上することができる。
論文参考訳（メタデータ） (2022-11-20T07:18:56Z)
An Asymmetric Contrastive Loss for Handling Imbalanced Datasets [0.0]
ACLと呼ばれる非対称なCLを導入し、クラス不均衡の問題に対処する。さらに,非対称な焦点コントラスト損失(AFCL)をACLと焦点コントラスト損失の両方のさらなる一般化として提案する。 FMNISTとISIC 2018の不均衡データセットの結果、AFCLは重み付けと非重み付けの両方の分類精度でCLとFCLを上回っていることが示された。
論文参考訳（メタデータ） (2022-07-14T17:30:13Z)
Provable Stochastic Optimization for Global Contrastive Learning: Small Batch Does Not Harm Performance [53.49803579981569]
各正の対と全ての負の対をアンカーポイントで対比する、コントラスト学習のグローバルな目的を考える。 SimCLRのような既存のメソッドは、十分な結果を得るために大きなバッチサイズを必要とする。本稿では,SogCLRという表現のグローバルコントラスト学習を解くためのメモリ効率の最適化アルゴリズムを提案する。
論文参考訳（メタデータ） (2022-02-24T22:16:53Z)
Semi-supervised Contrastive Learning with Similarity Co-calibration [72.38187308270135]
SsCL(Semi-supervised Contrastive Learning)と呼ばれる新しいトレーニング戦略を提案する。 ssclは、自己教師付き学習におけるよく知られたコントラスト損失と、半教師付き学習におけるクロスエントロピー損失を組み合わせる。 SsCLはより差別的な表現を生じさせ,ショット学習に有益であることを示す。
論文参考訳（メタデータ） (2021-05-16T09:13:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。