論文の概要: Universum-inspired Supervised Contrastive Learning
- arxiv url: http://arxiv.org/abs/2204.10695v3
- Date: Tue, 31 Oct 2023 10:43:34 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-02 04:56:29.003454
- Title: Universum-inspired Supervised Contrastive Learning
- Title（参考訳）: ユニバースに触発された教師付きコントラスト学習
- Authors: Aiyang Han, Chuanxing Geng, Songcan Chen
- Abstract要約: 対象クラス、すなわちユニバーサムのどれにも属さないドメイン内サンプルを生成する可能性について検討する。
大学にインスパイアされた教師付きコントラスト学習(UniCon)を提案する。
我々は、Un-Uni(Un-Uni)というUnsupervised Universum-inspired contrastive model(Un-Uni)を提案する。
- 参考スコア（独自算出の注目度）: 33.417393239775336
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As an effective data augmentation method, Mixup synthesizes an extra amount
of samples through linear interpolations. Despite its theoretical dependency on
data properties, Mixup reportedly performs well as a regularizer and calibrator
contributing reliable robustness and generalization to deep model training. In
this paper, inspired by Universum Learning which uses out-of-class samples to
assist the target tasks, we investigate Mixup from a largely under-explored
perspective - the potential to generate in-domain samples that belong to none
of the target classes, that is, universum. We find that in the framework of
supervised contrastive learning, Mixup-induced universum can serve as
surprisingly high-quality hard negatives, greatly relieving the need for large
batch sizes in contrastive learning. With these findings, we propose
Universum-inspired supervised Contrastive learning (UniCon), which incorporates
Mixup strategy to generate Mixup-induced universum as universum negatives and
pushes them apart from anchor samples of the target classes. We extend our
method to the unsupervised setting, proposing Unsupervised Universum-inspired
contrastive model (Un-Uni). Our approach not only improves Mixup with hard
labels, but also innovates a novel measure to generate universum data. With a
linear classifier on the learned representations, UniCon shows state-of-the-art
performance on various datasets. Specially, UniCon achieves 81.7% top-1
accuracy on CIFAR-100, surpassing the state of art by a significant margin of
5.2% with a much smaller batch size, typically, 256 in UniCon vs. 1024 in
SupCon using ResNet-50. Un-Uni also outperforms SOTA methods on CIFAR-100. The
code of this paper is released on https://github.com/hannaiiyanggit/UniCon.
- Abstract（参考訳）: 効果的なデータ拡張方法として、mixupは線形補間により余分な量のサンプルを合成する。
データプロパティへの理論的依存にもかかわらず、mixupは信頼できる堅牢性とディープラーニングモデルのトレーニングへの一般化に寄与するレギュレータとキャリブレータとして機能すると言われている。
本稿では,対象のタスクを支援するためにクラス外サンプルを使用するUniversum Learningに触発されたMixupについて,対象のクラスに属さないドメイン内サンプルを生成する可能性,すなわちユニバーサム(universum)について検討する。
教師付きコントラスト学習の枠組みでは、Mixupによるユニバーサムは驚くほど高品質なハードネガティブとして機能し、コントラスト学習における大きなバッチサイズの必要性を大幅に軽減する。
そこで本研究では,mixup戦略を組み込んだuniversum-inspired supervised contrastive learning (unicon)を提案する。
我々はUn-Uni(Unsupervised Universum-inspired contrastive model)を提案する。
ハードラベルを用いたMixupの改善だけでなく、ユニバーサムデータを生成するための新しい手法も開発している。
学習した表現の線形分類器を用いて、UniConは様々なデータセットで最先端のパフォーマンスを示す。
特に、UniConはCIFAR-100で81.7%の精度を達成し、ResNet-50を使用したSupConのUniConと1024の2倍のバッチサイズで5.2%という大きなマージンを達成している。
Un-Uni は CIFAR-100 上で SOTA 法より優れている。
本論文のコードはhttps://github.com/hannaiiyanggit/UniConで公開されている。
関連論文リスト
- SAM as the Guide: Mastering Pseudo-Label Refinement in Semi-Supervised Referring Expression Segmentation [66.92696817276288]
SemiRESは、RESを実行するためにラベル付きデータとラベルなしデータの組み合わせを効果的に活用する半教師付きフレームワークである。
SemiRESはSegment Anything Model (SAM) を組み込んでいる。
利用可能な候補と正確なマスクが一致しない場合、Pixel-Wise Adjustment(PWA)戦略を開発する。
論文 参考訳（メタデータ） (2024-06-03T15:42:30Z) - Federated Learning under Partially Class-Disjoint Data via Manifold Reshaping [64.58402571292723]
我々はFedMRと呼ばれる多様体再構成手法を提案し、局所訓練の特徴空間を校正する。
我々は、FedMRがはるかに高い精度と通信効率を達成することを示すために、さまざまなデータセットに関する広範な実験を行います。
論文 参考訳（メタデータ） (2024-05-29T10:56:13Z) - Supervised Stochastic Neighbor Embedding Using Contrastive Learning [4.560284382063488]
同じクラスに属するサンプルのクラスタは、低次元の埋め込み空間にまとめられる。
我々は、自己教師付きコントラスト的アプローチを完全教師付き設定に拡張し、ラベル情報を効果的に活用する。
論文 参考訳（メタデータ） (2023-09-15T00:26:21Z) - CoNe: Contrast Your Neighbours for Supervised Image Classification [62.12074282211957]
Contrast Your Neighbours (CoNe)は、教師付き画像分類のための学習フレームワークである。
CoNeは、より適応的で洗練されたターゲットを生成するために、類似した隣人の特徴をアンカーとして採用している。
私たちのCoNeは、最近のTimトレーニングレシピを上回るResNet-50で、ImageNetの80.8%のTop-1精度を実現しています。
論文 参考訳（メタデータ） (2023-08-21T14:49:37Z) - Boosting Semi-Supervised Learning by Exploiting All Unlabeled Data [21.6350640726058]
半教師付き学習(SSL)は、大きなラベル付きデータセットへの依存を緩和する大きな可能性を秘めているため、大きな注目を集めている。
エントロピー平均損失(EML)と適応負学習(ANL)の2つの新しい手法を提案する。
これらのテクニックをFixMatchと統合し、シンプルながら強力なフレームワークであるFullMatchを開発します。
論文 参考訳（メタデータ） (2023-03-20T12:44:11Z) - Learning with MISELBO: The Mixture Cookbook [62.75516608080322]
本稿では,VampPriorとPixelCNNデコーダネットワークを用いて,フローベース階層型変分オートエンコーダ(VAE)の正規化のための変分近似を初めて提案する。
我々は、この協調行動について、VIと適応的重要度サンプリングの新たな関係を描いて説明する。
我々は、MNISTおよびFashionMNISTデータセット上の負のログ類似度の観点から、VAEアーキテクチャの最先端結果を得る。
論文 参考訳（メタデータ） (2022-09-30T15:01:35Z) - Two Heads are Better than One: Robust Learning Meets Multi-branch Models [14.72099568017039]
本稿では,従来の対人訓練用データセットのみを用いて,最先端のパフォーマンスを得るために,分岐直交補助訓練(BORT)を提案する。
我々は, CIFAR-10, CIFAR-100, SVHN に対する Epsilon = 8/255 の ell_infty ノルム束縛摂動に対するアプローチを評価した。
論文 参考訳（メタデータ） (2022-08-17T05:42:59Z) - Class-Aware Universum Inspired Re-Balance Learning for Long-Tailed
Recognition [24.35287225775304]
長期認識のためのクラス認識大学インスパイアされた再バランス学習(CaUIRL)
外部データに頼らずにクラス認識ユニバーサム(CaU)データを自動生成する高次混合手法を開発した。
論文 参考訳（メタデータ） (2022-07-26T11:03:39Z) - Harnessing Hard Mixed Samples with Decoupled Regularizer [69.98746081734441]
Mixupは、決定境界を混合データで滑らかにすることで、ニューラルネットワークの一般化を改善する効率的なデータ拡張アプローチである。
本稿では,非結合型正規化器(Decoupled Mixup, DM)を用いた効率的な混合目標関数を提案する。
DMは、ミキシングの本来の滑らかさを損なうことなく、硬質混合試料を適応的に利用して識別特性をマイニングすることができる。
論文 参考訳（メタデータ） (2022-03-21T07:12:18Z) - ROAM: Random Layer Mixup for Semi-Supervised Learning in Medical Imaging [43.26668942258135]
医療画像のセグメンテーションは、機械学習の手法が抱える大きな課題の1つだ。
我々はRandOm lAyer MixupのROAMを提案する。
ROAMは、全脳セグメンテーションに対してそれぞれ2.40%と16.50%の相対的な改善を施した、完全に監督された(89.5%)と半監督された(87.0%)設定のSOTA(State-of-the-art)を達成している。
論文 参考訳（メタデータ） (2020-03-20T18:07:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。