論文の概要: Universum-inspired Supervised Contrastive Learning

• arxiv url: http://arxiv.org/abs/2204.10695v1
• Date: Fri, 22 Apr 2022 13:27:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-25 14:25:01.726882
• Title: Universum-inspired Supervised Contrastive Learning
• Title（参考訳）: ユニバースに触発された教師付きコントラスト学習
• Authors: Aiyang Han, Songcan Chen
• Abstract要約: 対象クラス、すなわちユニバーサムのどれにも属さないドメイン内サンプルを生成する可能性について検討する。 本稿では,Universum-inspired Contrastive Learning (UniCon)を提案する。 提案手法はCIFAR-100で81.68%の精度を達成し,バッチサイズをはるかに小さくした5%のマージンでアートの状態を上回りました。
• 参考スコア（独自算出の注目度）: 24.618094251341958
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mixup is an efficient data augmentation method which generates additional samples through respective convex combinations of original data points and labels. Although being theoretically dependent on data properties, Mixup is reported to perform well as a regularizer and calibrator contributing reliable robustness and generalization to neural network training. In this paper, inspired by Universum Learning which uses out-of-class samples to assist the target tasks, we investigate Mixup from a largely under-explored perspective - the potential to generate in-domain samples that belong to none of the target classes, that is, universum. We find that in the framework of supervised contrastive learning, universum-style Mixup produces surprisingly high-quality hard negatives, greatly relieving the need for a large batch size in contrastive learning. With these findings, we propose Universum-inspired Contrastive learning (UniCon), which incorporates Mixup strategy to generate universum data as g-negatives and pushes them apart from anchor samples of the target classes. Our approach not only improves Mixup with hard labels, but also innovates a novel measure to generate universum data. With a linear classifier on the learned representations, our method achieves 81.68% top-1 accuracy on CIFAR-100, surpassing the state of art by a significant margin of 5% with a much smaller batch size, typically, 256 in UniCon vs. 1024 in SupCon using ResNet-50.
• Abstract（参考訳）: mixupは、元のデータポイントとラベルの凸の組み合わせによって追加のサンプルを生成する効率的なデータ拡張手法である。 理論的にはデータ特性に依存するが、mixupは、信頼できるロバスト性とニューラルネットワークトレーニングへの一般化に寄与する正規化器と校正器として機能する。 本稿では,対象のタスクを支援するためにクラス外サンプルを使用するUniversum Learningに触発され,対象のクラスに属さないドメイン内サンプルを生成する可能性,すなわちユニバーサム(universum)について検討する。 教師付きコントラスト学習の枠組みでは、ユニバーサムスタイルのMixupは驚くほど高品質なハードネガティブを生み出し、コントラスト学習における大きなバッチサイズの必要性を大いに軽減している。 これらの結果から,ユニバーサムデータを生成するためのミックスアップ戦略を組み込んだユニバーサムインスパイアコントラスト学習(unicon)を提案する。 ハードラベルを用いたMixupの改善だけでなく、ユニバーサムデータを生成するための新しい手法も開発している。 学習した表現の線形分類器を用いて、CIFAR-100上で81.68%のトップ-1精度を実現し、ResNet-50を用いたSupConのUniConとSupConの1024に対して、バッチサイズよりもはるかに小さい5%のマージンでアートの状態を上回りました。

関連論文リスト

• SAM as the Guide: Mastering Pseudo-Label Refinement in Semi-Supervised Referring Expression Segmentation [66.92696817276288]
  SemiRESは、RESを実行するためにラベル付きデータとラベルなしデータの組み合わせを効果的に活用する半教師付きフレームワークである。 SemiRESはSegment Anything Model (SAM) を組み込んでいる。 利用可能な候補と正確なマスクが一致しない場合、Pixel-Wise Adjustment(PWA)戦略を開発する。
  論文  参考訳（メタデータ） (2024-06-03T15:42:30Z)
• Federated Learning under Partially Class-Disjoint Data via Manifold Reshaping [64.58402571292723]
  我々はFedMRと呼ばれる多様体再構成手法を提案し、局所訓練の特徴空間を校正する。 我々は、FedMRがはるかに高い精度と通信効率を達成することを示すために、さまざまなデータセットに関する広範な実験を行います。
  論文  参考訳（メタデータ） (2024-05-29T10:56:13Z)
• Supervised Stochastic Neighbor Embedding Using Contrastive Learning [4.560284382063488]
  同じクラスに属するサンプルのクラスタは、低次元の埋め込み空間にまとめられる。 我々は、自己教師付きコントラスト的アプローチを完全教師付き設定に拡張し、ラベル情報を効果的に活用する。
  論文  参考訳（メタデータ） (2023-09-15T00:26:21Z)
• CoNe: Contrast Your Neighbours for Supervised Image Classification [62.12074282211957]
  Contrast Your Neighbours (CoNe)は、教師付き画像分類のための学習フレームワークである。 CoNeは、より適応的で洗練されたターゲットを生成するために、類似した隣人の特徴をアンカーとして採用している。 私たちのCoNeは、最近のTimトレーニングレシピを上回るResNet-50で、ImageNetの80.8%のTop-1精度を実現しています。
  論文  参考訳（メタデータ） (2023-08-21T14:49:37Z)
• Boosting Semi-Supervised Learning by Exploiting All Unlabeled Data [21.6350640726058]
  半教師付き学習(SSL)は、大きなラベル付きデータセットへの依存を緩和する大きな可能性を秘めているため、大きな注目を集めている。 エントロピー平均損失(EML)と適応負学習(ANL)の2つの新しい手法を提案する。 これらのテクニックをFixMatchと統合し、シンプルながら強力なフレームワークであるFullMatchを開発します。
  論文  参考訳（メタデータ） (2023-03-20T12:44:11Z)
• Learning with MISELBO: The Mixture Cookbook [62.75516608080322]
  本稿では,VampPriorとPixelCNNデコーダネットワークを用いて,フローベース階層型変分オートエンコーダ(VAE)の正規化のための変分近似を初めて提案する。 我々は、この協調行動について、VIと適応的重要度サンプリングの新たな関係を描いて説明する。 我々は、MNISTおよびFashionMNISTデータセット上の負のログ類似度の観点から、VAEアーキテクチャの最先端結果を得る。
  論文  参考訳（メタデータ） (2022-09-30T15:01:35Z)
• Two Heads are Better than One: Robust Learning Meets Multi-branch Models [14.72099568017039]
  本稿では,従来の対人訓練用データセットのみを用いて,最先端のパフォーマンスを得るために,分岐直交補助訓練(BORT)を提案する。 我々は, CIFAR-10, CIFAR-100, SVHN に対する Epsilon = 8/255 の ell_infty ノルム束縛摂動に対するアプローチを評価した。
  論文  参考訳（メタデータ） (2022-08-17T05:42:59Z)
• Class-Aware Universum Inspired Re-Balance Learning for Long-Tailed Recognition [24.35287225775304]
  長期認識のためのクラス認識大学インスパイアされた再バランス学習(CaUIRL) 外部データに頼らずにクラス認識ユニバーサム(CaU)データを自動生成する高次混合手法を開発した。
  論文  参考訳（メタデータ） (2022-07-26T11:03:39Z)
• Harnessing Hard Mixed Samples with Decoupled Regularizer [69.98746081734441]
  Mixupは、決定境界を混合データで滑らかにすることで、ニューラルネットワークの一般化を改善する効率的なデータ拡張アプローチである。 本稿では,非結合型正規化器(Decoupled Mixup, DM)を用いた効率的な混合目標関数を提案する。 DMは、ミキシングの本来の滑らかさを損なうことなく、硬質混合試料を適応的に利用して識別特性をマイニングすることができる。
  論文  参考訳（メタデータ） (2022-03-21T07:12:18Z)
• ROAM: Random Layer Mixup for Semi-Supervised Learning in Medical Imaging [43.26668942258135]
  医療画像のセグメンテーションは、機械学習の手法が抱える大きな課題の1つだ。 我々はRandOm lAyer MixupのROAMを提案する。 ROAMは、全脳セグメンテーションに対してそれぞれ2.40%と16.50%の相対的な改善を施した、完全に監督された(89.5%)と半監督された(87.0%)設定のSOTA(State-of-the-art)を達成している。
  論文  参考訳（メタデータ） (2020-03-20T18:07:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。