論文の概要: Hyperspherical Consistency Regularization

• arxiv url: http://arxiv.org/abs/2206.00845v1
• Date: Thu, 2 Jun 2022 02:41:13 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-03 12:54:32.921723
• Title: Hyperspherical Consistency Regularization
• Title（参考訳）: 超球面一貫性規則化
• Authors: Cheng Tan, Zhangyang Gao, Lirong Wu, Siyuan Li, Stan Z. Li
• Abstract要約: 我々は,自己教師あり学習と教師あり学習の関係について検討し,自己教師あり学習がデータ効率のよい深層学習にどのように役立つかを検討する。 超球面整合正則化(HCR)を提案し,特徴依存情報を用いた分類器の正規化を行い,ラベルからのバイアスを回避する。
• 参考スコア（独自算出の注目度）: 45.00073340936437
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in contrastive learning have enlightened diverse applications across various semi-supervised fields. Jointly training supervised learning and unsupervised learning with a shared feature encoder becomes a common scheme. Though it benefits from taking advantage of both feature-dependent information from self-supervised learning and label-dependent information from supervised learning, this scheme remains suffering from bias of the classifier. In this work, we systematically explore the relationship between self-supervised learning and supervised learning, and study how self-supervised learning helps robust data-efficient deep learning. We propose hyperspherical consistency regularization (HCR), a simple yet effective plug-and-play method, to regularize the classifier using feature-dependent information and thus avoid bias from labels. Specifically, HCR first projects logits from the classifier and feature projections from the projection head on the respective hypersphere, then it enforces data points on hyperspheres to have similar structures by minimizing binary cross entropy of pairwise distances' similarity metrics. Extensive experiments on semi-supervised and weakly-supervised learning demonstrate the effectiveness of our method, by showing superior performance with HCR.
• Abstract（参考訳）: コントラスト学習の最近の進歩は、様々な半教師あり分野の多様な応用を啓蒙している。 共有特徴エンコーダを用いた教師付き学習と教師なし学習の合同訓練が一般的である。 自己教師付き学習から特徴依存情報と教師付き学習からラベル依存情報の両方を利用する利点があるが、このスキームは分類器のバイアスに苦しんでいる。 本研究では,自己教師付き学習と教師付き学習の関係を体系的に検討し,自己教師付き学習がデータ効率の高い深層学習にどのように役立つかを検討する。 超球面整合正則化(HCR)を提案し,特徴依存情報を用いた分類器の正規化を行い,ラベルからのバイアスを回避する。 具体的には、hcrは分類器と各超球面上の射影ヘッドからの特徴投影からロジットを計画し、次に双対距離の類似度メトリクスのバイナリクロスエントロピーを最小化することにより、超球面上のデータポイントを同様の構造にすることを強制する。 半教師付き学習と弱教師付き学習の広範な実験は,hcrで優れた性能を示すことにより,本手法の有効性を示す。

関連論文リスト

• Supervised Stochastic Neighbor Embedding Using Contrastive Learning [4.560284382063488]
  同じクラスに属するサンプルのクラスタは、低次元の埋め込み空間にまとめられる。 我々は、自己教師付きコントラスト的アプローチを完全教師付き設定に拡張し、ラベル情報を効果的に活用する。
  論文  参考訳（メタデータ） (2023-09-15T00:26:21Z)
• Self-aware and Cross-sample Prototypical Learning for Semi-supervised Medical Image Segmentation [10.18427897663732]
  整合性学習は半教師付き医療画像セグメンテーションにおいて重要な役割を担っている。 これにより、注釈なしデータの豊富さを生かしながら、限られた注釈付きデータの有効利用が可能になる。 一貫性学習における予測の多様性を高めるために,自己認識型・クロスサンプル型学習法(SCP-Net)を提案する。
  論文  参考訳（メタデータ） (2023-05-25T16:22:04Z)
• Regularization Through Simultaneous Learning: A Case Study on Plant Classification [0.0]
  本稿では,トランスファーラーニングとマルチタスクラーニングの原則に基づく正規化アプローチである同時学習を紹介する。 我々は、ターゲットデータセットであるUFOP-HVDの補助データセットを活用し、カスタマイズされた損失関数でガイドされた同時分類を容易にする。 興味深いことに,本手法は正規化のないモデルよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-05-22T19:44:57Z)
• CCLF: A Contrastive-Curiosity-Driven Learning Framework for Sample-Efficient Reinforcement Learning [56.20123080771364]
  我々は、強化学習のためのモデルに依存しないコントラスト駆動学習フレームワーク(CCLF)を開発した。 CCLFは、サンプルの重要性を完全に活用し、自己管理的な学習効率を向上させる。 このアプローチをDeepMind Control Suite、Atari、MiniGridベンチマークで評価する。
  論文  参考訳（メタデータ） (2022-05-02T14:42:05Z)
• Semi-supervised Domain Adaptive Structure Learning [72.01544419893628]
  半教師付きドメイン適応 (SSDA) は,1) アノテーションの低いデータに過度に適合する手法と,2) ドメイン間の分散シフトの両方を克服しなければならない課題である。 SSLとDAの協調を正規化するための適応型構造学習手法を提案する。
  論文  参考訳（メタデータ） (2021-12-12T06:11:16Z)
• Hybrid Dynamic Contrast and Probability Distillation for Unsupervised Person Re-Id [109.1730454118532]
  非監督的人物再識別(Re-Id)は、リードワールドビデオ監視システムにおける実践的応用により注目されている。 本稿では,ハイブリッド動的クラスタコントラストと確率蒸留アルゴリズムを提案する。 教師なしRe-Id問題を局所-言語的ダイナミックコントラスト学習と自己教師付き確率蒸留の枠組みに統合する。
  論文  参考訳（メタデータ） (2021-09-29T02:56:45Z)
• Clustering augmented Self-Supervised Learning: Anapplication to Land Cover Mapping [10.720852987343896]
  本稿では,自己教師型学習のためのクラスタリングに基づくプレテキストタスクを用いて,土地被覆マッピングの新しい手法を提案する。 社会的に関係のある2つのアプリケーションに対して,本手法の有効性を示す。
  論文  参考訳（メタデータ） (2021-08-16T19:35:43Z)
• Co-learning: Learning from Noisy Labels with Self-supervision [28.266156561454327]
  自己教師付き学習はラベルのない状態で機能し、ノイズラベルの負の影響を排除します。 教師付き学習と自己監督型学習の両方の視点で協調学習を行うことで、ノイズラベルを用いた学習のためのコラーニングという、シンプルで効果的な方法を提案する。
  論文  参考訳（メタデータ） (2021-08-05T06:20:51Z)
• ORDisCo: Effective and Efficient Usage of Incremental Unlabeled Data for Semi-supervised Continual Learning [52.831894583501395]
  連続学習は、入力されたデータが完全にラベル付けされていると仮定し、実際のアプリケーションでは適用できないかもしれない。 我々は、条件付き生成逆数ネットワーク(GAN)を用いた分類器を相互に学習するために、識別器整合(ORDisCo)を用いたディープオンライン再生を提案する。 ORDisCo が SSCL の様々な半教師付き学習ベンチマークデータセットで大幅なパフォーマンス向上を達成していることを示します。
  論文  参考訳（メタデータ） (2021-01-02T09:04:14Z)
• Network Classifiers Based on Social Learning [71.86764107527812]
  空間と時間に対して独立に訓練された分類器を結合する新しい手法を提案する。 提案したアーキテクチャは、ラベルのないデータで時間とともに予測性能を改善することができる。 この戦略は高い確率で一貫した学習をもたらすことが示され、未訓練の分類器に対して頑健な構造が得られる。
  論文  参考訳（メタデータ） (2020-10-23T11:18:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。