論文の概要: Self-Contrastive Learning

• arxiv url: http://arxiv.org/abs/2106.15499v1
• Date: Tue, 29 Jun 2021 15:26:00 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-30 19:18:33.997654
• Title: Self-Contrastive Learning
• Title（参考訳）: 自己コントラスト学習
• Authors: Sangmin Bae, Sungnyun Kim, Jongwoo Ko, Gihun Lee, Seungjong Noh, Se-Young Yun
• Abstract要約: 本稿では,自己コントラスト学習(SelfCon)と呼ばれる新しいコントラスト学習フレームワークを提案する。 我々の実験では、SelfConはマルチビューのバッチを必要とせずに教師付きコントラスト学習(SupCon)を超越しています。
• 参考スコア（独自算出の注目度）: 7.646667418352412
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper proposes a novel contrastive learning framework, coined as Self-Contrastive (SelfCon) Learning, that self-contrasts within multiple outputs from the different levels of a network. We confirmed that SelfCon loss guarantees the lower bound of mutual information (MI) between the intermediate and last representations. Besides, we empirically showed, via various MI estimators, that SelfCon loss highly correlates to the increase of MI and better classification performance. In our experiments, SelfCon surpasses supervised contrastive (SupCon) learning without the need for a multi-viewed batch and with the cheaper computational cost. Especially on ResNet-18, we achieved top-1 classification accuracy of 76.45% for the CIFAR-100 dataset, which is 2.87% and 4.36% higher than SupCon and cross-entropy loss, respectively. We found that mitigating both vanishing gradient and overfitting issue makes our method outperform the counterparts.
• Abstract（参考訳）: 本稿では,ネットワークの異なるレベルから複数のアウトプット内で自己コントラストを学習する,自己コントラスト学習(SelfContrastive Learning,SelfCon)と呼ばれる新しいコントラスト学習フレームワークを提案する。 我々は、SelfCon損失が中間表現と最後の表現の間の相互情報の低境界を保証することを確認した。 さらに,様々なMI推定器を用いて,自己Con損失はMIの増加と分類性能の向上に大きく相関することを示した。 実験では,マルチビューのバッチを必要とせず,より安価な計算コストで教師付きコントラスト(supcon)学習を超越した。 In particular on ResNet-18, we achieved top-1 classification accuracy of 76.45% for the CIFAR-100 data, which is 2.87% and 4.36% higher than SupCon and cross-entropy loss。 グラデーションの消失とオーバーフィッティングの問題の両方を緩和することで、私たちのメソッドがそれよりも優れていることが分かりました。

関連論文リスト

• A Unified Contrastive Loss for Self-Training [3.3454373538792552]
  自己学習法は、半教師あり学習において、豊富なラベルのないデータを利用するのに有効であることが証明されている。 本稿では,CE損失の全ての事例を一意の対照的な損失に置き換える,自己学習手法を強化するための一般的な枠組みを提案する。 私たちのフレームワークは,ラベル付きデータに制限のある3つのデータセットに対して,大幅なパフォーマンス向上を実現しています。
  論文  参考訳（メタデータ） (2024-09-11T14:22:41Z)
• CoNe: Contrast Your Neighbours for Supervised Image Classification [62.12074282211957]
  Contrast Your Neighbours (CoNe)は、教師付き画像分類のための学習フレームワークである。 CoNeは、より適応的で洗練されたターゲットを生成するために、類似した隣人の特徴をアンカーとして採用している。 私たちのCoNeは、最近のTimトレーニングレシピを上回るResNet-50で、ImageNetの80.8%のTop-1精度を実現しています。
  論文  参考訳（メタデータ） (2023-08-21T14:49:37Z)
• Class Anchor Margin Loss for Content-Based Image Retrieval [97.81742911657497]
  距離学習パラダイムに該当する新しいレペラ・トラクタ損失を提案するが、ペアを生成する必要がなく、直接L2メトリックに最適化する。 CBIRタスクにおいて,畳み込みアーキテクチャと変圧器アーキテクチャの両方を用いて,少数ショットおよびフルセットトレーニングの文脈で提案した目的を評価する。
  論文  参考訳（メタデータ） (2023-06-01T12:53:10Z)
• Tuned Contrastive Learning [77.67209954169593]
  そこで本研究では,TCL(Tuned Contrastive Learning)損失という,新たなコントラスト損失関数を提案する。 TCLはバッチ内の複数の正と負に一般化し、ハードな正とハードな負の勾配応答を調整および改善するためのパラメータを提供する。 我々は、TCLを自己教師付き設定に拡張する方法を示し、それを様々なSOTA自己教師型学習手法と経験的に比較する。
  論文  参考訳（メタデータ） (2023-05-18T03:26:37Z)
• Enhancing Multi-view Stereo with Contrastive Matching and Weighted Focal Loss [10.847120224170698]
  コントラスト学習と特徴マッチングに触発された既存ネットワークの性能向上のための新しい手法を提案する。 提案手法は,ベースラインネットワーク上での最先端性能と大幅な改善を実現する。
  論文  参考訳（メタデータ） (2022-06-21T13:10:14Z)
• Semi-supervised Contrastive Learning with Similarity Co-calibration [72.38187308270135]
  SsCL(Semi-supervised Contrastive Learning)と呼ばれる新しいトレーニング戦略を提案する。 ssclは、自己教師付き学習におけるよく知られたコントラスト損失と、半教師付き学習におけるクロスエントロピー損失を組み合わせる。 SsCLはより差別的な表現を生じさせ,ショット学習に有益であることを示す。
  論文  参考訳（メタデータ） (2021-05-16T09:13:56Z)
• EqCo: Equivalent Rules for Self-supervised Contrastive Learning [81.45848885547754]
  本稿では,InfoNCEをベースとしたコントラスト学習フレームワークにおいて,負のサンプル数と無関係に自己教師型学習を実現する手法を提案する。 InfoMaxの原理に着想を得て、負のペアの数に応じて、対照的な損失のマージン項を適応的にスケールする必要があることを指摘する。
  論文  参考訳（メタデータ） (2020-10-05T11:39:04Z)
• What Makes for Good Views for Contrastive Learning? [90.49736973404046]
  我々は、タスク関連情報をそのまま保持しながら、ビュー間の相互情報(MI)を減らすべきであると論じる。 教師なし・半教師なしのフレームワークを考案し、MIの削減をめざして効果的なビューを学習する。 副産物として、ImageNet分類のための教師なし事前学習における最先端の精度を実現する。
  論文  参考訳（メタデータ） (2020-05-20T17:59:57Z)
• Supervised Contrastive Learning [42.27949000093086]
  我々は、自己教師付きバッチコントラストアプローチを完全教師付き設定に拡張する。 教師付きコントラスト(SupCon)損失の2つの可能なバージョンを分析し,損失の最も優れた定式化を同定した。 ResNet-200では、ImageNetデータセットでトップ1の精度が81.4%に達しています。
  論文  参考訳（メタデータ） (2020-04-23T17:58:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。