論文の概要: The Bad Batches: Enhancing Self-Supervised Learning in Image Classification Through Representative Batch Curation

• arxiv url: http://arxiv.org/abs/2403.19579v1
• Date: Thu, 28 Mar 2024 17:04:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-29 15:24:55.268802
• Title: The Bad Batches: Enhancing Self-Supervised Learning in Image Classification Through Representative Batch Curation
• Title（参考訳）: 悪いバッチ: 画像分類における自己指導型学習の適応的バッチ・キュレーション
• Authors: Ozgu Goksu, Nicolas Pugeault,
• Abstract要約: 人間の監督なしに堅牢な表現を学ぶことの追求は、長年にわたる課題である。 本稿では,Fr'echet ResNet Distance(FRD)によるペアワイズ類似性計算を用いて,偽正負負対と偽負対の影響を緩和する。 提案手法の有効性は,STL10で87.74%,Flower102データセットで99.31%,自己教師付きコントラスト表現で訓練された線形分類器によって実証された。
• 参考スコア（独自算出の注目度）: 1.519321208145928
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The pursuit of learning robust representations without human supervision is a longstanding challenge. The recent advancements in self-supervised contrastive learning approaches have demonstrated high performance across various representation learning challenges. However, current methods depend on the random transformation of training examples, resulting in some cases of unrepresentative positive pairs that can have a large impact on learning. This limitation not only impedes the convergence of the learning process but the robustness of the learnt representation as well as requiring larger batch sizes to improve robustness to such bad batches. This paper attempts to alleviate the influence of false positive and false negative pairs by employing pairwise similarity calculations through the Fr\'echet ResNet Distance (FRD), thereby obtaining robust representations from unlabelled data. The effectiveness of the proposed method is substantiated by empirical results, where a linear classifier trained on self-supervised contrastive representations achieved an impressive 87.74\% top-1 accuracy on STL10 and 99.31\% on the Flower102 dataset. These results emphasize the potential of the proposed approach in pushing the boundaries of the state-of-the-art in self-supervised contrastive learning, particularly for image classification tasks.
• Abstract（参考訳）: 人間の監督なしに堅牢な表現を学ぶことの追求は、長年にわたる課題である。 近年の自己指導型コントラスト学習手法の進歩は,様々な表現学習課題にまたがって高い性能を示した。 しかし、現在の手法は訓練例のランダムな変換に依存しており、結果として、学習に大きな影響を与える非表現的な正のペアがいくつか存在する。 この制限は、学習プロセスの収束を阻害するだけでなく、学習者の表現の堅牢性だけでなく、そのような悪いバッチに対する堅牢性を改善するためにより大きなバッチサイズを必要とします。 本稿では、Fr'echet ResNet Distance (FRD) を用いて、ペアの類似性計算を用いて、偽正負対と偽負対の影響を緩和し、非競合データからロバストな表現を得る。 提案手法の有効性は,STL10では87.74 %,Flower102では99.31 %,自己教師付きコントラスト表現では線形分類器が87.74 %,STL10では99.31 %であった。 これらの結果は, 自己指導型コントラスト学習, 特に画像分類タスクにおいて, 最先端技術の境界を推し進めるアプローチの可能性を強調した。

関連論文リスト

• LeOCLR: Leveraging Original Images for Contrastive Learning of Visual Representations [4.680881326162484]
  画像分類やオブジェクト検出などの下流タスクにおける教師あり学習よりも優れている。 対照的な学習における一般的な強化手法は、ランダムな収穫とそれに続くリサイズである。 本稿では,新しいインスタンス識別手法と適応型損失関数を用いたフレームワークであるLeOCLRを紹介する。
  論文  参考訳（メタデータ） (2024-03-11T15:33:32Z)
• From Pretext to Purpose: Batch-Adaptive Self-Supervised Learning [32.18543787821028]
  本稿では,自己教師付きコントラスト学習におけるバッチ融合の適応的手法を提案する。 公平な比較で最先端のパフォーマンスを達成する。 提案手法は,データ駆動型自己教師型学習研究の進展に寄与する可能性が示唆された。
  論文  参考訳（メタデータ） (2023-11-16T15:47:49Z)
• R\'enyiCL: Contrastive Representation Learning with Skew R\'enyi Divergence [78.15455360335925]
  我々はR'enyiCLという新しい頑健なコントラスト学習手法を提案する。 我々の手法は R'enyi divergence の変動的下界の上に構築されている。 我々は,R'enyi の対照的な学習目的が,自然に強い負のサンプリングと簡単な正のサンプリングを同時に行うことを示す。
  論文  参考訳（メタデータ） (2022-08-12T13:37:05Z)
• Fair Contrastive Learning for Facial Attribute Classification [25.436462696033846]
  公正な視覚表現学習のためのFair Supervised Contrastive Loss (FSCL)を提案する。 本稿では,教師付きコントラスト学習による不公平性を初めて分析する。 提案手法はデータバイアスの強度に頑健であり,不完全な教師付き設定で効果的に機能する。
  論文  参考訳（メタデータ） (2022-03-30T11:16:18Z)
• Understanding Contrastive Learning Requires Incorporating Inductive Biases [64.56006519908213]
  下流タスクにおけるコントラスト学習の成功を理論的に説明しようとする最近の試みは、エム強化の特性とエムコントラスト学習の損失の値によって保証が証明されている。 このような分析は,関数クラスやトレーニングアルゴリズムの帰納的バイアスを無視し,いくつかの設定において不確実な保証につながることを実証する。
  論文  参考訳（メタデータ） (2022-02-28T18:59:20Z)
• Weakly Supervised Contrastive Learning [68.47096022526927]
  この問題に対処するために,弱教師付きコントラスト学習フレームワーク(WCL)を導入する。 WCLはResNet50を使用して65%と72%のImageNet Top-1の精度を実現している。
  論文  参考訳（メタデータ） (2021-10-10T12:03:52Z)
• Contrastive Learning for Fair Representations [50.95604482330149]
  訓練された分類モデルは、意図せずバイアスのある表現や予測につながる可能性がある。 対戦訓練のような既存の分類モデルのデバイアス化手法は、訓練に高価であり、最適化が困難であることが多い。 比較学習を取り入れたバイアス軽減手法を提案し、同じクラスラベルを共有するインスタンスに類似した表現を推奨する。
  論文  参考訳（メタデータ） (2021-09-22T10:47:51Z)
• Hybrid Generative-Contrastive Representation Learning [32.84066504783469]
  コントラストと生成的損失の両方で訓練されたトランスフォーマーベースのエンコーダデコーダアーキテクチャは、生成性能を損なうことなく、高い識別性および堅牢性を持つ表現を学習できることを示す。
  論文  参考訳（メタデータ） (2021-06-11T04:23:48Z)
• Solving Inefficiency of Self-supervised Representation Learning [87.30876679780532]
  既存のコントラスト学習法は、非常に低い学習効率に苦しむ。 アンダークラスタリングとオーバークラスタリングの問題は、学習効率の大きな障害である。 中央三重項損失を用いた新しい自己監督学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-04-18T07:47:10Z)
• Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
  近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。 我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
  論文  参考訳（メタデータ） (2020-10-26T04:44:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。