論文の概要: Solving Inefficiency of Self-supervised Representation Learning

• arxiv url: http://arxiv.org/abs/2104.08760v1
• Date: Sun, 18 Apr 2021 07:47:10 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-20 14:46:51.325441
• Title: Solving Inefficiency of Self-supervised Representation Learning
• Title（参考訳）: 自己教師型表現学習の非効率化
• Authors: Guangrun Wang, Keze Wang, Guangcong Wang, Phillip H.S. Torr, Liang Lin
• Abstract要約: 既存のコントラスト学習法は、非常に低い学習効率に苦しむ。 アンダークラスタリングとオーバークラスタリングの問題は、学習効率の大きな障害である。 中央三重項損失を用いた新しい自己監督学習フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 87.30876679780532
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-supervised learning has attracted great interest due to its tremendous potentials in learning discriminative representations in an unsupervised manner. Along this direction, contrastive learning achieves current state-of-the-art performance. Despite the acknowledged successes, existing contrastive learning methods suffer from very low learning efficiency, e.g., taking about ten times more training epochs than supervised learning for comparable recognition accuracy. In this paper, we discover two contradictory phenomena in contrastive learning that we call under-clustering and over-clustering problems, which are major obstacles to learning efficiency. Under-clustering means that the model cannot efficiently learn to discover the dissimilarity between inter-class samples when the negative sample pairs for contrastive learning are insufficient to differentiate all the actual object categories. Over-clustering implies that the model cannot efficiently learn the feature representation from excessive negative sample pairs, which include many outliers and thus enforce the model to over-cluster samples of the same actual categories into different clusters. To simultaneously overcome these two problems, we propose a novel self-supervised learning framework using a median triplet loss. Precisely, we employ a triplet loss tending to maximize the relative distance between the positive pair and negative pairs to address the under-clustering problem; and we construct the negative pair by selecting the negative sample of a median similarity score from all negative samples to avoid the over-clustering problem, guaranteed by the Bernoulli Distribution model. We extensively evaluate our proposed framework in several large-scale benchmarks (e.g., ImageNet, SYSU-30k, and COCO). The results demonstrate the superior performance of our model over the latest state-of-the-art methods by a clear margin.
• Abstract（参考訳）: 自己教師付き学習は、教師なしの方法で差別的表現を学習する大きな可能性から、大きな関心を集めている。 この方向に沿って、コントラスト学習は現在の最先端のパフォーマンスを達成する。 これらの成功にもかかわらず、既存のコントラスト学習手法は非常に低い学習効率に悩まされ、例えば、同等の認識精度で教師付き学習よりも10倍の訓練エポックを要した。 本稿では,学習効率の大きな障害であるアンダークラスタリングとオーバークラスタリング問題と呼ばれる,コントラスト学習における2つの矛盾する現象を発見する。 アンダークラスタリングは、対照的な学習のための負のサンプルペアが不十分な場合に、モデルがクラス間の相違点を効率的に発見できないことを意味する。 オーバークラスタリングは、モデルが過剰な負のサンプルペアから、多くのアウトレーヤを含む特徴表現を効率的に学習できないことを意味し、したがって、同じ実際のカテゴリのオーバークラスタサンプルを異なるクラスタに強制する。 この2つの問題を同時に克服するために,中央三重項損失を用いた新しい自己教師付き学習フレームワークを提案する。 正確には, 正対と負対の相対距離を最大化する三重項損失を用い, 全ての負のサンプルから正の類似度スコアの負のサンプルを選択し, ベルヌーイ分布モデルによって保証される過剰クラスタリング問題を回避することで負のペアを構成する。 提案するフレームワークを大規模ベンチマーク(ImageNet, SYSU-30k, COCOなど)で広く評価する。 その結果,最新の最先端手法よりも明確なマージンによるモデルの性能向上が示された。

関連論文リスト

• Semantic Positive Pairs for Enhancing Visual Representation Learning of Instance Discrimination methods [4.680881326162484]
  インスタンス識別に基づく自己教師付き学習アルゴリズム(SSL)は有望な結果を示している。 類似したセマンティックコンテンツを用いてそれらの画像を識別し、肯定的な例として扱うアプローチを提案する。 我々は、ImageNet、STL-10、CIFAR-10の3つのベンチマークデータセットで、異なるインスタンス識別SSLアプローチで実験を行った。
  論文  参考訳（メタデータ） (2023-06-28T11:47:08Z)
• Cluster-aware Contrastive Learning for Unsupervised Out-of-distribution Detection [0.0]
  教師なしアウト・オブ・ディストリビューション(OOD)検出は、ラベル情報なしでトレーニングデータの分布外に落下するサンプルを分離することを目的としている。 本稿では,インスタンスレベルの情報と意味レベルの情報の両方を考慮した,教師なしOOD検出のためのクラスタ対応コントラスト学習(CCL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-02-06T07:21:03Z)
• Rethinking Clustering-Based Pseudo-Labeling for Unsupervised Meta-Learning [146.11600461034746]
  教師なしメタラーニングのメソッドであるCACTUsは、擬似ラベル付きクラスタリングベースのアプローチである。 このアプローチはモデルに依存しないため、教師付きアルゴリズムと組み合わせてラベルのないデータから学習することができる。 このことの核となる理由は、埋め込み空間においてクラスタリングに優しい性質が欠如していることである。
  論文  参考訳（メタデータ） (2022-09-27T19:04:36Z)
• Joint Debiased Representation and Image Clustering Learning with Self-Supervision [3.1806743741013657]
  我々は,新しい共同クラスタリングとコントラスト学習フレームワークを開発した。 不均衡なデータセットの下位クラスタ化を避けるために、デバイアスド・コントラストの損失に適応する。
  論文  参考訳（メタデータ） (2022-09-14T21:23:41Z)
• Neighborhood Contrastive Learning for Novel Class Discovery [79.14767688903028]
  我々は,クラスタリング性能に重要な識別表現を学習するために,Neighborhood Contrastive Learningという新しいフレームワークを構築した。 これらの2つの成分がクラスタリング性能に大きく寄与し、我々のモデルが最先端の手法よりも大きなマージンで優れていることを実験的に実証した。
  論文  参考訳（メタデータ） (2021-06-20T17:34:55Z)
• Incremental False Negative Detection for Contrastive Learning [95.68120675114878]
  本稿では,自己指導型コントラスト学習のための新たな偽陰性検出手法を提案する。 対照的な学習では、検出された偽陰性を明示的に除去する2つの戦略について議論する。 提案手法は,制限された計算内での複数のベンチマークにおいて,他の自己教師付きコントラスト学習フレームワークよりも優れる。
  論文  参考訳（メタデータ） (2021-06-07T15:29:14Z)
• Scalable Personalised Item Ranking through Parametric Density Estimation [53.44830012414444]
  暗黙のフィードバックから学ぶことは、一流問題の難しい性質のために困難です。 ほとんどの従来の方法は、一級問題に対処するためにペアワイズランキングアプローチとネガティブサンプラーを使用します。 本論文では,ポイントワイズと同等の収束速度を実現する学習対ランクアプローチを提案する。
  論文  参考訳（メタデータ） (2021-05-11T03:38:16Z)
• Doubly Contrastive Deep Clustering [135.7001508427597]
  本稿では、サンプルビューとクラスビューの両方でコントラスト損失を構築する新しい二重コントラストディープクラスタリング(DCDC)フレームワークを紹介します。 具体的には、サンプルビューに対して、元のサンプルとその拡張バージョンのクラス分布を正のサンプルペアとして設定する。 クラスビューでは、クラスのサンプル分布から正のペアと負のペアを構築します。 このように、2つのコントラスト損失は、サンプルとクラスレベルでのミニバッチサンプルのクラスタリング結果をうまく制限します。
  論文  参考訳（メタデータ） (2021-03-09T15:15:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。