Fugu-MT 論文翻訳(概要): Semantic Positive Pairs for Enhancing Visual Representation Learning of Instance Discrimination methods

論文の概要: Semantic Positive Pairs for Enhancing Visual Representation Learning of Instance Discrimination methods

arxiv url: http://arxiv.org/abs/2306.16122v2
Date: Thu, 25 Apr 2024 15:27:59 GMT
ステータス: 処理完了
システム内更新日: 2024-04-27 00:07:23.897670
Title: Semantic Positive Pairs for Enhancing Visual Representation Learning of Instance Discrimination methods
Title（参考訳）: インスタンス識別手法の視覚表現学習を支援する意味陽性ペア
Authors: Mohammad Alkhalefi, Georgios Leontidis, Mingjun Zhong,
Abstract要約: インスタンス識別に基づく自己教師付き学習アルゴリズム(SSL)は有望な結果を示している。類似したセマンティックコンテンツを用いてそれらの画像を識別し、肯定的な例として扱うアプローチを提案する。我々は、ImageNet、STL-10、CIFAR-10の3つのベンチマークデータセットで、異なるインスタンス識別SSLアプローチで実験を行った。
参考スコア（独自算出の注目度）: 4.680881326162484
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Self-supervised learning algorithms (SSL) based on instance discrimination have shown promising results, performing competitively or even outperforming supervised learning counterparts in some downstream tasks. Such approaches employ data augmentation to create two views of the same instance (i.e., positive pairs) and encourage the model to learn good representations by attracting these views closer in the embedding space without collapsing to the trivial solution. However, data augmentation is limited in representing positive pairs, and the repulsion process between the instances during contrastive learning may discard important features for instances that have similar categories. To address this issue, we propose an approach to identify those images with similar semantic content and treat them as positive instances, thereby reducing the chance of discarding important features during representation learning and increasing the richness of the latent representation. Our approach is generic and could work with any self-supervised instance discrimination frameworks such as MoCo and SimSiam. To evaluate our method, we run experiments on three benchmark datasets: ImageNet, STL-10 and CIFAR-10 with different instance discrimination SSL approaches. The experimental results show that our approach consistently outperforms the baseline methods across all three datasets; for instance, we improve upon the vanilla MoCo-v2 by 4.1% on ImageNet under a linear evaluation protocol over 800 epochs. We also report results on semi-supervised learning, transfer learning on downstream tasks, and object detection.
Abstract（参考訳）: インスタンス識別に基づく自己教師付き学習アルゴリズム(SSL)は、いくつかの下流タスクにおいて、競争力のある結果を示し、教師付き学習アルゴリズムよりも優れています。このようなアプローチでは、データ拡張を用いて、同じインスタンスの2つのビュー(すなわち、正のペア)を作成し、自明な解に崩壊することなく、埋め込み空間にこれらのビューを引き付けることによって、モデルが良い表現を学ぶように促す。しかし、データ拡張は正のペアを表す場合に限られており、対照的な学習におけるインスタンス間の反発プロセスは、類似のカテゴリを持つインスタンスにとって重要な特徴を捨てる可能性がある。そこで本研究では,類似したセマンティックな内容のイメージを識別し,ポジティブな例として扱うアプローチを提案し,表現学習において重要な特徴を破棄する可能性を減らすとともに,潜在表現の豊かさを高める。私たちのアプローチは汎用的であり、MoCoやSimSiamのような自己管理型のインスタンス識別フレームワークでも機能します。提案手法を評価するために,ImageNet, STL-10, CIFAR-10の3つのベンチマークデータセットを用いて,異なるインスタンス識別SSLアプローチを用いて実験を行った。実験の結果, 800エポック以上の線形評価プロトコル下では, バニラMoCo-v2を4.1%改善した。また、半教師付き学習、下流タスクにおける伝達学習、オブジェクト検出の結果についても報告する。

関連論文リスト

LeOCLR: Leveraging Original Images for Contrastive Learning of Visual Representations [4.680881326162484]
画像分類やオブジェクト検出などの下流タスクにおける教師あり学習よりも優れている。対照的な学習における一般的な強化手法は、ランダムな収穫とそれに続くリサイズである。本稿では,新しいインスタンス識別手法と適応型損失関数を用いたフレームワークであるLeOCLRを紹介する。
論文参考訳（メタデータ） (2024-03-11T15:33:32Z)
A Probabilistic Model Behind Self-Supervised Learning [53.64989127914936]
自己教師付き学習(SSL)では、アノテートラベルなしで補助的なタスクを通じて表現が学習される。自己教師型学習のための生成潜在変数モデルを提案する。対照的な方法を含む識別的SSLのいくつかのファミリーは、表現に匹敵する分布を誘導することを示した。
論文参考訳（メタデータ） (2024-02-02T13:31:17Z)
C3: Cross-instance guided Contrastive Clustering [8.953252452851862]
クラスタリングは、事前に定義されたラベルを使わずに、類似したデータサンプルをクラスタに収集するタスクである。我々は,新しいコントラストクラスタリング手法であるクロスインスタンスガイドコントラストクラスタリング(C3)を提案する。提案手法は、ベンチマークコンピュータビジョンデータセット上で最先端のアルゴリズムより優れている。
論文参考訳（メタデータ） (2022-11-14T06:28:07Z)
UniVIP: A Unified Framework for Self-Supervised Visual Pre-training [50.87603616476038]
単一中心オブジェクトまたは非調和データセット上で,汎用的な視覚表現を学習するための,新しい自己教師型フレームワークを提案する。大規模実験により、非高調波COCOで事前訓練されたUniVIPは、最先端の転送性能を実現することが示された。また、ImageNetのような単一中心オブジェクトのデータセットを利用でき、線形探索において同じ事前学習エポックでBYOLを2.5%上回る。
論文参考訳（メタデータ） (2022-03-14T10:04:04Z)
Weakly Supervised Contrastive Learning [68.47096022526927]
この問題に対処するために,弱教師付きコントラスト学習フレームワーク(WCL)を導入する。 WCLはResNet50を使用して65%と72%のImageNet Top-1の精度を実現している。
論文参考訳（メタデータ） (2021-10-10T12:03:52Z)
Contrastive Learning for Fair Representations [50.95604482330149]
訓練された分類モデルは、意図せずバイアスのある表現や予測につながる可能性がある。対戦訓練のような既存の分類モデルのデバイアス化手法は、訓練に高価であり、最適化が困難であることが多い。比較学習を取り入れたバイアス軽減手法を提案し、同じクラスラベルを共有するインスタンスに類似した表現を推奨する。
論文参考訳（メタデータ） (2021-09-22T10:47:51Z)
Solving Inefficiency of Self-supervised Representation Learning [87.30876679780532]
既存のコントラスト学習法は、非常に低い学習効率に苦しむ。アンダークラスタリングとオーバークラスタリングの問題は、学習効率の大きな障害である。中央三重項損失を用いた新しい自己監督学習フレームワークを提案する。
論文参考訳（メタデータ） (2021-04-18T07:47:10Z)
Beyond Single Instance Multi-view Unsupervised Representation Learning [21.449132256091662]
ランダムにサンプリングされた2つのインスタンス間の結合類似度を測定することにより、より正確なインスタンス識別能力を付与する。符号化された特徴が潜伏した空間でより均等に分散される場合,共同学習の類似性によって性能が向上すると考えている。
論文参考訳（メタデータ） (2020-11-26T15:43:27Z)
Unsupervised Feature Learning by Cross-Level Instance-Group Discrimination [68.83098015578874]
我々は、インスタンスグループ化ではなく、クロスレベルな識別によって、インスタンス間の類似性を対照的な学習に統合する。 CLDは、教師なし学習を、自然データや現実世界のアプリケーションに効果的に近づける。セルフスーパービジョン、セミスーパービジョン、トランスファーラーニングベンチマークに関する新たな最先端技術は、報告されたすべてのパフォーマンスでMoCo v2とSimCLRを上回っている。
論文参考訳（メタデータ） (2020-08-09T21:13:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。