論文の概要: MixSiam: A Mixture-based Approach to Self-supervised Representation Learning

• arxiv url: http://arxiv.org/abs/2111.02679v1
• Date: Thu, 4 Nov 2021 08:12:47 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-05 21:50:41.362617
• Title: MixSiam: A Mixture-based Approach to Self-supervised Representation Learning
• Title（参考訳）: mixsiam:自己教師付き表現学習への混合ベースアプローチ
• Authors: Xiaoyang Guo, Tianhao Zhao, Yutian Lin, Bo Du
• Abstract要約: 近年,ラベルのないデータから視覚表現を学習する過程が顕著に進展している。 従来のシアムネットワークに対する混合型アプローチであるMixSiamを提案する。
• 参考スコア（独自算出の注目度）: 33.52892899982186
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently contrastive learning has shown significant progress in learning visual representations from unlabeled data. The core idea is training the backbone to be invariant to different augmentations of an instance. While most methods only maximize the feature similarity between two augmented data, we further generate more challenging training samples and force the model to keep predicting discriminative representation on these hard samples. In this paper, we propose MixSiam, a mixture-based approach upon the traditional siamese network. On the one hand, we input two augmented images of an instance to the backbone and obtain the discriminative representation by performing an element-wise maximum of two features. On the other hand, we take the mixture of these augmented images as input, and expect the model prediction to be close to the discriminative representation. In this way, the model could access more variant data samples of an instance and keep predicting invariant discriminative representations for them. Thus the learned model is more robust compared to previous contrastive learning methods. Extensive experiments on large-scale datasets show that MixSiam steadily improves the baseline and achieves competitive results with state-of-the-art methods. Our code will be released soon.
• Abstract（参考訳）: 近年,ラベルのないデータから視覚表現を学習する過程が著しく進展している。 中心となる考え方は、バックボーンをインスタンスの異なる拡張に不変にトレーニングすることだ。 ほとんどの方法は2つの拡張データ間の特徴の類似性を最大化するだけであるが、さらにより困難なトレーニングサンプルを生成し、これらのハードサンプルの識別表現を予測し続けるようモデルに強制する。 本稿では,従来のシャムネットワークを用いた混合型アプローチであるmixsiamを提案する。 一方、インスタンスの2つの拡張画像をバックボーンに入力し、2つの特徴を要素単位で最大にすることで識別表現を得る。 一方,これらの画像の混合を入力とし,モデル予測が識別表現に近いものになることを期待する。 このようにして、モデルはインスタンスのより多くの変種データサンプルにアクセスし、それらの不変な判別表現を予測し続けることができる。 したがって、学習モデルは従来の対比学習法よりも頑健である。 大規模データセットに関する広範な実験は、mixsiamがベースラインを着実に改善し、最先端の手法で競争力のある結果を得ることを示している。 私たちのコードはまもなくリリースされます。

関連論文リスト

• Exploring Data Augmentations on Self-/Semi-/Fully- Supervised Pre-trained Models [24.376036129920948]
  本研究では,データ拡張が視力事前訓練モデルの性能に与える影響について検討する。 ランダム消去(Random Erasing)、CutOut(CutOut)、CutMix(CutMix)、MixUp(MixUp)という4種類のデータ拡張を適用します。 画像分類,オブジェクト検出,インスタンスセグメンテーション,セマンティックセグメンテーションなどの視覚タスクにおける性能について報告する。
  論文  参考訳（メタデータ） (2023-10-28T23:46:31Z)
• DiffAug: Enhance Unsupervised Contrastive Learning with Domain-Knowledge-Free Diffusion-based Data Augmentation [48.25619775814776]
  本稿では,拡散モードに基づく正データ生成を用いた新しい教師なしコントラスト学習手法であるDiffAugを提案する。 DiffAugはセマンティックエンコーダと条件拡散モデルから構成されており、条件拡散モデルはセマンティックエンコーダに条件付された新しい正のサンプルを生成する。 実験的評価により、DiffAugは、DNA配列、視覚、および生体機能データセットのハンドデザインおよびSOTAモデルに基づく拡張手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-09-10T13:28:46Z)
• Self-Evolution Learning for Mixup: Enhance Data Augmentation on Few-Shot Text Classification Tasks [75.42002070547267]
  テキスト分類におけるデータ拡張のための自己進化学習(SE)に基づくミックスアップ手法を提案する。 モデル出力と原サンプルの1つのホットラベルを線形に補間して,新しい軟質なラベル混在を生成する,新しいインスタンス固有ラベル平滑化手法を提案する。
  論文  参考訳（メタデータ） (2023-05-22T23:43:23Z)
• The Trade-off between Universality and Label Efficiency of Representations from Contrastive Learning [32.15608637930748]
  2つのデシダラタの間にはトレードオフがあることを示し、同時に両方を達成できない可能性があることを示す。 我々は、理論データモデルを用いて分析を行い、より多様な事前学習データにより、異なるタスクに対してより多様な機能が得られる一方で、タスク固有の機能に重点を置いていないことを示す。
  論文  参考訳（メタデータ） (2023-02-28T22:14:33Z)
• Self-similarity Driven Scale-invariant Learning for Weakly Supervised Person Search [66.95134080902717]
  自己相似性駆動型スケール不変学習(SSL)という新しいワンステップフレームワークを提案する。 本稿では,ネットワークを前景と学習スケール不変の機能に集中させるための,マルチスケール・エクステンプラー・ブランチを提案する。 PRWおよびCUHK-SYSUデータベースの実験により,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2023-02-25T04:48:11Z)
• DoubleMix: Simple Interpolation-Based Data Augmentation for Text Classification [56.817386699291305]
  本稿では,DoubleMixと呼ばれる単純なデータ拡張手法を提案する。 DoubleMixはまず、トレーニングデータごとにいくつかの摂動サンプルを生成する。 次に、摂動データと元のデータを使って、隠れたニューラルネットワークの空間で2段階のステップを実行する。
  論文  参考訳（メタデータ） (2022-09-12T15:01:04Z)
• Self-supervised Pre-training with Hard Examples Improves Visual Representations [110.23337264762512]
  自己教師付き事前学習(ssp)は、ランダムな画像変換を用いて視覚表現学習のためのトレーニングデータを生成する。 まず,既存のSSPメソッドを擬似ラベル予測学習として統合するモデリングフレームワークを提案する。 そこで本研究では,疑似ラベルの予測が難しい学習例をランダムな画像変換で生成するデータ拡張手法を提案する。
  論文  参考訳（メタデータ） (2020-12-25T02:44:22Z)
• Demystifying Contrastive Self-Supervised Learning: Invariances, Augmentations and Dataset Biases [34.02639091680309]
  近年のパフォーマンス向上は、インスタンス分類モデルをトレーニングし、各イメージを扱い、拡張バージョンを単一のクラスのサンプルとして扱うことで実現している。 我々は,MOCO や PIRL のようなアプローチがオクルージョン不変表現を学習することを示した。 第2に、Imagenetのようなクリーンなオブジェクト中心のトレーニングデータセットにアクセスすることで、これらのアプローチがさらに利益を得ることを示す。
  論文  参考訳（メタデータ） (2020-07-28T00:11:31Z)
• CSI: Novelty Detection via Contrastive Learning on Distributionally Shifted Instances [77.28192419848901]
  コントラストシフトインスタンス (CSI) という,単純かつ効果的な手法を提案する。 従来のコントラスト学習法のように,サンプルを他の例と対比することに加えて,本トレーニング手法では,サンプルを分散シフトによる拡張と対比する。 本実験は, 種々の新規検出シナリオにおける本手法の優位性を実証する。
  論文  参考訳（メタデータ） (2020-07-16T08:32:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。