論文の概要: A Simple Data Mixing Prior for Improving Self-Supervised Learning

• arxiv url: http://arxiv.org/abs/2206.07692v1
• Date: Wed, 15 Jun 2022 17:40:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-16 14:10:37.956387
• Title: A Simple Data Mixing Prior for Improving Self-Supervised Learning
• Title（参考訳）: 自己指導型学習改善のための簡易データ混合
• Authors: Sucheng Ren, Huiyu Wang, Zhengqi Gao, Shengfeng He, Alan Yuille, Yuyin Zhou, Cihang Xie
• Abstract要約: SDMP($textbfS$imple $textbfD$ata $textbfM$ixing $textbfP$rior)を提案する。 提案したSDMPは,データ混合により,自己教師付き学習フレームワークの精度向上と分布外ロバスト性向上に有効であることを確認した。
• 参考スコア（独自算出の注目度）: 52.28244748245043
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Data mixing (e.g., Mixup, Cutmix, ResizeMix) is an essential component for advancing recognition models. In this paper, we focus on studying its effectiveness in the self-supervised setting. By noticing the mixed images that share the same source images are intrinsically related to each other, we hereby propose SDMP, short for $\textbf{S}$imple $\textbf{D}$ata $\textbf{M}$ixing $\textbf{P}$rior, to capture this straightforward yet essential prior, and position such mixed images as additional $\textbf{positive pairs}$ to facilitate self-supervised representation learning. Our experiments verify that the proposed SDMP enables data mixing to help a set of self-supervised learning frameworks (e.g., MoCo) achieve better accuracy and out-of-distribution robustness. More notably, our SDMP is the first method that successfully leverages data mixing to improve (rather than hurt) the performance of Vision Transformers in the self-supervised setting. Code is publicly available at https://github.com/OliverRensu/SDMP
• Abstract（参考訳）: データミキシング(mixup、cutmix、resizemixなど)は、認識モデルの進歩に不可欠なコンポーネントである。 本稿では,自己監督設定における有効性について検討する。 同じソースイメージを共有する混合イメージが本質的に関連していることに気付き、ここでは$\textbf{s}$imple$\textbf{d}$ata$\textbf{m}$ixing $\textbf{p}$riorという略のsdmpを提案して、この単純で本質的な先行画像をキャプチャし、これらの混合イメージを$\textbf{ positive pairs}$を追加して自己教師付き表現学習を容易にする。 提案したSDMPは,学習フレームワークの集合(例えばMoCo)の精度向上と分布外ロバスト性向上を支援するために,データミキシングを可能にすることを確認した。 さらに注目すべきは、私たちのSDMPは、データミキシングをうまく活用して、自己管理環境でのビジョントランスフォーマーのパフォーマンスを向上する(傷つけるのではなく)最初の方法です。 コードはhttps://github.com/OliverRensu/SDMPで公開されている。

関連論文リスト

• Improving Adversarial Robustness of Masked Autoencoders via Test-time Frequency-domain Prompting [133.55037976429088]
  BERTプリトレーニング(BEiT, MAE)を備えた視覚変換器の対向ロバスト性について検討する。 意外な観察は、MAEが他のBERT事前訓練法よりも敵の頑健さが著しく悪いことである。 我々は,MAEの対角的堅牢性を高めるための,シンプルで効果的な方法を提案する。
  論文  参考訳（メタデータ） (2023-08-20T16:27:17Z)
• MOCA: Self-supervised Representation Learning by Predicting Masked Online Codebook Assignments [72.6405488990753]
  自己教師付き学習は、ビジョントランスフォーマーネットワークの欲求を軽減できる。 所望のプロパティを統一する単段および単段のMOCAを提案する。 我々は,様々な評価プロトコルにおいて,低照度設定と強力な実験結果に対して,最先端の新たな結果を得る。
  論文  参考訳（メタデータ） (2023-07-18T15:46:20Z)
• GuidedMixup: An Efficient Mixup Strategy Guided by Saliency Maps [6.396288020763144]
  本稿では,計算オーバーヘッドの少ない混合画像における局所領域の維持を目的とした GuidedMixup を提案する。 我々は,ペア画像の健全な領域の競合を最小限に抑えるために,効率的なペアリングアルゴリズムを開発した。 いくつかのデータセットの実験では、 GuidedMixupがオーバヘッドの増大と一般化のパフォーマンスのトレードオフとして優れていることが示されている。
  論文  参考訳（メタデータ） (2023-06-29T00:55:51Z)
• Inter-Instance Similarity Modeling for Contrastive Learning [22.56316444504397]
  視覚変換器(ViT)におけるコントラスト学習のための新しい画像混合手法であるPatchMixを提案する。 既存のサンプルミキシング手法と比較して、我々のPatchMixは2つ以上の画像を柔軟に効率的に混ぜることができる。 提案手法は,ImageNet-1KとCIFARの両方のデータセットにおいて,従来の最先端技術よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2023-06-21T13:03:47Z)
• Exploring the Limits of Deep Image Clustering using Pretrained Models [1.1060425537315088]
  本稿では,事前学習した特徴抽出器を利用してラベルなしで画像の分類を学習する手法を提案する。 本稿では,画像特徴間の関連性を学習する新たな目的について提案する。
  論文  参考訳（メタデータ） (2023-03-31T08:56:29Z)
• Mixed Autoencoder for Self-supervised Visual Representation Learning [95.98114940999653]
  Masked Autoencoder (MAE) は、画像パッチと再構成をランダムにマスキングすることで、様々な視覚タスクにおいて優れた性能を示す。 本稿では,MAEのミキシング強化について検討する。
  論文  参考訳（メタデータ） (2023-03-30T05:19:43Z)
• SMMix: Self-Motivated Image Mixing for Vision Transformers [65.809376136455]
  CutMixは視覚変換器(ViT)の性能と一般化能力を決定する重要な拡張戦略である 既存のCutMixの変種は、より一貫性のある混合画像やより正確な混合ラベルを生成することでこの問題に対処している。 本稿では,学習モデルによる画像とラベルの強調を動機づける,効率的かつ効果的な自己運動画像混合法を提案する。
  論文  参考訳（メタデータ） (2022-12-26T00:19:39Z)
• Mixup Without Hesitation [38.801366276601414]
  我々は、簡潔で効果的で使いやすいトレーニングアルゴリズムであるMixup Without hesitation (mWh)を提案する。 mWhは、ミックスアップを基本データ拡張に徐々に置き換えることで、探索とエクスプロイトのバランスを良くする。 私たちのコードはオープンソースで、https://github.com/yuhao318318/mwhで利用可能です。
  論文  参考訳（メタデータ） (2021-01-12T08:11:08Z)
• Mixup-Transformer: Dynamic Data Augmentation for NLP Tasks [75.69896269357005]
  Mixupは、入力例と対応するラベルを線形に補間する最新のデータ拡張技術である。 本稿では,自然言語処理タスクにmixupを適用する方法について検討する。 我々は、様々なNLPタスクに対して、mixup-transformerと呼ばれる、トランスフォーマーベースの事前学習アーキテクチャにmixupを組み込んだ。
  論文  参考訳（メタデータ） (2020-10-05T23:37:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。