論文の概要: Exploring Data Augmentations on Self-/Semi-/Fully- Supervised Pre-trained Models

• arxiv url: http://arxiv.org/abs/2310.18850v1
• Date: Sat, 28 Oct 2023 23:46:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-31 16:05:59.834009
• Title: Exploring Data Augmentations on Self-/Semi-/Fully- Supervised Pre-trained Models
• Title（参考訳）: 自己/半/完全教師付き事前学習モデルの探索
• Authors: Shentong Mo, Zhun Sun, Chao Li
• Abstract要約: 本研究では,データ拡張が視力事前訓練モデルの性能に与える影響について検討する。 ランダム消去(Random Erasing)、CutOut(CutOut)、CutMix(CutMix)、MixUp(MixUp)という4種類のデータ拡張を適用します。 画像分類,オブジェクト検出,インスタンスセグメンテーション,セマンティックセグメンテーションなどの視覚タスクにおける性能について報告する。
• 参考スコア（独自算出の注目度）: 24.376036129920948
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Data augmentation has become a standard component of vision pre-trained models to capture the invariance between augmented views. In practice, augmentation techniques that mask regions of a sample with zero/mean values or patches from other samples are commonly employed in pre-trained models with self-/semi-/fully-supervised contrastive losses. However, the underlying mechanism behind the effectiveness of these augmentation techniques remains poorly explored. To investigate the problems, we conduct an empirical study to quantify how data augmentation affects performance. Concretely, we apply 4 types of data augmentations termed with Random Erasing, CutOut, CutMix and MixUp to a series of self-/semi-/fully- supervised pre-trained models. We report their performance on vision tasks such as image classification, object detection, instance segmentation, and semantic segmentation. We then explicitly evaluate the invariance and diversity of the feature embedding. We observe that: 1) Masking regions of the images decreases the invariance of the learned feature embedding while providing a more considerable diversity. 2) Manual annotations do not change the invariance or diversity of the learned feature embedding. 3) The MixUp approach improves the diversity significantly, with only a marginal decrease in terms of the invariance.
• Abstract（参考訳）: データ拡張は、拡張ビュー間のばらつきをキャプチャするビジョン事前学習モデルの標準コンポーネントとなっている。 実際には、0/平均値または他のサンプルからのパッチを持つサンプルの領域をマスクする拡張技術は、自己/半/全監督のコントラスト的損失を持つ事前訓練されたモデルで一般的に使用される。 しかし,これらの拡張手法の有効性の基盤となるメカニズムはいまだ解明されていない。 そこで本研究では,データ拡張がパフォーマンスに与える影響を定量的に調査する。 具体的には,ランダム消去,カットアウト,カットミックス,ミックスアップという4種類のデータ拡張を,教師付き事前学習モデルに適用する。 画像分類,オブジェクト検出,インスタンスセグメンテーション,意味セグメンテーションなどの視覚タスクにおける性能について報告する。 そして、特徴埋め込みの不変性と多様性を明示的に評価します。 私たちはそれを観察します 1) 画像のマスキング領域は, 学習した特徴の埋め込みのばらつきを低減し, より大きな多様性を提供する。 2) 手動アノテーションは,学習した機能の不変性や多様性を変えない。 3) ミックスアップアプローチは, ばらつきの点において限界的な減少を伴い, ばらつきを大幅に改善する。

関連論文リスト

• Amortised Invariance Learning for Contrastive Self-Supervision [11.042648980854485]
  対照的な自己監督のために, 償却不変学習の概念を導入する。 我々のアモーテッド機能は、異なる不変条件で様々な下流タスクを学習する信頼性の高い方法を提供することを示す。 これは、汎用表現学習の分野での新しい地平を開くエキサイティングな視点を提供する。
  論文  参考訳（メタデータ） (2023-02-24T16:15:11Z)
• Effective Data Augmentation With Diffusion Models [65.09758931804478]
  我々は、事前訓練されたテキスト・画像拡散モデルによりパラメータ化された画像・画像変換によるデータ拡張の多様性の欠如に対処する。 本手法は,市販の拡散モデルを用いて画像のセマンティクスを編集し,いくつかのラベル付き例から新しい視覚概念に一般化する。 本手法は,実世界の雑草認識タスクと数ショット画像分類タスクにおいて評価し,テスト領域における精度の向上を観察する。
  論文  参考訳（メタデータ） (2023-02-07T20:42:28Z)
• EquiMod: An Equivariance Module to Improve Self-Supervised Learning [77.34726150561087]
  自己教師付き視覚表現法は教師付き学習性能とのギャップを埋めている。 これらの手法は、データ拡張によって生成された関連する合成入力の埋め込みの類似性を最大化することに依存する。 学習された潜在空間を構成する一般同値加群であるEquiModを導入する。
  論文  参考訳（メタデータ） (2022-11-02T16:25:54Z)
• Rethinking the Augmentation Module in Contrastive Learning: Learning Hierarchical Augmentation Invariance with Expanded Views [22.47152165975219]
  データ拡張モジュールは、データサンプルを2つのビューに変換するために、対照的な学習に使用される。 本稿では, 一般的なコントラスト学習フレームワークにおいて, コントラストとコントラストを考慮し, これら2つの問題を緩和する一般的な手法を提案する。
  論文  参考訳（メタデータ） (2022-06-01T04:30:46Z)
• Revisiting Consistency Regularization for Semi-Supervised Learning [80.28461584135967]
  そこで我々は,FeatDistLossというシンプルな手法により,一貫性の規則化を改良したフレームワークを提案する。 実験結果から,本モデルは様々なデータセットや設定のための新しい技術状態を定義する。
  論文  参考訳（メタデータ） (2021-12-10T20:46:13Z)
• Why Do Self-Supervised Models Transfer? Investigating the Impact of Invariance on Downstream Tasks [79.13089902898848]
  自己教師付き学習は、非競合画像上での表現学習の強力なパラダイムである。 コンピュータビジョンにおける異なるタスクは、異なる(不変の)分散を符号化する機能を必要とすることを示す。
  論文  参考訳（メタデータ） (2021-11-22T18:16:35Z)
• MixSiam: A Mixture-based Approach to Self-supervised Representation Learning [33.52892899982186]
  近年,ラベルのないデータから視覚表現を学習する過程が顕著に進展している。 従来のシアムネットワークに対する混合型アプローチであるMixSiamを提案する。
  論文  参考訳（メタデータ） (2021-11-04T08:12:47Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• X-model: Improving Data Efficiency in Deep Learning with A Minimax Model [78.55482897452417]
  ディープラーニングにおける分類と回帰設定の両面でのデータ効率の向上を目標とする。 両世界の力を生かすために,我々は新しいX-モデルを提案する。 X-モデルは、特徴抽出器とタスク固有のヘッドの間でミニマックスゲームを行う。
  論文  参考訳（メタデータ） (2021-10-09T13:56:48Z)
• Demystifying Contrastive Self-Supervised Learning: Invariances, Augmentations and Dataset Biases [34.02639091680309]
  近年のパフォーマンス向上は、インスタンス分類モデルをトレーニングし、各イメージを扱い、拡張バージョンを単一のクラスのサンプルとして扱うことで実現している。 我々は,MOCO や PIRL のようなアプローチがオクルージョン不変表現を学習することを示した。 第2に、Imagenetのようなクリーンなオブジェクト中心のトレーニングデータセットにアクセスすることで、これらのアプローチがさらに利益を得ることを示す。
  論文  参考訳（メタデータ） (2020-07-28T00:11:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。