論文の概要: Improving Transferability of Representations via Augmentation-Aware Self-Supervision

• arxiv url: http://arxiv.org/abs/2111.09613v1
• Date: Thu, 18 Nov 2021 10:43:50 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-19 13:20:09.435066
• Title: Improving Transferability of Representations via Augmentation-Aware Self-Supervision
• Title（参考訳）: 拡張型自己スーパービジョンによる表現の伝達性の向上
• Authors: Hankook Lee, Kibok Lee, Kimin Lee, Honglak Lee, Jinwoo Shin
• Abstract要約: AugSelfは、ランダムに強化された2つのサンプル間の拡張パラメータの違いを学習する補助的な自己教師型損失である。 私たちの直感は、AugSelfが学習表現における拡張認識情報の保存を奨励していることです。 AugSelfは、最新の最先端の表現学習手法に、無視できる追加のトレーニングコストで簡単に組み込むことができる。
• 参考スコア（独自算出の注目度）: 117.15012005163322
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent unsupervised representation learning methods have shown to be effective in a range of vision tasks by learning representations invariant to data augmentations such as random cropping and color jittering. However, such invariance could be harmful to downstream tasks if they rely on the characteristics of the data augmentations, e.g., location- or color-sensitive. This is not an issue just for unsupervised learning; we found that this occurs even in supervised learning because it also learns to predict the same label for all augmented samples of an instance. To avoid such failures and obtain more generalizable representations, we suggest to optimize an auxiliary self-supervised loss, coined AugSelf, that learns the difference of augmentation parameters (e.g., cropping positions, color adjustment intensities) between two randomly augmented samples. Our intuition is that AugSelf encourages to preserve augmentation-aware information in learned representations, which could be beneficial for their transferability. Furthermore, AugSelf can easily be incorporated into recent state-of-the-art representation learning methods with a negligible additional training cost. Extensive experiments demonstrate that our simple idea consistently improves the transferability of representations learned by supervised and unsupervised methods in various transfer learning scenarios. The code is available at https://github.com/hankook/AugSelf.
• Abstract（参考訳）: 近年の非教師なし表現学習法は、ランダムトリミングやカラージッタリングといったデータ拡張に不変な表現を学習することで、視覚タスクに有効であることが示されている。 しかし、そのような不変性は、例えば位置や色に敏感なデータ拡張の特性に依存する場合、下流タスクに有害である可能性がある。 これは教師なし学習のための問題ではなく、教師なし学習でも発生することが分かりました。 このような障害を回避し、より一般化可能な表現を得るため、ランダムに強化された2つのサンプル間の拡張パラメータ(例えば、収穫位置、色調整強度)の違いを学習する補助的な自己監督的損失であるAugSelfを最適化することを提案する。 私たちの直感は、AugSelfが学習表現における拡張認識情報の保存を奨励していることです。 さらに、AugSelfは、最新の最先端表現学習手法に、無視できる追加トレーニングコストで簡単に組み込むことができる。 広範な実験により,様々なトランスファー学習シナリオにおいて,教師なしおよび教師なしの手法によって学習される表現の転送性を一貫して改善できることを示した。 コードはhttps://github.com/hankook/augselfで入手できる。

関連論文リスト

• Steerable Equivariant Representation Learning [36.138305341173414]
  本稿では,データ拡張に同値な表現を学習する手法を提案する。 この結果から, 伝達学習性能とロバスト性の向上が期待できる。
  論文  参考訳（メタデータ） (2023-02-22T12:42:45Z)
• CIPER: Combining Invariant and Equivariant Representations Using Contrastive and Predictive Learning [6.117084972237769]
  比較不変性と予測同変表現学習(CIPER)を導入する。 CIPERは、1つの共有エンコーダとエンコーダの上の2つの異なる出力ヘッドを用いて、不変および同変学習目的を含む。 我々は静的な画像タスクと時間拡張された画像データセットについて評価する。
  論文  参考訳（メタデータ） (2023-02-05T07:50:46Z)
• EquiMod: An Equivariance Module to Improve Self-Supervised Learning [77.34726150561087]
  自己教師付き視覚表現法は教師付き学習性能とのギャップを埋めている。 これらの手法は、データ拡張によって生成された関連する合成入力の埋め込みの類似性を最大化することに依存する。 学習された潜在空間を構成する一般同値加群であるEquiModを導入する。
  論文  参考訳（メタデータ） (2022-11-02T16:25:54Z)
• Is Self-Supervised Learning More Robust Than Supervised Learning? [29.129681691651637]
  自己教師付きコントラスト学習はラベルなしで視覚表現を学習する強力なツールである。 コントラスト学習と教師あり学習の行動差を定量化するために、一連のロバストネステストを実施している。 事前トレーニングの汚職の下では、パッチシャッフルやピクセル強度の変化に対して、対照的な学習が脆弱でありながら、データセットレベルの分布変化には敏感でないことが分かりました。
  論文  参考訳（メタデータ） (2022-06-10T17:58:00Z)
• Learning Instance-Specific Augmentations by Capturing Local Invariances [62.70897571389785]
  InstaAugは、データから入力固有の拡張を自動的に学習する方法である。 InstaAugは、幅広い変換クラスに対して意味のある入力依存の強化を学ぶことを実証的に示す。
  論文  参考訳（メタデータ） (2022-05-31T18:38:06Z)
• Why Do Self-Supervised Models Transfer? Investigating the Impact of Invariance on Downstream Tasks [79.13089902898848]
  自己教師付き学習は、非競合画像上での表現学習の強力なパラダイムである。 コンピュータビジョンにおける異なるタスクは、異なる(不変の)分散を符号化する機能を必要とすることを示す。
  論文  参考訳（メタデータ） (2021-11-22T18:16:35Z)
• What Should Not Be Contrastive in Contrastive Learning [110.14159883496859]
  本稿では,タスク依存不変性に関する事前知識を必要としない,対照的な学習フレームワークを提案する。 我々のモデルは、異なる埋め込み空間を構築することで、視覚表現の様々な要因や不変要素を捉えることを学習する。 我々は、共有バックボーンを持つマルチヘッドネットワークを使用し、各オーグメンテーションにまたがる情報をキャプチャし、ダウンストリームタスクにおけるすべてのベースラインより優れている。
  論文  参考訳（メタデータ） (2020-08-13T03:02:32Z)
• Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
  ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。 我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。 このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2020-04-20T02:47:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。