論文の概要: Is Self-Supervised Learning More Robust Than Supervised Learning?
- arxiv url: http://arxiv.org/abs/2206.05259v1
- Date: Fri, 10 Jun 2022 17:58:00 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-13 15:25:55.683189
- Title: Is Self-Supervised Learning More Robust Than Supervised Learning?
- Title（参考訳）: 自己指導型学習は指導型学習よりもロバストか?
- Authors: Yuanyi Zhong, Haoran Tang, Junkun Chen, Jian Peng, Yu-Xiong Wang
- Abstract要約: 自己教師付きコントラスト学習はラベルなしで視覚表現を学習する強力なツールである。
コントラスト学習と教師あり学習の行動差を定量化するために、一連のロバストネステストを実施している。
事前トレーニングの汚職の下では、パッチシャッフルやピクセル強度の変化に対して、対照的な学習が脆弱でありながら、データセットレベルの分布変化には敏感でないことが分かりました。
- 参考スコア（独自算出の注目度）: 29.129681691651637
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Self-supervised contrastive learning is a powerful tool to learn visual
representation without labels. Prior work has primarily focused on evaluating
the recognition accuracy of various pre-training algorithms, but has overlooked
other behavioral aspects. In addition to accuracy, distributional robustness
plays a critical role in the reliability of machine learning models. We design
and conduct a series of robustness tests to quantify the behavioral differences
between contrastive learning and supervised learning to downstream or
pre-training data distribution changes. These tests leverage data corruptions
at multiple levels, ranging from pixel-level gamma distortion to patch-level
shuffling and to dataset-level distribution shift. Our tests unveil intriguing
robustness behaviors of contrastive and supervised learning. On the one hand,
under downstream corruptions, we generally observe that contrastive learning is
surprisingly more robust than supervised learning. On the other hand, under
pre-training corruptions, we find contrastive learning vulnerable to patch
shuffling and pixel intensity change, yet less sensitive to dataset-level
distribution change. We attempt to explain these results through the role of
data augmentation and feature space properties. Our insight has implications in
improving the downstream robustness of supervised learning.
- Abstract（参考訳）: 自己教師付きコントラスト学習はラベルなしで視覚表現を学習する強力なツールである。
先行研究は主に様々な事前学習アルゴリズムの認識精度の評価に重点を置いているが、他の振る舞いの側面は見落としている。
精度に加えて、分散ロバスト性は機械学習モデルの信頼性において重要な役割を果たす。
コントラスト学習と教師付き学習との行動差を下流データ分布変化または事前学習データ分布変化に定量化するために,一連のロバストネステストを設計し,実施する。
これらのテストは、画素レベルのガンマ歪みからパッチレベルのシャッフル、データセットレベルの分散シフトまで、複数のレベルでデータ破損を利用する。
私たちのテストでは、対照学習と教師付き学習の興味深いロバスト性行動を明らかにしました。
一方,下流の腐敗下では,コントラスト学習は教師付き学習よりも驚くほど堅牢である。
一方、事前学習の汚職では、パッチシャッフルやピクセル強度の変化に弱いが、データセットレベルの分布変化には敏感ではない。
データ拡張と特徴空間特性の役割を通してこれらの結果を説明しようと試みる。
我々の洞察は、教師あり学習の下流の堅牢性を改善することに影響を及ぼす。
関連論文リスト
- MOREL: Enhancing Adversarial Robustness through Multi-Objective Representation Learning [1.534667887016089]
ディープニューラルネットワーク(DNN)は、わずかに敵対的な摂動に対して脆弱である。
トレーニング中の強力な特徴表現学習は、元のモデルの堅牢性を大幅に向上させることができることを示す。
本稿では,多目的特徴表現学習手法であるMORELを提案する。
論文 参考訳（メタデータ） (2024-10-02T16:05:03Z) - What Makes Pre-Trained Visual Representations Successful for Robust
Manipulation? [57.92924256181857]
照明やシーンテクスチャの微妙な変化の下では,操作や制御作業のために設計された視覚表現が必ずしも一般化されないことがわかった。
創発的セグメンテーション能力は,ViTモデルにおける分布外一般化の強い予測因子であることがわかった。
論文 参考訳（メタデータ） (2023-11-03T18:09:08Z) - Can Self-Supervised Representation Learning Methods Withstand
Distribution Shifts and Corruptions? [5.706184197639971]
コンピュータビジョンにおける自己教師付き学習は、データ内の固有の構造と関係を利用して意味のある表現を学ぶことを目的としている。
本研究では,自己指導型学習手法の学習表現のロバスト性について検討し,分布シフトと画像劣化に着目した。
論文 参考訳（メタデータ） (2023-07-31T13:07:56Z) - Task-Agnostic Robust Representation Learning [31.818269301504564]
本研究では,未ラベルデータを用いた頑健な表現学習の課題をタスクに依存しない方法で検討する。
我々は、その損失をクリーンデータとロバストネス正則化器を用いて、下流タスクにおける予測モデルの逆方向の損失に上限を導出する。
本手法は,関係するベースラインと比較して,好適な対向性能を実現する。
論文 参考訳（メタデータ） (2022-03-15T02:05:11Z) - Improving Transferability of Representations via Augmentation-Aware
Self-Supervision [117.15012005163322]
AugSelfは、ランダムに強化された2つのサンプル間の拡張パラメータの違いを学習する補助的な自己教師型損失である。
私たちの直感は、AugSelfが学習表現における拡張認識情報の保存を奨励していることです。
AugSelfは、最新の最先端の表現学習手法に、無視できる追加のトレーニングコストで簡単に組み込むことができる。
論文 参考訳（メタデータ） (2021-11-18T10:43:50Z) - Investigating a Baseline Of Self Supervised Learning Towards Reducing
Labeling Costs For Image Classification [0.0]
この研究は、Kaggle.comの cat-vs-dogs データセット Mnist と Fashion-Mnist を実装し、自己教師型学習タスクを調査している。
その結果、自己教師型学習におけるプレテキスト処理は、下流分類タスクの約15%の精度を向上させることがわかった。
論文 参考訳（メタデータ） (2021-08-17T06:43:05Z) - Visual Adversarial Imitation Learning using Variational Models [60.69745540036375]
逆関数仕様は、深い強化学習を通しての学習行動にとって大きな障害であり続けている。
望ましい行動の視覚的なデモンストレーションは、エージェントを教えるためのより簡単で自然な方法を示すことが多い。
変動モデルに基づく対向的模倣学習アルゴリズムを開発した。
論文 参考訳（メタデータ） (2021-07-16T00:15:18Z) - Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。
我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
論文 参考訳（メタデータ） (2020-10-26T04:44:43Z) - Hard Negative Mixing for Contrastive Learning [29.91220669060252]
我々は、コントラスト学習の重要な側面、すなわちハードネガティブの影響は、これまで無視されてきたと論じている。
計算オーバーヘッドを最小限に抑えながら、オンザフライで計算できる機能レベルでのハードネガティブな混合戦略を提案する。
論文 参考訳（メタデータ） (2020-10-02T14:34:58Z) - Learning perturbation sets for robust machine learning [97.6757418136662]
我々は、潜在空間の制約領域上に設定された摂動を定義する条件生成器を用いる。
学習した摂動集合の質を定量的かつ質的に測定する。
我々は、学習した摂動集合を利用して、敵画像の破損や逆光の変動に対して経験的かつ確実に堅牢なモデルを訓練する。
論文 参考訳（メタデータ） (2020-07-16T16:39:54Z) - Adversarial Self-Supervised Contrastive Learning [62.17538130778111]
既存の対数学習アプローチは、主にクラスラベルを使用して、誤った予測につながる対数サンプルを生成する。
本稿では,未ラベルデータに対する新たな逆攻撃を提案する。これにより,モデルが摂動データサンプルのインスタンスレベルのアイデンティティを混乱させる。
ラベル付きデータなしで頑健なニューラルネットワークを逆さまにトレーニングするための,自己教師付きコントラスト学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-06-13T08:24:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。