論文の概要: Robustness of Unsupervised Representation Learning without Labels

• arxiv url: http://arxiv.org/abs/2210.04076v1
• Date: Sat, 8 Oct 2022 18:03:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-11 15:06:48.624096
• Title: Robustness of Unsupervised Representation Learning without Labels
• Title（参考訳）: ラベルのない教師なし表現学習のロバスト性
• Authors: Aleksandar Petrov and Marta Kwiatkowska
• Abstract要約: モデルとタスクに依存しない,ラベルのない,教師なしのロバストネス尺度のファミリーを提案する。 本研究は, 線形プローブによる検証を行い, MOCOv2の場合, 対向トレーニングの結果が3倍の精度で得られたことを示す。
• 参考スコア（独自算出の注目度）: 92.90480374344777
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Unsupervised representation learning leverages large unlabeled datasets and is competitive with supervised learning. But non-robust encoders may affect downstream task robustness. Recently, robust representation encoders have become of interest. Still, all prior work evaluates robustness using a downstream classification task. Instead, we propose a family of unsupervised robustness measures, which are model- and task-agnostic and label-free. We benchmark state-of-the-art representation encoders and show that none dominates the rest. We offer unsupervised extensions to the FGSM and PGD attacks. When used in adversarial training, they improve most unsupervised robustness measures, including certified robustness. We validate our results against a linear probe and show that, for MOCOv2, adversarial training results in 3 times higher certified accuracy, a 2-fold decrease in impersonation attack success rate and considerable improvements in certified robustness.
• Abstract（参考訳）: 教師なし表現学習は、大きなラベルなしデータセットを活用し、教師なし学習と競合する。 しかし、非ロバストエンコーダは下流のタスクロバスト性に影響を与える可能性がある。 近年,ロバスト表現エンコーダが注目されている。 それでも、すべての先行作業は下流分類タスクを使用して堅牢性を評価する。 代わりに,モデルやタスクに依存しないラベルフリーな教師なしロバストネス尺度のファミリーを提案する。 我々は、最先端の表現エンコーダをベンチマークし、他のどの表現も支配していないことを示す。 FGSMおよびPGD攻撃に対する教師なし拡張を提供する。 敵の訓練で使用する場合、認証された堅牢性を含む、最も教師なしの堅牢性対策を改善する。 本研究の結果を線形プローブを用いて検証した結果,MOCOv2では,正解精度が3倍に向上し,偽装攻撃の成功率が2倍に低下し,正解性も向上した。

関連論文リスト

• Towards Robust Domain Generation Algorithm Classification [1.4542411354617986]
  我々は32個のホワイトボックス攻撃を実装し、そのうち19個は非常に効果的であり、未硬化の分類器に対して$approx$100%の偽陰性率(FNR)を誘導する。 本稿では, 対角線空間ベクトルと離散化された対角線領域を利用して, 強靭性を大幅に向上させる新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2024-04-09T11:56:29Z)
• Doubly Robust Instance-Reweighted Adversarial Training [107.40683655362285]
  本稿では,2重のインスタンス再重み付き対向フレームワークを提案する。 KL偏差正規化損失関数の最適化により重みを求める。 提案手法は, 平均ロバスト性能において, 最先端のベースライン法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-08-01T06:16:18Z)
• How robust accuracy suffers from certified training with convex relaxations [12.292092677396347]
  アドリア攻撃は、安全クリティカルなアプリケーションに最先端の分類器を配置する上で重大な脅威となる。 この問題に対処するために、実証的な防御と認定された防御という2つの方法のクラスが登場した。 複数のコンピュータビジョンタスクにおいて、これらの2つの堅牢なトレーニングパラダイムの標準および堅牢なエラーを体系的に比較する。
  論文  参考訳（メタデータ） (2023-06-12T09:45:21Z)
• Exploring Robustness of Unsupervised Domain Adaptation in Semantic Segmentation [74.05906222376608]
  クリーンな画像とそれらの逆の例との一致を、出力空間における対照的な損失によって最大化する、逆向きの自己スーパービジョンUDA(ASSUDA)を提案する。 i) セマンティックセグメンテーションにおけるUDA手法のロバスト性は未解明のままであり, (ii) 一般的に自己スーパービジョン(回転やジグソーなど) は分類や認識などのイメージタスクに有効であるが, セグメンテーションタスクの識別的表現を学習する重要な監視信号の提供には失敗している。
  論文  参考訳（メタデータ） (2021-05-23T01:50:44Z)
• Adversarial Robustness under Long-Tailed Distribution [93.50792075460336]
  敵対的ロバスト性はディープネットワークの脆弱性と本質的特徴を明らかにすることで近年広く研究されている。 本研究では,長尾分布下における敵対的脆弱性と防御について検討する。 我々は、スケール不変とデータ再分散という2つの専用モジュールからなるクリーンで効果的なフレームワークであるRoBalを提案する。
  論文  参考訳（メタデータ） (2021-04-06T17:53:08Z)
• Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
  近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。 我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
  論文  参考訳（メタデータ） (2020-10-26T04:44:43Z)
• Decoder-free Robustness Disentanglement without (Additional) Supervision [42.066771710455754]
  提案手法は, 頑健さの監視を伴わずに, 頑健さと非ロバスト表現を確実に切り離すことができる。 実験結果から,本手法は2つの表現を組み合わせることで精度を向上するだけでなく,従来の手法よりもはるかに優れたアンタングル化を実現していることがわかった。
  論文  参考訳（メタデータ） (2020-07-02T19:51:40Z)
• Adversarial Self-Supervised Contrastive Learning [62.17538130778111]
  既存の対数学習アプローチは、主にクラスラベルを使用して、誤った予測につながる対数サンプルを生成する。 本稿では,未ラベルデータに対する新たな逆攻撃を提案する。これにより,モデルが摂動データサンプルのインスタンスレベルのアイデンティティを混乱させる。 ラベル付きデータなしで頑健なニューラルネットワークを逆さまにトレーニングするための,自己教師付きコントラスト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-13T08:24:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。