論文の概要: Decoupled Adversarial Contrastive Learning for Self-supervised
Adversarial Robustness
- arxiv url: http://arxiv.org/abs/2207.10899v1
- Date: Fri, 22 Jul 2022 06:30:44 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-25 12:27:01.611809
- Title: Decoupled Adversarial Contrastive Learning for Self-supervised
Adversarial Robustness
- Title（参考訳）: 自己教師付き対向ロバストネスのための非結合型対向コントラスト学習
- Authors: Chaoning Zhang, Kang Zhang, Chenshuang Zhang, Axi Niu, Jiu Feng, Chang
D. Yoo, and In So Kweon
- Abstract要約: 頑健な表現学習のための対人訓練(AT)と教師なし表現学習のための自己教師型学習(SSL)は2つの活発な研究分野である。
Decoupled Adversarial Contrastive Learning (DeACL) と呼ばれる2段階のフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 69.39073806630583
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Adversarial training (AT) for robust representation learning and
self-supervised learning (SSL) for unsupervised representation learning are two
active research fields. Integrating AT into SSL, multiple prior works have
accomplished a highly significant yet challenging task: learning robust
representation without labels. A widely used framework is adversarial
contrastive learning which couples AT and SSL, and thus constitute a very
complex optimization problem. Inspired by the divide-and-conquer philosophy, we
conjecture that it might be simplified as well as improved by solving two
sub-problems: non-robust SSL and pseudo-supervised AT. This motivation shifts
the focus of the task from seeking an optimal integrating strategy for a
coupled problem to finding sub-solutions for sub-problems. With this said, this
work discards prior practices of directly introducing AT to SSL frameworks and
proposed a two-stage framework termed Decoupled Adversarial Contrastive
Learning (DeACL). Extensive experimental results demonstrate that our DeACL
achieves SOTA self-supervised adversarial robustness while significantly
reducing the training time, which validates its effectiveness and efficiency.
Moreover, our DeACL constitutes a more explainable solution, and its success
also bridges the gap with semi-supervised AT for exploiting unlabeled samples
for robust representation learning. The code is publicly accessible at
https://github.com/pantheon5100/DeACL.
- Abstract（参考訳）: 頑健な表現学習のための対人訓練(AT)と教師なし表現学習のための自己監督学習(SSL)は2つの活発な研究分野である。
ATをSSLに統合し、複数の先行作業は、ラベルなしで堅牢な表現を学ぶという非常に重要な課題を達成しました。
広く使われているフレームワークは、ATとSSLを結合する逆比較学習であり、非常に複雑な最適化問題を構成する。
非ロバストsslと疑似教師付きatという2つのサブプロブレムを解決することで、単純化され、改善されるかもしれないと推測する。
このモチベーションは、タスクの焦点を結合問題の最適統合戦略を探すことから、サブプロブレムのサブソリューションを見つけることへとシフトさせる。
これにより、 at to ssl フレームワークを直接導入する以前のプラクティスを捨て、decoupled adversarial contrastive learning (deacl) と呼ばれる2段階のフレームワークを提案した。
我々のDeACLは,SOTA自己監督型対向ロバスト性を実現し,トレーニング時間を大幅に短縮し,その有効性と効率性を検証した。
さらに、私たちのDeACLはより説明可能なソリューションであり、その成功は、頑健な表現学習のためにラベルのないサンプルを活用するための半教師付きATとのギャップを埋める。
コードはhttps://github.com/pantheon5100/DeACLで公開されている。
関連論文リスト
- ItTakesTwo: Leveraging Peer Representations for Semi-supervised LiDAR Semantic Segmentation [24.743048965822297]
本稿では,ItTakesTwo (IT2) と呼ばれる半教師付きLiDARセマンティックセマンティックセマンティクスフレームワークを提案する。
IT2は、ピアLiDAR表現からの一貫性のある予測を保証するために設計されており、一貫性学習における摂動効率を改善する。
その結果,本手法は従来のSOTA法よりも顕著に改善されていることがわかった。
論文 参考訳（メタデータ） (2024-07-09T18:26:53Z) - Investigating the Pre-Training Dynamics of In-Context Learning: Task Recognition vs. Task Learning [99.05401042153214]
In-context Learning(ICL)は、タスク認識(TR)とタスク学習(TL)の2つの主要な能力に起因する可能性がある。
ICLの出現の事前学習のダイナミクスを調べることで、第一歩を踏み出す。
そこで本研究では,この2つの機能を推論時によりよく統合するための,シンプルで効果的な手法を提案する。
論文 参考訳（メタデータ） (2024-06-20T06:37:47Z) - ProFeAT: Projected Feature Adversarial Training for Self-Supervised Learning of Robust Representations [35.68752612346952]
教師付きAdversarial Training (AT) におけるラベル付きデータの必要性は,ATによる自己監督学習(SSL)技術の利用を促している。
既存のSSLメソッドの対向トレーニングへの直接的な適用は、SSLとATの組み合わせによるトレーニングの複雑さの増大により、サブ最適になっている。
本研究では,教師と生徒の弱さと強みを兼ね備えた,特徴とプロジェクタに対する適切な攻撃と防御の損失を提案する。
論文 参考訳（メタデータ） (2024-06-09T14:20:46Z) - BECLR: Batch Enhanced Contrastive Few-Shot Learning [1.450405446885067]
教師なしの少数ショット学習は、トレーニング時にアノテーションへの依存を捨てることで、このギャップを埋めようとしている。
本稿では,高度に分離可能な潜在表現空間を促進するために,新しい動的クラスタ mEmory (DyCE) モジュールを提案する。
そして、数ショットの推論段階でサンプルバイアスの問題に取り組みます。
論文 参考訳（メタデータ） (2024-02-04T10:52:43Z) - Towards End-to-end Semi-supervised Learning for One-stage Object
Detection [88.56917845580594]
本稿では,高度な一段検出ネットワークYOLOv5の半教師付き学習に焦点を当てた。
そこで我々は,Multi-view Pseudo-label Refinement (MPR) とDecoupled Semi-supervised Optimization (DSO) の2つの革新的な設計を取り入れた新しい教師学習レシピOneTeacherを提案する。
特に、MPRは、拡張ビューリファインメントとグローバルビューフィルタリングによって擬似ラベルの品質を改善し、DSOは構造的な微調整とタスク固有の擬似ラベルによる共同最適化競合を処理する。
論文 参考訳（メタデータ） (2023-02-22T11:35:40Z) - Adversarial Training with Complementary Labels: On the Benefit of
Gradually Informative Attacks [119.38992029332883]
不完全な監督を伴う敵の訓練は重要であるが、注意は限られている。
我々は、徐々に情報的攻撃を用いた新しい学習戦略を提案する。
提案手法の有効性を,ベンチマークデータセットを用いて実証する実験を行った。
論文 参考訳（メタデータ） (2022-11-01T04:26:45Z) - FUSSL: Fuzzy Uncertain Self Supervised Learning [8.31483061185317]
自己教師付き学習(SSL)は、アノテーションを使わずにラベルなしデータのパワーを活用するための、非常に成功した技術になっています。
本稿では,単一スーパーバイザ信号の使用によるSSLの基本的限界を初めて認識する。
SSLベースラインに対して,堅牢で汎用的な階層型学習/学習プロトコルを提案する。
論文 参考訳（メタデータ） (2022-10-28T01:06:10Z) - Effective Targeted Attacks for Adversarial Self-Supervised Learning [58.14233572578723]
ラベル情報を持たないモデルにおいて堅牢性を達成する手段として、教師なしの敵訓練(AT)が強調されている。
本稿では,敵のSSLフレームワークを効果的に生成するために,敵の攻撃を標的とした新たな正のマイニングを提案する。
提案手法は,非コントラスト型SSLフレームワークに適用した場合のロバストネスの大幅な向上と,コントラスト型SSLフレームワークによるロバストネスの向上を示す。
論文 参考訳（メタデータ） (2022-10-19T11:43:39Z) - On Higher Adversarial Susceptibility of Contrastive Self-Supervised
Learning [104.00264962878956]
コントラスト型自己教師学習(CSL)は,画像と映像の分類において,教師あり学習のパフォーマンスに適合するか上回っている。
2つの学習パラダイムによって誘導される表現の性質が似ているかどうかは、いまだに不明である。
我々は,CSL表現空間における単位超球面上のデータ表現の均一分布を,この現象の鍵となる要因として同定する。
CSLトレーニングでモデルロバスト性を改善するのにシンプルだが有効である戦略を考案する。
論文 参考訳（メタデータ） (2022-07-22T03:49:50Z) - Aggregative Self-Supervised Feature Learning from a Limited Sample [12.555160911451688]
自己教師付き学習特徴の頑健性を高めるために,様々な形態の相補性の観点から2つのアグリゲーション戦略を提案する。
限られたデータシナリオ下での2次元自然画像および3次元医用画像分類タスクの実験により,提案手法が分類精度を向上できることが確認された。
論文 参考訳（メタデータ） (2020-12-14T12:49:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。