論文の概要: Adversarial Training with Complementary Labels: On the Benefit of Gradually Informative Attacks

• arxiv url: http://arxiv.org/abs/2211.00269v1
• Date: Tue, 1 Nov 2022 04:26:45 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-02 14:44:58.843364
• Title: Adversarial Training with Complementary Labels: On the Benefit of Gradually Informative Attacks
• Title（参考訳）: 相補ラベルを用いた対人訓練 : 漸次的インフォーマティブアタックの利点について
• Authors: Jianan Zhou, Jianing Zhu, Jingfeng Zhang, Tongliang Liu, Gang Niu, Bo Han, Masashi Sugiyama
• Abstract要約: 不完全な監督を伴う敵の訓練は重要であるが、注意は限られている。 我々は、徐々に情報的攻撃を用いた新しい学習戦略を提案する。 提案手法の有効性を,ベンチマークデータセットを用いて実証する実験を行った。
• 参考スコア（独自算出の注目度）: 119.38992029332883
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adversarial training (AT) with imperfect supervision is significant but receives limited attention. To push AT towards more practical scenarios, we explore a brand new yet challenging setting, i.e., AT with complementary labels (CLs), which specify a class that a data sample does not belong to. However, the direct combination of AT with existing methods for CLs results in consistent failure, but not on a simple baseline of two-stage training. In this paper, we further explore the phenomenon and identify the underlying challenges of AT with CLs as intractable adversarial optimization and low-quality adversarial examples. To address the above problems, we propose a new learning strategy using gradually informative attacks, which consists of two critical components: 1) Warm-up Attack (Warm-up) gently raises the adversarial perturbation budgets to ease the adversarial optimization with CLs; 2) Pseudo-Label Attack (PLA) incorporates the progressively informative model predictions into a corrected complementary loss. Extensive experiments are conducted to demonstrate the effectiveness of our method on a range of benchmarked datasets. The code is publicly available at: https://github.com/RoyalSkye/ATCL.
• Abstract（参考訳）: 不完全な監督を伴う対人訓練(AT)は重要であるが、注意は限られている。 より現実的なシナリオに向けてATを推し進めるために、データサンプルが属さないクラスを指定する補完ラベル(CL)を備えたATという、真に新しいが困難な設定を探索する。 しかし、既存のclsの方法とatの直接の組み合わせは、一貫性のある失敗をもたらすが、2段階のトレーニングの単純なベースラインにはない。 本稿では,この現象をさらに探究し,clsによるatの根底にある課題を,難解な敵意最適化と低品質の敵意の例として特定する。 そこで本研究では,2つの重要な要素からなる段階的情報攻撃を用いた新しい学習戦略を提案する。 1)ウォームアップ攻撃(ウォームアップ)は、CLによる対向最適化を容易にするために、対向的摂動予算を緩やかに引き上げる。 2) Pseudo-Label Attack (PLA) は, 段階的に情報的モデル予測を補正された相補的損失に組み込む。 本手法の有効性をベンチマークデータセットで実証するために,広範囲にわたる実験を行った。 コードは、https://github.com/RoyalSkye/ATCLで公開されている。

関連論文リスト

• A Comprehensive Study of Privacy Risks in Curriculum Learning [25.57099711643689]
  有意義な順序でデータで機械学習モデルをトレーニングすることは、トレーニングプロセスの加速に有効であることが証明されている。 重要な実現技術はカリキュラム学習(CL)であり、大きな成功を収め、画像やテキストの分類などの分野に展開されてきた。 しかし、CLが機械学習のプライバシーにどのように影響するかは不明だ。
  論文  参考訳（メタデータ） (2023-10-16T07:06:38Z)
• Outlier Robust Adversarial Training [57.06824365801612]
  本研究では,アウトリー・ロバスト・アドバイザリアル・トレーニング(ORAT)を紹介する。 ORATは、強靭なランクに基づく損失関数を持つ対向訓練の2レベル最適化の定式化に基づいている。 ORATの学習目的はバイナリ分類における$mathcalH$-consistencyを満たすことが示され、これは敵の0/1損失に対する適切なサロゲートとして確立されている。
  論文  参考訳（メタデータ） (2023-09-10T21:36:38Z)
• One Class One Click: Quasi Scene-level Weakly Supervised Point Cloud Semantic Segmentation with Active Learning [29.493759008637532]
  One Class One Click (OCOC)は、ポイントレベルのアノテーションとシーンレベルのアノテーションをカプセル化した、低コストで情報的な準シーンレベルのラベルである。 グローバル・ローカル・パースペクティブからの弱い監督を伴って、希少なラベルを活用するために、活発な弱監督フレームワークが提案されている。 F1スコアの平均値において、実際のシーンレベルの弱い監督手法を最大25%上回っている。
  論文  参考訳（メタデータ） (2022-11-23T01:23:26Z)
• Effective Targeted Attacks for Adversarial Self-Supervised Learning [58.14233572578723]
  ラベル情報を持たないモデルにおいて堅牢性を達成する手段として、教師なしの敵訓練(AT)が強調されている。 本稿では,敵のSSLフレームワークを効果的に生成するために,敵の攻撃を標的とした新たな正のマイニングを提案する。 提案手法は,非コントラスト型SSLフレームワークに適用した場合のロバストネスの大幅な向上と,コントラスト型SSLフレームワークによるロバストネスの向上を示す。
  論文  参考訳（メタデータ） (2022-10-19T11:43:39Z)
• Decoupled Adversarial Contrastive Learning for Self-supervised Adversarial Robustness [69.39073806630583]
  頑健な表現学習のための対人訓練(AT)と教師なし表現学習のための自己教師型学習(SSL)は2つの活発な研究分野である。 Decoupled Adversarial Contrastive Learning (DeACL) と呼ばれる2段階のフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-22T06:30:44Z)
• Adversarial Contrastive Learning via Asymmetric InfoNCE [64.42740292752069]
  非対称なInfoNCEの目的と対比した場合,非対称なサンプルを不等に扱うことを提案する。 非対称的な方法では、CLと対向学習の相反する目的の悪影響を効果的に軽減することができる。 実験の結果,提案手法は既存CL法より一貫して優れていることがわかった。
  論文  参考訳（メタデータ） (2022-07-18T04:14:36Z)
• Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
  近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。 我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
  論文  参考訳（メタデータ） (2020-10-26T04:44:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。