論文の概要: Imbalanced Adversarial Training with Reweighting

• arxiv url: http://arxiv.org/abs/2107.13639v1
• Date: Wed, 28 Jul 2021 20:51:36 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-30 13:13:54.611011
• Title: Imbalanced Adversarial Training with Reweighting
• Title（参考訳）: 再重み付けによる非バランスな対人訓練
• Authors: Wentao Wang, Han Xu, Xiaorui Liu, Yaxin Li, Bhavani Thuraisingham, Jiliang Tang
• Abstract要約: 学習データセットが不均衡である場合、逆向きに訓練されたモデルは、表現不足のクラスでは、はるかにパフォーマンスが悪くなる可能性があることを示す。 従来の再重み付け戦略は、敵の訓練の不均衡問題に対処する効果を失う可能性がある。 本研究では,不均衡シナリオ下での対人訓練を容易にするために,SRAT(Separable Reweighted Adversarial Training)を提案する。
• 参考スコア（独自算出の注目度）: 33.51820466479575
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adversarial training has been empirically proven to be one of the most effective and reliable defense methods against adversarial attacks. However, almost all existing studies about adversarial training are focused on balanced datasets, where each class has an equal amount of training examples. Research on adversarial training with imbalanced training datasets is rather limited. As the initial effort to investigate this problem, we reveal the facts that adversarially trained models present two distinguished behaviors from naturally trained models in imbalanced datasets: (1) Compared to natural training, adversarially trained models can suffer much worse performance on under-represented classes, when the training dataset is extremely imbalanced. (2) Traditional reweighting strategies may lose efficacy to deal with the imbalance issue for adversarial training. For example, upweighting the under-represented classes will drastically hurt the model's performance on well-represented classes, and as a result, finding an optimal reweighting value can be tremendously challenging. In this paper, to further understand our observations, we theoretically show that the poor data separability is one key reason causing this strong tension between under-represented and well-represented classes. Motivated by this finding, we propose Separable Reweighted Adversarial Training (SRAT) to facilitate adversarial training under imbalanced scenarios, by learning more separable features for different classes. Extensive experiments on various datasets verify the effectiveness of the proposed framework.
• Abstract（参考訳）: 敵の訓練は、敵の攻撃に対して最も効果的で信頼できる防御方法の1つであることが実証されている。 しかしながら、対戦訓練に関する既存のほとんどの研究は、各クラスが同じ量のトレーニング例を持つバランスの取れたデータセットに焦点を当てている。 不均衡なトレーニングデータセットによる対戦トレーニングの研究は、かなり限られている。 この問題を調査する最初の試みとして,不均衡データセットで自然に訓練されたモデルから得られた2つの異なる振る舞いを,敵対的に訓練したモデルが示すという事実を明らかにする。 2) 従来のリウェイト戦略は, 対人訓練の不均衡問題に対処する効果を失う可能性がある。 例えば、表現不足のクラスをアップウェイトすると、よく表現されたクラスのモデルの性能が劇的に損なわれ、その結果、最適な再重み付け値を見つけるのは非常に難しい。 本稿では,データ分離性が低かったことが,上位クラスと上位クラスの強い緊張を生じさせる鍵となることを理論的に示す。 そこで本研究では,不均衡なシナリオ下での対戦訓練を支援するために,クラスごとにより分離可能な特徴を学習することで,SRAT(Separable Reweighted Adversarial Training)を提案する。 各種データセットに関する広範囲な実験により,提案手法の有効性が検証された。

関連論文リスト

• Learning Fair Robustness via Domain Mixup [8.471466670802817]
  本研究では,公平なロバストな分類器の学習問題に対するmixupの利用を提案する。 本研究は, 対人訓練と組み合わせることで, クラスレベルでの頑健さの相違を確実に軽減できることを示す。
  論文  参考訳（メタデータ） (2024-11-21T18:56:33Z)
• Outlier Robust Adversarial Training [57.06824365801612]
  本研究では,アウトリー・ロバスト・アドバイザリアル・トレーニング(ORAT)を紹介する。 ORATは、強靭なランクに基づく損失関数を持つ対向訓練の2レベル最適化の定式化に基づいている。 ORATの学習目的はバイナリ分類における$mathcalH$-consistencyを満たすことが示され、これは敵の0/1損失に対する適切なサロゲートとして確立されている。
  論文  参考訳（メタデータ） (2023-09-10T21:36:38Z)
• Alleviating the Effect of Data Imbalance on Adversarial Training [26.36714114672729]
  長い尾の分布に従うデータセットの逆トレーニングについて検討する。 我々は、新しい対人訓練フレームワーク、Re-balancing Adversarial Training (REAT)を提案する。
  論文  参考訳（メタデータ） (2023-07-14T07:01:48Z)
• Vulnerability-Aware Instance Reweighting For Adversarial Training [4.874780144224057]
  対人訓練(AT)は、対人攻撃に対する深層学習分類器の堅牢性を大幅に向上させることが知られている。 ATはトレーニングセットの異なるクラスに不均一な影響を及ぼし、本質的に分類するのが難しいクラスに対応する例を不公平に傷つけます。 トレーニングセットにおける個々の例のロバストな損失に不等重みを割り当てる様々な再重み付けスキームが提案されている。 そこで本研究では,各自然事例の脆弱性と,敵攻撃時に発生する敵に対する情報損失について考察する。
  論文  参考訳（メタデータ） (2023-07-14T05:31:32Z)
• Enhancing Accuracy and Robustness through Adversarial Training in Class Incremental Continual Learning [0.34265828682659694]
  ディープラーニングモデルに対する敵対的攻撃は致命的なセキュリティ問題である。 CICLは敵攻撃に対する防御法としてよく知られている。 本稿では,経験リプレイを用いた手法に適用可能な外部支援訓練(EAT)を提案する。
  論文  参考訳（メタデータ） (2023-05-23T04:37:18Z)
• Optimising Equal Opportunity Fairness in Model Training [60.0947291284978]
  既存のデバイアス法、例えば、敵の訓練や、表現から保護された情報を取り除くことは、バイアスを減らすことが示されている。 2つの新たな学習目標を提案し,2つの分類課題における高い性能を維持しつつ,バイアスの低減に有効であることを示す。
  論文  参考訳（メタデータ） (2022-05-05T01:57:58Z)
• Enhancing Adversarial Training with Feature Separability [52.39305978984573]
  本稿では,特徴分離性を備えた対人訓練(ATFS)により,クラス内特徴の類似性を向上し,クラス間特徴分散を増大させることができる,新たな対人訓練グラフ(ATG)を提案する。 包括的な実験を通じて、提案したATFSフレームワークがクリーンかつロバストなパフォーマンスを著しく改善することを示した。
  論文  参考訳（メタデータ） (2022-05-02T04:04:23Z)
• Analysis and Applications of Class-wise Robustness in Adversarial Training [92.08430396614273]
  敵の訓練は、敵の例に対するモデルロバスト性を改善するための最も効果的な手法の1つである。 従来の研究は主にモデルの全体的な堅牢性に焦点を当てており、各クラスの役割に関する詳細な分析はいまだに欠落している。 MNIST, CIFAR-10, CIFAR-100, SVHN, STL-10, ImageNetの6つのベンチマークデータセットに対して, 逆トレーニングの詳細な診断を行う。 対戦型学習におけるより強力な攻撃手法は、主に脆弱なクラスに対するより成功した攻撃から、性能の向上を達成することを観察する。
  論文  参考訳（メタデータ） (2021-05-29T07:28:35Z)
• FAIR: Fair Adversarial Instance Re-weighting [0.7829352305480285]
  本研究では,公正な予測を確実にするインスタンス重み付け関数の学習に敵対的トレーニングを利用するFair Adrial Instance Re-weighting(FAIR)手法を提案する。 我々の知る限りでは、これは、個々のインスタンスの公平性に関する解釈可能な情報を提供する重み付け関数によって、再重み付けと逆方向のアプローチをマージする最初のモデルである。
  論文  参考訳（メタデータ） (2020-11-15T10:48:56Z)
• Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
  近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。 我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
  論文  参考訳（メタデータ） (2020-10-26T04:44:43Z)
• Precise Tradeoffs in Adversarial Training for Linear Regression [55.764306209771405]
  本稿では,ガウス的特徴を伴う線形回帰の文脈における対人訓練の役割を,正確かつ包括的に理解する。 我々は,同時代のミニマックス対逆訓練手法によって達成された標準/ロバスト精度とそれに対応するトレードオフを正確に特徴づける。 逆行訓練アルゴリズムの理論は、様々な要因(トレーニングデータのサイズや品質、モデルの過度化など)がこれらの2つの競合するアキュラシー間のトレードオフにどのように影響するかを厳密に研究する上で役立ちます。
  論文  参考訳（メタデータ） (2020-02-24T19:01:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。