論文の概要: Alleviating the Effect of Data Imbalance on Adversarial Training

• arxiv url: http://arxiv.org/abs/2307.10205v2
• Date: Mon, 4 Dec 2023 08:53:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-05 22:42:20.934313
• Title: Alleviating the Effect of Data Imbalance on Adversarial Training
• Title（参考訳）: データ不均衡が対人訓練に及ぼす影響について
• Authors: Guanlin Li, Guowen Xu, Tianwei Zhang
• Abstract要約: 長い尾の分布に従うデータセットの逆トレーニングについて検討する。 我々は、新しい対人訓練フレームワーク、Re-balancing Adversarial Training (REAT)を提案する。
• 参考スコア（独自算出の注目度）: 26.36714114672729
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we study adversarial training on datasets that obey the long-tailed distribution, which is practical but rarely explored in previous works. Compared with conventional adversarial training on balanced datasets, this process falls into the dilemma of generating uneven adversarial examples (AEs) and an unbalanced feature embedding space, causing the resulting model to exhibit low robustness and accuracy on tail data. To combat that, we theoretically analyze the lower bound of the robust risk to train a model on a long-tailed dataset to obtain the key challenges in addressing the aforementioned dilemmas. Based on it, we propose a new adversarial training framework -- Re-balancing Adversarial Training (REAT). This framework consists of two components: (1) a new training strategy inspired by the effective number to guide the model to generate more balanced and informative AEs; (2) a carefully constructed penalty function to force a satisfactory feature space. Evaluation results on different datasets and model structures prove that REAT can effectively enhance the model's robustness and preserve the model's clean accuracy. The code can be found in https://github.com/GuanlinLee/REAT.
• Abstract（参考訳）: 本稿では,従来の研究ではほとんど研究されていない長い尾の分布に従属するデータセットに対する逆行訓練について検討する。 バランスの取れたデータセットに対する従来の敵対的トレーニングと比較すると、このプロセスは、不均一な敵対的例(aes)と不均衡な特徴埋め込み空間を生成するジレンマに陥り、結果として得られたモデルは、テールデータに対するロバスト性と精度が低くなる。 そこで本研究では,長期データセット上でモデルをトレーニングするロバストリスクの下限を理論的に解析し,上記のジレンマに対処する上での重要な課題について考察する。 そこで本研究では,Re-balancing Adversarial Training (REAT) という新たな対戦訓練フレームワークを提案する。 本フレームワークは,(1)有効数にインスパイアされた新たなトレーニング戦略により,よりバランスのとれた情報的AEを生成する,(2)満足な特徴空間を強制する,慎重に構築されたペナルティ関数である。 異なるデータセットとモデル構造の評価結果は、REATがモデルの堅牢性を効果的に強化し、モデルのクリーンな精度を維持することを証明している。 コードはhttps://github.com/GuanlinLee/REATで確認できる。

関連論文リスト

• Long-Tailed Object Detection Pre-training: Dynamic Rebalancing Contrastive Learning with Dual Reconstruction [28.359463356384463]
  2DRCL(Dynamic Rebalance Contrastive Learning with Dual Reconstruction)と呼ばれる,オブジェクト検出のための新たな事前学習フレームワークを導入する。 提案手法は,グローバルな文脈意味論と詳細な局所パターンの両方を捉えることによって,事前学習とオブジェクト検出を一致させる,ホロスティック・ローカル・コントラスト学習機構に基づいている。 COCOおよびLVIS v1.0データセットの実験により,本手法の有効性,特に末尾クラスにおけるmAP/APスコアの改善が示された。
  論文  参考訳（メタデータ） (2024-11-14T13:59:01Z)
• Towards Robust Federated Learning via Logits Calibration on Non-IID Data [49.286558007937856]
  Federated Learning(FL)は、エッジネットワークにおける分散デバイスの共同モデルトレーニングに基づく、プライバシ保護のための分散管理フレームワークである。 近年の研究では、FLは敵の例に弱いことが示されており、その性能は著しく低下している。 本研究では,対戦型訓練(AT)フレームワークを用いて,対戦型実例(AE)攻撃に対するFLモデルの堅牢性を向上させる。
  論文  参考訳（メタデータ） (2024-03-05T09:18:29Z)
• Orthogonal Uncertainty Representation of Data Manifold for Robust Long-Tailed Learning [52.021899899683675]
  長い尾の分布を持つシナリオでは、尾のサンプルが不足しているため、モデルが尾のクラスを識別する能力は制限される。 モデルロバストネスの長期的現象を改善するために,特徴埋め込みの直交不確実性表現(OUR)とエンドツーエンドのトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2023-10-16T05:50:34Z)
• TWINS: A Fine-Tuning Framework for Improved Transferability of Adversarial Robustness and Generalization [89.54947228958494]
  本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。 本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。 TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
  論文  参考訳（メタデータ） (2023-03-20T14:12:55Z)
• Towards Robust Dataset Learning [90.2590325441068]
  本稿では,頑健なデータセット学習問題を定式化するための三段階最適化法を提案する。 ロバストな特徴と非ロバストな特徴を特徴付ける抽象モデルの下で,提案手法はロバストなデータセットを確実に学習する。
  論文  参考訳（メタデータ） (2022-11-19T17:06:10Z)
• Imbalanced Adversarial Training with Reweighting [33.51820466479575]
  学習データセットが不均衡である場合、逆向きに訓練されたモデルは、表現不足のクラスでは、はるかにパフォーマンスが悪くなる可能性があることを示す。 従来の再重み付け戦略は、敵の訓練の不均衡問題に対処する効果を失う可能性がある。 本研究では,不均衡シナリオ下での対人訓練を容易にするために,SRAT(Separable Reweighted Adversarial Training)を提案する。
  論文  参考訳（メタデータ） (2021-07-28T20:51:36Z)
• Self-Damaging Contrastive Learning [92.34124578823977]
  ラベルのないデータは一般に不均衡であり、長い尾の分布を示す。 本稿では,クラスを知らずに表現学習を自動的にバランスをとるための,自己学習コントラスト学習という原則的枠組みを提案する。 実験の結果,SDCLRは全体としての精度だけでなく,バランス性も著しく向上することがわかった。
  論文  参考訳（メタデータ） (2021-06-06T00:04:49Z)
• Precise Tradeoffs in Adversarial Training for Linear Regression [55.764306209771405]
  本稿では,ガウス的特徴を伴う線形回帰の文脈における対人訓練の役割を,正確かつ包括的に理解する。 我々は,同時代のミニマックス対逆訓練手法によって達成された標準/ロバスト精度とそれに対応するトレードオフを正確に特徴づける。 逆行訓練アルゴリズムの理論は、様々な要因(トレーニングデータのサイズや品質、モデルの過度化など)がこれらの2つの競合するアキュラシー間のトレードオフにどのように影響するかを厳密に研究する上で役立ちます。
  論文  参考訳（メタデータ） (2020-02-24T19:01:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。