論文の概要: Omnipotent Adversarial Training in the Wild

• arxiv url: http://arxiv.org/abs/2307.08596v2
• Date: Mon, 4 Dec 2023 09:01:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-05 22:41:43.078827
• Title: Omnipotent Adversarial Training in the Wild
• Title（参考訳）: 野生における全能的対人訓練
• Authors: Guanlin Li, Kangjie Chen, Yuan Xu, Han Qiu, Tianwei Zhang
• Abstract要約: 我々は、不均衡でノイズの多いデータセット上でモデルをトレーニングするためのOmniversapotent Adrial Training (OAT)戦略を提案する。 OATはトレーニングセットの不完全性に対処する2つの革新的な方法論で構成されている。 OATは他のベースラインを20%以上のクリーンな精度改善と10%の堅牢な精度改善で上回る。
• 参考スコア（独自算出の注目度）: 20.239704959690936
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Adversarial training is an important topic in robust deep learning, but the community lacks attention to its practical usage. In this paper, we aim to resolve a real-world challenge, i.e., training a model on an imbalanced and noisy dataset to achieve high clean accuracy and adversarial robustness, with our proposed Omnipotent Adversarial Training (OAT) strategy. OAT consists of two innovative methodologies to address the imperfection in the training set. We first introduce an oracle into the adversarial training process to help the model learn a correct data-label conditional distribution. This carefully-designed oracle can provide correct label annotations for adversarial training. We further propose logits adjustment adversarial training to overcome the data imbalance issue, which can help the model learn a Bayes-optimal distribution. Our comprehensive evaluation results show that OAT outperforms other baselines by more than 20% clean accuracy improvement and 10% robust accuracy improvement under complex combinations of data imbalance and label noise scenarios. The code can be found in https://github.com/GuanlinLee/OAT.
• Abstract（参考訳）: 敵対的なトレーニングは、堅牢なディープラーニングにおいて重要なトピックであるが、コミュニティはその実践的利用に注意を払わない。 本稿では,不均衡でノイズの多いデータセット上でモデルをトレーニングし,高いクリーンな精度と対角的堅牢性を実現することを目的とした,Omnipotent Adversarial Training(OAT)戦略を提案する。 OATはトレーニングセットの不完全性に対処する2つの革新的な方法論で構成されている。 まず、モデルが正しいデータラベル条件分布を学習するのを助けるために、逆行訓練プロセスにオラクルを導入する。 この慎重に設計されたoracleは、敵のトレーニングに正しいラベルアノテーションを提供できます。 さらに,モデルのベイズ最適分布学習を支援するデータ不均衡問題を克服するために,対数調整逆学習を提案する。 以上の結果から,OATはデータ不均衡とラベルノイズの複雑な組み合わせにより,20%以上のクリーンな精度向上と10%以上の堅牢な精度向上を達成できた。 コードはhttps://github.com/GuanlinLee/OATで確認できる。

関連論文リスト

• What Do Learning Dynamics Reveal About Generalization in LLM Reasoning? [83.83230167222852]
  モデルの一般化動作は,事前記憶列車の精度と呼ばれるトレーニング指標によって効果的に特徴づけられることがわかった。 モデルの学習行動と一般化を結びつけることで、トレーニング戦略に目標とする改善を導くことができる。
  論文  参考訳（メタデータ） (2024-11-12T09:52:40Z)
• Outlier Robust Adversarial Training [57.06824365801612]
  本研究では,アウトリー・ロバスト・アドバイザリアル・トレーニング(ORAT)を紹介する。 ORATは、強靭なランクに基づく損失関数を持つ対向訓練の2レベル最適化の定式化に基づいている。 ORATの学習目的はバイナリ分類における$mathcalH$-consistencyを満たすことが示され、これは敵の0/1損失に対する適切なサロゲートとして確立されている。
  論文  参考訳（メタデータ） (2023-09-10T21:36:38Z)
• Alleviating the Effect of Data Imbalance on Adversarial Training [26.36714114672729]
  長い尾の分布に従うデータセットの逆トレーニングについて検討する。 我々は、新しい対人訓練フレームワーク、Re-balancing Adversarial Training (REAT)を提案する。
  論文  参考訳（メタデータ） (2023-07-14T07:01:48Z)
• Entailment as Robust Self-Learner [14.86757876218415]
  我々は、複数の異なるNLUタスクを文脈的エンターテイメントとして定式化するプロンプト戦略を設計する。 自己学習における擬似ラベル品質向上のための簡易擬似ラベル編集(SimPLE)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-05-26T18:41:23Z)
• Distributed Adversarial Training to Robustify Deep Neural Networks at Scale [100.19539096465101]
  現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。 このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。 複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-13T15:39:43Z)
• Self-Damaging Contrastive Learning [92.34124578823977]
  ラベルのないデータは一般に不均衡であり、長い尾の分布を示す。 本稿では,クラスを知らずに表現学習を自動的にバランスをとるための,自己学習コントラスト学習という原則的枠組みを提案する。 実験の結果,SDCLRは全体としての精度だけでなく,バランス性も著しく向上することがわかった。
  論文  参考訳（メタデータ） (2021-06-06T00:04:49Z)
• BiFair: Training Fair Models with Bilevel Optimization [8.2509884277533]
  我々は,ユーティリティの最小化と公正な関心の喪失を両立させる,BiFairという新しいトレーニングアルゴリズムを開発した。 我々のアルゴリズムは、常により良い性能、すなわち、与えられた公正度メトリックのより優れた値、あるいはより高い精度で到達する。
  論文  参考訳（メタデータ） (2021-06-03T22:36:17Z)
• Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
  近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。 我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
  論文  参考訳（メタデータ） (2020-10-26T04:44:43Z)
• Once-for-All Adversarial Training: In-Situ Tradeoff between Robustness and Accuracy for Free [115.81899803240758]
  敵の訓練とその多くの変種は、ネットワークの堅牢性を大幅に改善するが、標準精度を妥協するコストがかかる。 本稿では,訓練されたモデルをその場で迅速に校正する方法を問うとともに,その標準と堅牢な精度のトレードオフについて検討する。 提案するフレームワークであるOne-for-all Adversarial Training (OAT)は,革新的なモデル条件トレーニングフレームワーク上に構築されている。
  論文  参考訳（メタデータ） (2020-10-22T16:06:34Z)
• Mitigating Dataset Imbalance via Joint Generation and Classification [17.57577266707809]
  教師付きディープラーニング手法は、コンピュータビジョンの多くの実践的応用において大きな成功を収めている。 バイアスや不均衡データに対する顕著な性能劣化は、これらの手法の信頼性に疑問を投げかける。 ニューラルネットワーク分類器とGAN(Generative Adversarial Networks)を組み合わせた共同データセット修復戦略を提案する。 重度のクラス不均衡に対する分類器とGANの堅牢性向上に寄与することを示す。
  論文  参考訳（メタデータ） (2020-08-12T18:40:38Z)
• Self-Adaptive Training: beyond Empirical Risk Minimization [15.59721834388181]
  余分な計算コストを伴わずにモデル予測により問題ラベルを動的に補正する新しいトレーニングアルゴリズムを提案する。 自己適応型トレーニングは、様々なレベルのノイズに対する一般化を著しく改善し、自然と敵対両方のトレーニングにおいて過度に適合する問題を緩和する。 CIFARとImageNetデータセットの実験は、我々のアプローチの有効性を2つのアプリケーションで検証する。
  論文  参考訳（メタデータ） (2020-02-24T15:47:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。