論文の概要: Revisiting adversarial training for the worst-performing class

• arxiv url: http://arxiv.org/abs/2302.08872v1
• Date: Fri, 17 Feb 2023 13:41:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-20 14:43:25.033115
• Title: Revisiting adversarial training for the worst-performing class
• Title（参考訳）: 最悪の成績の授業における対人訓練の見直し
• Authors: Thomas Pethick, Grigorios G. Chrysos, Volkan Cevher
• Abstract要約: 多くのデータセットにおいて、トップパフォーマンスクラスと最悪のパフォーマンスクラスの間には、かなりのギャップがある。 我々は、最悪のパフォーマンスのクラスを明示的に最適化することで、このギャップを減らせることができると論じる。 本手法は,クラス集中型オンライン学習(CFOL)と呼ばれ,最悪のクラス損失に対する高い確率収束保証を含む。
• 参考スコア（独自算出の注目度）: 60.231877895663956
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite progress in adversarial training (AT), there is a substantial gap between the top-performing and worst-performing classes in many datasets. For example, on CIFAR10, the accuracies for the best and worst classes are 74% and 23%, respectively. We argue that this gap can be reduced by explicitly optimizing for the worst-performing class, resulting in a min-max-max optimization formulation. Our method, called class focused online learning (CFOL), includes high probability convergence guarantees for the worst class loss and can be easily integrated into existing training setups with minimal computational overhead. We demonstrate an improvement to 32% in the worst class accuracy on CIFAR10, and we observe consistent behavior across CIFAR100 and STL10. Our study highlights the importance of moving beyond average accuracy, which is particularly important in safety-critical applications.
• Abstract（参考訳）: 対人訓練(AT)の進歩にもかかわらず、多くのデータセットにおいて、最高のパフォーマンスと最悪のパフォーマンスのクラスの間にはかなりのギャップがある。 例えば、CIFAR10では、最高のクラスと最悪のクラスのアキュラシーはそれぞれ74%と23%である。 我々は、このギャップを最悪のパフォーマンスクラスに対して明示的に最適化することで低減することができ、結果としてmin-max-max最適化定式化が実現されると主張している。 本手法は,クラス集中型オンライン学習(CFOL)と呼ばれ,最悪のクラス損失の確率収束を保証するとともに,計算オーバーヘッドを最小限に抑えた既存のトレーニング環境に容易に統合できる。 CIFAR100 と STL10 間の一貫した挙動を観測し,CIFAR100 と STL10 で最悪のクラス精度で 32% の改善を示す。 本研究は,安全クリティカルなアプリケーションにおいて特に重要である平均精度を超えることの重要性を強調する。

関連論文リスト

• Optimizing for ROC Curves on Class-Imbalanced Data by Training over a Family of Loss Functions [3.06506506650274]
  重度のクラス不均衡の下で信頼性の高い分類器を訓練することは、コンピュータビジョンにおいて難しい問題である。 近年の研究では、損失関数や最適化方法の変更により、不均衡下でのトレーニングの効果を緩和する手法が提案されている。 単一損失関数ではなく、損失関数の族に対するトレーニングを提案する。
  論文  参考訳（メタデータ） (2024-02-08T04:31:21Z)
• Understanding the Detrimental Class-level Effects of Data Augmentation [63.1733767714073]
  最適な平均精度を達成するには、ImageNetで最大20%の個々のクラスの精度を著しく損なうコストがかかる。 本稿では,DAがクラスレベルの学習力学とどのように相互作用するかを理解するためのフレームワークを提案する。 そこで本研究では, クラス条件拡張戦略により, 負の影響を受けるクラスの性能が向上することを示す。
  論文  参考訳（メタデータ） (2023-12-07T18:37:43Z)
• Online Continual Learning via Logit Adjusted Softmax [24.327176079085703]
  訓練中のクラス間の不均衡は、忘れる主な原因として特定されている。 トレーニング中のモデルロジットの簡単な調整は、事前クラスバイアスに効果的に抵抗することができる。 提案手法であるLogit Adjusted Softmaxは,クラス増分だけでなく,現実的な一般設定においても,クラス間不均衡の影響を軽減することができる。
  論文  参考訳（メタデータ） (2023-11-11T03:03:33Z)
• Improving Robust Fairness via Balance Adversarial Training [51.67643171193376]
  対人訓練 (AT) 法は, 対人攻撃に対して有効であるが, 異なるクラス間での精度と頑健さの相違が激しい。 本稿では,頑健な公正性問題に対処するために,BAT(Adversarial Training)を提案する。
  論文  参考訳（メタデータ） (2022-09-15T14:44:48Z)
• Robust Distillation for Worst-class Performance [38.80008602644002]
  我々は,学生の最低級のパフォーマンス向上に適した蒸留技術を開発した。 我々は,我々の頑健な蒸留技術が最悪の性能を向上させることを実証的に示す。 私たちは、堅牢な学生のトレーニングを目標とするときに、良い教師を何にするかについて、洞察を与えます。
  論文  参考訳（メタデータ） (2022-06-13T21:17:00Z)
• Probabilistically Robust Learning: Balancing Average- and Worst-case Performance [105.87195436925722]
  我々は、正確で不安定な平均ケースと頑健で保守的な最悪のケースのギャップを埋める、堅牢性確率というフレームワークを提案する。 理論的には、このフレームワークはパフォーマンスと最悪のケースと平均ケース学習のサンプル複雑さの間のトレードオフを克服する。
  論文  参考訳（メタデータ） (2022-02-02T17:01:38Z)
• Learning with Multiclass AUC: Theory and Algorithms [141.63211412386283]
  ROC曲線 (AUC) の下の領域は、不均衡学習やレコメンダシステムといった問題に対するよく知られたランキング基準である。 本稿では,マルチクラスAUCメトリクスを最適化することで,多クラススコアリング関数を学習する問題について検討する。
  論文  参考訳（メタデータ） (2021-07-28T05:18:10Z)
• Adversarial Robustness: From Self-Supervised Pre-Training to Fine-Tuning [134.15174177472807]
  対戦型トレーニングを自己超越に導入し,汎用的な頑健な事前訓練モデルを初めて提供する。 提案するフレームワークが大きなパフォーマンスマージンを達成できることを示すため,広範な実験を行う。
  論文  参考訳（メタデータ） (2020-03-28T18:28:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。