論文の概要: Long-tailed Adversarial Training with Self-Distillation

• arxiv url: http://arxiv.org/abs/2503.06461v1
• Date: Sun, 09 Mar 2025 05:39:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-11 15:48:56.884294
• Title: Long-tailed Adversarial Training with Self-Distillation
• Title（参考訳）: 自己蒸留による長期逆行訓練
• Authors: Seungju Cho, Hongsin Lee, Changick Kim,
• Abstract要約: 本研究は,長期分布におけるテールクラスの性能向上に苦慮していることを示す。 本研究では, 長期分布における対向ロバスト性向上のための新しい自己蒸留法を提案する。 本実験は, 長距離対向ロバスト性に対して, クリーンかつロバストな両精度で, 最先端の性能を示すものである。
• 参考スコア（独自算出の注目度）: 15.184564265850382
• License:
• Abstract: Adversarial training significantly enhances adversarial robustness, yet superior performance is predominantly achieved on balanced datasets. Addressing adversarial robustness in the context of unbalanced or long-tailed distributions is considerably more challenging, mainly due to the scarcity of tail data instances. Previous research on adversarial robustness within long-tailed distributions has primarily focused on combining traditional long-tailed natural training with existing adversarial robustness methods. In this study, we provide an in-depth analysis for the challenge that adversarial training struggles to achieve high performance on tail classes in long-tailed distributions. Furthermore, we propose a simple yet effective solution to advance adversarial robustness on long-tailed distributions through a novel self-distillation technique. Specifically, this approach leverages a balanced self-teacher model, which is trained using a balanced dataset sampled from the original long-tailed dataset. Our extensive experiments demonstrate state-of-the-art performance in both clean and robust accuracy for long-tailed adversarial robustness, with significant improvements in tail class performance on various datasets. We improve the accuracy against PGD attacks for tail classes by 20.3, 7.1, and 3.8 percentage points on CIFAR-10, CIFAR-100, and Tiny-ImageNet, respectively, while achieving the highest robust accuracy.
• Abstract（参考訳）: 敵対的トレーニングは、敵の堅牢性を著しく向上させるが、バランスの取れたデータセット上では、優れたパフォーマンスが主に達成される。 不均衡な分布や長い尾を持つ分布の文脈における敵のロバスト性への対処は、主に尾のデータインスタンスの不足のため、かなり困難である。 長い尾の分布における敵の頑健性に関するこれまでの研究は、主に従来の長い尾の自然訓練と既存の敵の頑健性法を組み合わせることに焦点を当ててきた。 本研究では,長期分布におけるテールクラスの性能向上に苦慮する対人訓練の課題について,詳細な分析を行った。 さらに, 新しい自己蒸留技術により, 長い尾の分布に対する対角的堅牢性を向上させるための, 単純かつ効果的な解を提案する。 具体的には、このアプローチは、オリジナルの長い尾のデータセットからサンプリングされたバランスのとれたデータセットを使用してトレーニングされる、バランスのとれた自己学習モデルを活用する。 広範囲にわたる実験により、長い尾の対角ロバスト性に対するクリーンかつロバストな精度の両面での最先端性能が実証され、様々なデータセットにおけるテールクラス性能が大幅に改善された。 CIFAR-10, CIFAR-100, Tiny-ImageNetにおいて, 尾部のPGD攻撃に対する精度を20.3, 7.1, 3.8ポイント向上し, 高い堅牢性を実現した。

関連論文リスト

• Revisiting Adversarial Training under Long-Tailed Distributions [8.187045490998269]
  敵の訓練は、このような攻撃に対抗する最も効果的な方法の1つとして認識されている。 Balanced Softmax Loss単独で、トレーニングオーバーヘッドを大幅に削減しつつ、完全なRoBalアプローチに匹敵するパフォーマンスを実現することができることを示す。 これを解決するために,データ拡張をソリューションとして検討し,バランスの取れたデータと異なり,データ拡張は頑健なオーバーフィッティングを効果的に軽減するだけでなく,ロバスト性も著しく改善することを示した。
  論文  参考訳（メタデータ） (2024-03-15T07:29:41Z)
• Orthogonal Uncertainty Representation of Data Manifold for Robust Long-Tailed Learning [52.021899899683675]
  長い尾の分布を持つシナリオでは、尾のサンプルが不足しているため、モデルが尾のクラスを識別する能力は制限される。 モデルロバストネスの長期的現象を改善するために,特徴埋め込みの直交不確実性表現(OUR)とエンドツーエンドのトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2023-10-16T05:50:34Z)
• Alleviating the Effect of Data Imbalance on Adversarial Training [26.36714114672729]
  長い尾の分布に従うデータセットの逆トレーニングについて検討する。 我々は、新しい対人訓練フレームワーク、Re-balancing Adversarial Training (REAT)を提案する。
  論文  参考訳（メタデータ） (2023-07-14T07:01:48Z)
• Enhancing Adversarial Training via Reweighting Optimization Trajectory [72.75558017802788]
  余分な正規化、敵の重み付け、より多くのデータによるトレーニングといった欠点に対処するいくつかのアプローチが提案されている。 本稿では, 時間内学習の最適化トラジェクトリを利用するtextbfWeighted Optimization Trajectories (WOT) を提案する。 以上の結果から,WOTは既存の対人訓練手法とシームレスに統合され,頑健なオーバーフィッティング問題を一貫して克服していることがわかった。
  論文  参考訳（メタデータ） (2023-06-25T15:53:31Z)
• Adversarial Robustness under Long-Tailed Distribution [93.50792075460336]
  敵対的ロバスト性はディープネットワークの脆弱性と本質的特徴を明らかにすることで近年広く研究されている。 本研究では,長尾分布下における敵対的脆弱性と防御について検討する。 我々は、スケール不変とデータ再分散という2つの専用モジュールからなるクリーンで効果的なフレームワークであるRoBalを提案する。
  論文  参考訳（メタデータ） (2021-04-06T17:53:08Z)
• Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
  近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。 我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
  論文  参考訳（メタデータ） (2020-10-26T04:44:43Z)
• Long-tailed Recognition by Routing Diverse Distribution-Aware Experts [64.71102030006422]
  我々は、RoutIng Diverse Experts (RIDE) と呼ばれる新しい長い尾の分類器を提案する。 複数の専門家とのモデルの分散を減らし、分布を考慮した多様性損失によるモデルバイアスを減らし、動的専門家ルーティングモジュールによる計算コストを削減します。 RIDEは、CIFAR100-LT、ImageNet-LT、iNaturalist 2018ベンチマークで最先端を5%から7%上回っている。
  論文  参考訳（メタデータ） (2020-10-05T06:53:44Z)
• Adversarial Robustness: From Self-Supervised Pre-Training to Fine-Tuning [134.15174177472807]
  対戦型トレーニングを自己超越に導入し,汎用的な頑健な事前訓練モデルを初めて提供する。 提案するフレームワークが大きなパフォーマンスマージンを達成できることを示すため,広範な実験を行う。
  論文  参考訳（メタデータ） (2020-03-28T18:28:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。