論文の概要: One-vs-the-Rest Loss to Focus on Important Samples in Adversarial Training

• arxiv url: http://arxiv.org/abs/2207.10283v3
• Date: Wed, 26 Apr 2023 10:24:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-27 18:26:19.696882
• Title: One-vs-the-Rest Loss to Focus on Important Samples in Adversarial Training
• Title（参考訳）: 対人訓練における重要なサンプルに着目した1-vs-the-Rest Loss
• Authors: Sekitoshi Kanai, Shin'ya Yamaguchi, Masanori Yamada, Hiroshi Takahashi, Kentaro Ohno, Yasutoshi Ida
• Abstract要約: 論文は、その脆弱性の原因が、真のラベルと他のラベルのロジットの間の小さなマージンであることを実験的に明らかにしている。 ニューラルネットワークはロジットに基づいてデータポイントを分類するので、ロジットマージンは攻撃による最大のロジットの反転を避けるのに十分な大きさでなければならない。 本稿では,ロジットマージンが小さい重要な試料に対して,クロスエントロピーからワン・vs・ザ・レスト・ロスに切り替える1-vs・ザ・レスト・ロス(SOVR)を提案する。
• 参考スコア（独自算出の注目度）: 13.903624802482073
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper proposes a new loss function for adversarial training. Since adversarial training has difficulties, e.g., necessity of high model capacity, focusing on important data points by weighting cross-entropy loss has attracted much attention. However, they are vulnerable to sophisticated attacks, e.g., Auto-Attack. This paper experimentally reveals that the cause of their vulnerability is their small margins between logits for the true label and the other labels. Since neural networks classify the data points based on the logits, logit margins should be large enough to avoid flipping the largest logit by the attacks. Importance-aware methods do not increase logit margins of important samples but decrease those of less-important samples compared with cross-entropy loss. To increase logit margins of important samples, we propose switching one-vs-the-rest loss (SOVR), which switches from cross-entropy to one-vs-the-rest loss for important samples that have small logit margins. We prove that one-vs-the-rest loss increases logit margins two times larger than the weighted cross-entropy loss for a simple problem. We experimentally confirm that SOVR increases logit margins of important samples unlike existing methods and achieves better robustness against Auto-Attack than importance-aware methods.
• Abstract（参考訳）: 本稿では,敵訓練における新たな損失関数を提案する。 対向訓練は、例えば、高いモデル能力の必要性といった困難を抱えているため、クロスエントロピー損失の重み付けによる重要なデータポイントにフォーカスすることが注目されている。 しかし、Auto-Attackのような高度な攻撃には弱い。 本稿では,その脆弱性の原因が,真のラベルのロジットと他のラベルとのマージンが小さいことを実験的に明らかにする。 ニューラルネットワークはロジットに基づいてデータポイントを分類するので、ロジットマージンは攻撃による最大のロジットの反転を避けるのに十分な大きさでなければならない。 重要なサンプルのロジットマージンを増大させるのではなく、クロスエントロピー損失と比較して重要でないサンプルのロジットマージンを減少させる。 重要なサンプルのロジットマージンを増やすために,ロジットマージンが小さい重要なサンプルに対して,クロスエントロピーからワン・vs・ザ・レスト損失に切り替える1-vs-the-rest loss (SOVR) を提案する。 1-vs-the-rest損失は単純な問題に対する重み付きクロスエントロピー損失の2倍のロジットマージンを増加させる。 我々は,従来の方法と異なり,SOVRが重要なサンプルのロジットマージンを増大させ,Auto-Attackに対するロジット性を重要視する手法よりも向上させることを実験的に確認した。

関連論文リスト

• Forming Auxiliary High-confident Instance-level Loss to Promote Learning from Label Proportions [17.36538357653019]
  ラベルパーセンテージ(LLP)からの学習は、各インスタンスのアノテートラベルではなく、インスタンスのバッグとバッグ内のクラスの割合を使用して分類器をトレーニングすることを目的としている。 本稿では,L2P-AHILを用いたLLP手法を提案する。 我々は,L2P-AHILが既存のベースライン法を超越し,バッグサイズが大きくなるにつれて性能向上がさらに重要であることを示す。
  論文  参考訳（メタデータ） (2024-11-15T17:14:18Z)
• Doubly Robust Instance-Reweighted Adversarial Training [107.40683655362285]
  本稿では,2重のインスタンス再重み付き対向フレームワークを提案する。 KL偏差正規化損失関数の最適化により重みを求める。 提案手法は, 平均ロバスト性能において, 最先端のベースライン法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-08-01T06:16:18Z)
• Introducing One Sided Margin Loss for Solving Classification Problems in Deep Networks [4.157900711249931]
  本稿では,最大マージン分類問題を効果的に解くために,新たな損失関数OSMを提案する。 実験では、OSMの損失を用いることで、バイナリやカテゴリのクロスエントロピーよりも訓練速度が向上し、精度が向上することがわかった。
  論文  参考訳（メタデータ） (2022-06-02T12:03:39Z)
• Scale-Equivalent Distillation for Semi-Supervised Object Detection [57.59525453301374]
  近年のSemi-Supervised Object Detection (SS-OD) 法は主に自己学習に基づいており、教師モデルにより、ラベルなしデータを監視信号としてハードな擬似ラベルを生成する。 実験結果から,これらの手法が直面する課題を分析した。 本稿では,大規模オブジェクトサイズの分散とクラス不均衡に頑健な簡易かつ効果的なエンド・ツー・エンド知識蒸留フレームワークであるSED(Scale-Equivalent Distillation)を提案する。
  論文  参考訳（メタデータ） (2022-03-23T07:33:37Z)
• Towards Adversarial Patch Analysis and Certified Defense against Crowd Counting [61.99564267735242]
  安全クリティカルな監視システムの重要性から、群衆のカウントは多くの注目を集めています。 近年の研究では、ディープニューラルネットワーク(DNN)の手法が敵の攻撃に弱いことが示されている。 群衆カウントモデルのロバスト性を評価するために,Momentumを用いた攻撃戦略としてAdversarial Patch Attackを提案する。
  論文  参考訳（メタデータ） (2021-04-22T05:10:55Z)
• Relating Adversarially Robust Generalization to Flat Minima [138.59125287276194]
  対戦訓練(AT)は、敵の例に対して堅牢なモデルを得るためのデファクトスタンダードとなっている。 重み空間におけるロバスト一般化とロバスト損失景観の平坦性の関係について検討した。
  論文  参考訳（メタデータ） (2021-04-09T15:55:01Z)
• Regressive Domain Adaptation for Unsupervised Keypoint Detection [67.2950306888855]
  ドメイン適応(DA)は、ラベル付きソースドメインからラベル付きターゲットドメインに知識を転送することを目的とする。 本稿では,教師なしキーポイント検出のためのレグレッシブドメイン適応(RegDA)法を提案する。 提案手法は,異なるデータセット上のPCKにおいて,8%から11%の大幅な改善をもたらす。
  論文  参考訳（メタデータ） (2021-03-10T16:45:22Z)
• Improving Adversarial Robustness via Probabilistically Compact Loss with Logit Constraints [19.766374145321528]
  畳み込みニューラルネットワーク(CNN)は、コンピュータビジョンの様々なタスクで最先端のパフォーマンスを達成しました。 最近の研究では、これらのモデルは慎重に作られた敵のサンプルに対して脆弱であり、予測時に大幅なパフォーマンス低下に苦しむことが示されています。 ここでは、CNNの予測行動に関するユニークな洞察を提供し、最も可能性の高い偽クラスに敵のサンプルを誤分類する傾向がある。 CNNを改善するためのクロスエントロピー(CE)損失のドロップイン代替として使用できるロジット制約付き新しい確率コンパクト(PC)損失を提案する。
  論文  参考訳（メタデータ） (2020-12-14T16:40:53Z)
• Learning a Unified Sample Weighting Network for Object Detection [113.98404690619982]
  地域サンプリングや重み付けは、現代の地域ベースの物体検出器の成功に極めて重要である。 サンプル重み付けはデータ依存でタスク依存であるべきだと我々は主張する。 サンプルのタスク重みを予測するための統一的なサンプル重み付けネットワークを提案する。
  論文  参考訳（メタデータ） (2020-06-11T16:19:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。