論文の概要: Switching One-Versus-the-Rest Loss to Increase the Margin of Logits for Adversarial Robustness

• arxiv url: http://arxiv.org/abs/2207.10283v1
• Date: Thu, 21 Jul 2022 03:28:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-22 12:16:20.394677
• Title: Switching One-Versus-the-Rest Loss to Increase the Margin of Logits for Adversarial Robustness
• Title（参考訳）: 対向ロバスト性を考慮したロジットのマージン向上のためのレスト損失の切り替え
• Authors: Sekitoshi Kanai, Shin'ya Yamaguchi, Masanori Yamada, Hiroshi Takahashi, Yasutoshi Ida
• Abstract要約: 敵の例に対するディープニューラルネットワークの防御は、AIの安全性にとって重要な課題である。 近年の手法は、対人訓練における決定境界付近の重要なデータポイントに焦点を当てている。 これらの手法は信頼性評価のためのパラメータフリー攻撃のアンサンブルであるAuto-Attackに対して脆弱である。
• 参考スコア（独自算出の注目度）: 14.916447616855208
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Defending deep neural networks against adversarial examples is a key challenge for AI safety. To improve the robustness effectively, recent methods focus on important data points near the decision boundary in adversarial training. However, these methods are vulnerable to Auto-Attack, which is an ensemble of parameter-free attacks for reliable evaluation. In this paper, we experimentally investigate the causes of their vulnerability and find that existing methods reduce margins between logits for the true label and the other labels while keeping their gradient norms non-small values. Reduced margins and non-small gradient norms cause their vulnerability since the largest logit can be easily flipped by the perturbation. Our experiments also show that the histogram of the logit margins has two peaks, i.e., small and large logit margins. From the observations, we propose switching one-versus-the-rest loss (SOVR), which uses one-versus-the-rest loss when data have small logit margins so that it increases the margins. We find that SOVR increases logit margins more than existing methods while keeping gradient norms small and outperforms them in terms of the robustness against Auto-Attack.
• Abstract（参考訳）: 敵の例に対するディープニューラルネットワークの防御は、AIの安全性にとって重要な課題である。 効果的なロバスト性向上のために,近年の手法では,意思決定境界付近の重要なデータポイントに着目している。 しかし、これらの手法は信頼性評価のためのパラメータフリー攻撃のアンサンブルであるAuto-Attackに対して脆弱である。 本稿では,その脆弱性の原因を実験的に検討し,既存の手法は,その勾配基準を非小値に保ちながら,真のラベルと他のラベルのロジット間のマージンを減少させる。 マージンの減少と非小さな勾配ノルムは、最大のロジットが摂動によって簡単に反転できるため、脆弱性を引き起こす。 また,ロジットマージンのヒストグラムは2つのピーク,すなわち,小さくて大きなロジットマージンを持つことを示した。 観測結果から,データにロジットマージンが小さい場合の1-versus-the-rest loss(SOVR)の切り替えを提案する。 我々は,SOVRが従来の手法よりもロジットマージンを増加させる一方で,勾配基準を小さく保ち,Auto-Attackに対するロバスト性でそれらを上回っていることを発見した。

関連論文リスト

• Forming Auxiliary High-confident Instance-level Loss to Promote Learning from Label Proportions [17.36538357653019]
  ラベルパーセンテージ(LLP)からの学習は、各インスタンスのアノテートラベルではなく、インスタンスのバッグとバッグ内のクラスの割合を使用して分類器をトレーニングすることを目的としている。 本稿では,L2P-AHILを用いたLLP手法を提案する。 我々は,L2P-AHILが既存のベースライン法を超越し,バッグサイズが大きくなるにつれて性能向上がさらに重要であることを示す。
  論文  参考訳（メタデータ） (2024-11-15T17:14:18Z)
• Doubly Robust Instance-Reweighted Adversarial Training [107.40683655362285]
  本稿では,2重のインスタンス再重み付き対向フレームワークを提案する。 KL偏差正規化損失関数の最適化により重みを求める。 提案手法は, 平均ロバスト性能において, 最先端のベースライン法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-08-01T06:16:18Z)
• Introducing One Sided Margin Loss for Solving Classification Problems in Deep Networks [4.157900711249931]
  本稿では,最大マージン分類問題を効果的に解くために,新たな損失関数OSMを提案する。 実験では、OSMの損失を用いることで、バイナリやカテゴリのクロスエントロピーよりも訓練速度が向上し、精度が向上することがわかった。
  論文  参考訳（メタデータ） (2022-06-02T12:03:39Z)
• Scale-Equivalent Distillation for Semi-Supervised Object Detection [57.59525453301374]
  近年のSemi-Supervised Object Detection (SS-OD) 法は主に自己学習に基づいており、教師モデルにより、ラベルなしデータを監視信号としてハードな擬似ラベルを生成する。 実験結果から,これらの手法が直面する課題を分析した。 本稿では,大規模オブジェクトサイズの分散とクラス不均衡に頑健な簡易かつ効果的なエンド・ツー・エンド知識蒸留フレームワークであるSED(Scale-Equivalent Distillation)を提案する。
  論文  参考訳（メタデータ） (2022-03-23T07:33:37Z)
• Towards Adversarial Patch Analysis and Certified Defense against Crowd Counting [61.99564267735242]
  安全クリティカルな監視システムの重要性から、群衆のカウントは多くの注目を集めています。 近年の研究では、ディープニューラルネットワーク(DNN)の手法が敵の攻撃に弱いことが示されている。 群衆カウントモデルのロバスト性を評価するために,Momentumを用いた攻撃戦略としてAdversarial Patch Attackを提案する。
  論文  参考訳（メタデータ） (2021-04-22T05:10:55Z)
• Relating Adversarially Robust Generalization to Flat Minima [138.59125287276194]
  対戦訓練(AT)は、敵の例に対して堅牢なモデルを得るためのデファクトスタンダードとなっている。 重み空間におけるロバスト一般化とロバスト損失景観の平坦性の関係について検討した。
  論文  参考訳（メタデータ） (2021-04-09T15:55:01Z)
• Regressive Domain Adaptation for Unsupervised Keypoint Detection [67.2950306888855]
  ドメイン適応(DA)は、ラベル付きソースドメインからラベル付きターゲットドメインに知識を転送することを目的とする。 本稿では,教師なしキーポイント検出のためのレグレッシブドメイン適応(RegDA)法を提案する。 提案手法は,異なるデータセット上のPCKにおいて,8%から11%の大幅な改善をもたらす。
  論文  参考訳（メタデータ） (2021-03-10T16:45:22Z)
• Improving Adversarial Robustness via Probabilistically Compact Loss with Logit Constraints [19.766374145321528]
  畳み込みニューラルネットワーク(CNN)は、コンピュータビジョンの様々なタスクで最先端のパフォーマンスを達成しました。 最近の研究では、これらのモデルは慎重に作られた敵のサンプルに対して脆弱であり、予測時に大幅なパフォーマンス低下に苦しむことが示されています。 ここでは、CNNの予測行動に関するユニークな洞察を提供し、最も可能性の高い偽クラスに敵のサンプルを誤分類する傾向がある。 CNNを改善するためのクロスエントロピー(CE)損失のドロップイン代替として使用できるロジット制約付き新しい確率コンパクト(PC)損失を提案する。
  論文  参考訳（メタデータ） (2020-12-14T16:40:53Z)
• Learning a Unified Sample Weighting Network for Object Detection [113.98404690619982]
  地域サンプリングや重み付けは、現代の地域ベースの物体検出器の成功に極めて重要である。 サンプル重み付けはデータ依存でタスク依存であるべきだと我々は主張する。 サンプルのタスク重みを予測するための統一的なサンプル重み付けネットワークを提案する。
  論文  参考訳（メタデータ） (2020-06-11T16:19:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。