論文の概要: Theoretical Analysis of Relative Errors in Gradient Computations for Adversarial Attacks with CE Loss

• arxiv url: http://arxiv.org/abs/2507.22428v1
• Date: Wed, 30 Jul 2025 07:14:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-31 16:14:18.0521
• Title: Theoretical Analysis of Relative Errors in Gradient Computations for Adversarial Attacks with CE Loss
• Title（参考訳）: CE損失のある敵攻撃に対するグラディエント計算における相対誤差の理論解析
• Authors: Yunrui Yu, Hang Su, Cheng-zhong Xu, Zhizhong Su, Jun Zhu,
• Abstract要約: 浮動小数点算術によって引き起こされる計算の相対誤差により、グラディエントベースの敵攻撃が過大評価されることが多い。 本稿では,4つのシナリオにわたる勾配攻撃における浮動小数点演算誤差の総合的研究を行う。 本稿では,浮動小数点誤差の影響を最小限に抑えるために,最適スケーリング係数$T = t*$を組み込んだ理論MIFPE損失関数を提案する。
• 参考スコア（独自算出の注目度）: 37.388483181271006
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Gradient-based adversarial attacks using the Cross-Entropy (CE) loss often suffer from overestimation due to relative errors in gradient computation induced by floating-point arithmetic. This paper provides a rigorous theoretical analysis of these errors, conducting the first comprehensive study of floating-point computation errors in gradient-based attacks across four distinct scenarios: (i) unsuccessful untargeted attacks, (ii) successful untargeted attacks, (iii) unsuccessful targeted attacks, and (iv) successful targeted attacks. We establish theoretical foundations characterizing the behavior of relative numerical errors under different attack conditions, revealing previously unknown patterns in gradient computation instability, and identify floating-point underflow and rounding as key contributors. Building on this insight, we propose the Theoretical MIFPE (T-MIFPE) loss function, which incorporates an optimal scaling factor $T = t^*$ to minimize the impact of floating-point errors, thereby enhancing the accuracy of gradient computation in adversarial attacks. Extensive experiments on the MNIST, CIFAR-10, and CIFAR-100 datasets demonstrate that T-MIFPE outperforms existing loss functions, including CE, C\&W, DLR, and MIFPE, in terms of attack potency and robustness evaluation accuracy.
• Abstract（参考訳）: クロスエントロピー(CE)損失を用いたグラディエントベースの敵攻撃は、浮動小数点演算によって引き起こされる勾配計算の相対誤差により過大評価されることが多い。 本稿では,これらの誤りの厳密な理論的解析を行い,4つのシナリオにまたがる勾配に基づく攻撃における浮動小数点演算誤差の総合的研究を行った。 (i)未目標の攻撃に失敗。 (二)未標的攻撃の成功。 (三)標的攻撃に失敗し (4)標的攻撃に成功した。 本研究では,異なる攻撃条件下での相対的数値誤差の挙動を特徴づける理論的基礎を確立し,勾配計算の不安定性のパターンを事前に未知にし,浮動小数点下フローとラウンドを重要な要因として同定する。 この知見に基づいて, 最適スケーリング係数$T = t^*$を組み込んだ理論MIFPE(T-MIFPE)損失関数を提案する。 MNIST、CIFAR-10、CIFAR-100データセットの大規模な実験により、T-MIFPEはCE、C\&W、DLR、MIFPEなどの既存の損失関数よりも、攻撃能とロバスト性評価の精度で優れていることが示された。

関連論文リスト

• Explainer-guided Targeted Adversarial Attacks against Binary Code Similarity Detection Models [12.524811181751577]
  我々は,BCSDモデルに対する敵攻撃に対する新たな最適化を提案する。 特に,攻撃目標は,モデル予測を特定の範囲に制限することである。 我々の攻撃は、モデル決定境界の解釈において、ブラックボックス、モデルに依存しない説明器の優れた能力を活用する。
  論文  参考訳（メタデータ） (2025-06-05T08:29:19Z)
• Bridging Internal Probability and Self-Consistency for Effective and Efficient LLM Reasoning [53.25336975467293]
  パープレキシティや自己整合性などの手法の第一理論誤差分解解析について述べる。 パープレキシティ法は、適切な整合関数が存在しないため、かなりのモデル誤差に悩まされる。 本稿では、自己整合性とパープレキシティを統合したReasoning-Pruning Perplexity Consistency(RPC)と、低確率推論経路を排除したReasoning Pruningを提案する。
  論文  参考訳（メタデータ） (2025-02-01T18:09:49Z)
• BadGD: A unified data-centric framework to identify gradient descent vulnerabilities [10.996626204702189]
  BadGDは、敵の操作を理解し緩和するための新しい標準を設定している。 この研究は、このようなデータ中心の攻撃によって引き起こされる深刻な脅威を強調し、機械学習における堅牢な防御の必要性を強調している。
  論文  参考訳（メタデータ） (2024-05-24T23:39:45Z)
• Weak Supervision Performance Evaluation via Partial Identification [46.73061437177238]
  Programmatic Weak Supervision (PWS) は、地上の真理ラベルに直接アクセスすることなく、教師付きモデルトレーニングを可能にする。 本稿では,モデル評価を部分的同定問題としてフレーミングすることで,この問題に対処する新しい手法を提案する。 提案手法は,従来の弱監督評価手法において,ラベル付きデータを必要とせず,重要な指標に信頼性のあるバウンダリを導出する。
  論文  参考訳（メタデータ） (2023-12-07T07:15:11Z)
• Adversarial Attacks Against Uncertainty Quantification [10.655660123083607]
  この研究は、攻撃者が依然として不確実性推定を操作することに興味を持つ異なる敵シナリオに焦点を当てる。 特に、アウトプットが下流モジュールや人間のオペレータによって消費される場合、機械学習モデルの使用を損なうことが目標である。
  論文  参考訳（メタデータ） (2023-09-19T12:54:09Z)
• Towards Reasonable Budget Allocation in Untargeted Graph Structure Attacks via Gradient Debias [50.628150015907565]
  クロスエントロピー損失関数は、分類タスクにおける摂動スキームを評価するために用いられる。 従来の手法ではノードレベルの分類モデルを攻撃する攻撃対象として負のクロスエントロピー損失を用いる。 本稿では、予算配分の観点から、これまでの不合理な攻撃目標について論じる。
  論文  参考訳（メタデータ） (2023-03-29T13:02:02Z)
• Unreasonable Effectiveness of Last Hidden Layer Activations [0.5156484100374058]
  本研究では, 高い温度値を持つモデルの出力層で広く知られているアクティベーション関数を用いることで, 標的および標的外攻撃事例の勾配をゼロにする効果が示された。 CIFAR10データセットであるMNIST(Digit)に対するアプローチの有効性を実験的に検証した。
  論文  参考訳（メタデータ） (2022-02-15T12:02:59Z)
• Unbiased Risk Estimators Can Mislead: A Case Study of Learning with Complementary Labels [92.98756432746482]
  我々は,補完ラベルを用いた学習という,弱教師付き問題を研究する。 勾配推定の品質はリスク最小化においてより重要であることを示す。 本稿では,ゼロバイアスと分散の低減を両立させる新しい補助的相補的損失(SCL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-05T04:19:37Z)
• Regularisation Can Mitigate Poisoning Attacks: A Novel Analysis Based on Multiobjective Bilevel Optimisation [3.3181276611945263]
  機械学習(ML)アルゴリズムは、アルゴリズムのパフォーマンスを意図的に劣化させるためにトレーニングデータの一部が操作される、中毒攻撃に対して脆弱である。 2レベル問題として定式化できる最適毒殺攻撃は、最悪のシナリオにおける学習アルゴリズムの堅牢性を評価するのに役立つ。 このアプローチはアルゴリズムの堅牢性に対する過度に悲観的な見方をもたらすことを示す。
  論文  参考訳（メタデータ） (2020-02-28T19:46:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。