論文の概要: Admissibility of Stein Shrinkage for Batch Normalization in the Presence of Adversarial Attacks

• arxiv url: http://arxiv.org/abs/2507.08261v1
• Date: Fri, 11 Jul 2025 02:13:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-14 18:03:54.222545
• Title: Admissibility of Stein Shrinkage for Batch Normalization in the Presence of Adversarial Attacks
• Title（参考訳）: 逆行性攻撃によるバッチ正規化におけるスフィン収縮の適応性
• Authors: Sofia Ivolgina, P. Thomas Fletcher, Baba C. Vemuri,
• Abstract要約: バッチ正規化(BN)は、ディープニューラルネットワークにおいて、主にネットワークトレーニング中に安定性と正規化を達成するために使われるユビキタスな操作である。 本稿では, 平均および分散量のスタイン収縮推定器が, 対角攻撃の有無で, サンプル平均および分散推定器よりも支配的であることを証明した。 これにより、BNにおける平均および分散パラメータを推定し、敵対的攻撃の有無にかかわらず画像分類タスクに使用するために、Steinの縮小の適用を容易にし、正当化することができる。
• 参考スコア（独自算出の注目度）: 5.905721043072562
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Batch normalization (BN) is a ubiquitous operation in deep neural networks used primarily to achieve stability and regularization during network training. BN involves feature map centering and scaling using sample means and variances, respectively. Since these statistics are being estimated across the feature maps within a batch, this problem is ideally suited for the application of Stein's shrinkage estimation, which leads to a better, in the mean-squared-error sense, estimate of the mean and variance of the batch. In this paper, we prove that the Stein shrinkage estimator for the mean and variance dominates over the sample mean and variance estimators in the presence of adversarial attacks when modeling these attacks using sub-Gaussian distributions. This facilitates and justifies the application of Stein shrinkage to estimate the mean and variance parameters in BN and use it in image classification (segmentation) tasks with and without adversarial attacks. We present SOTA performance results using this Stein corrected batch norm in a standard ResNet architecture applied to the task of image classification using CIFAR-10 data, 3D CNN on PPMI (neuroimaging) data and image segmentation using HRNet on Cityscape data with and without adversarial attacks.
• Abstract（参考訳）: バッチ正規化(BN)は、ディープニューラルネットワークにおいて、主にネットワークトレーニング中に安定性と正規化を達成するために使われるユビキタスな操作である。 BNは、それぞれサンプル平均と分散を用いた特徴写像中心とスケーリングを含む。 これらの統計はバッチ内の特徴写像全体で推定されているため、この問題はスタインの縮退推定の適用に理想的であり、平均二乗誤差の意味では、バッチの平均と分散の推定がより良くなる。 本稿では, 準ガウス分布を用いた攻撃のモデル化において, サンプル平均および分散平均に対するスタイン収縮推定器が, 対角攻撃の存在下では, 分散推定器が支配的であることを証明した。 これにより、BNにおける平均および分散パラメータを推定し、敵対的攻撃を伴わない画像分類(セグメンテーション)タスクで使用するために、スタイン収縮の適用を容易にし、正当化することができる。 本稿では,CIFAR-10データを用いた画像分類のタスクに適用した標準ResNetアーキテクチャにおいて,このStein修正バッチノルムを用いたSOTA性能結果,PPMIデータにおける3D CNN,およびCityscapeデータ上でのHRNetを用いた画像セグメンテーションについて述べる。

関連論文リスト

• Rethinking Image Histogram Matching for Image Classification [0.4951599300340954]
  畳み込みニューラルネットワークは、分類タスクにおいて顕著な成果を示した。 悪天候下で撮影された低コントラスト画像に対して、しばしば劣化した性能を示す。 本稿では、画像ヒストグラムマッチング(HM)を再考し、下流分類器のための微分可能パラメトリックHM前処理を提案する。
  論文  参考訳（メタデータ） (2025-06-02T06:09:12Z)
• Wasserstein distributional robustness of neural networks [9.79503506460041]
  ディープニューラルネットワークは敵攻撃(AA)に弱いことが知られている 画像認識タスクでは、元の小さな摂動によって画像が誤分類される可能性がある。 本稿では,Wassersteinの分散ロバスト最適化(DRO)技術を用いて問題を再検討し,新しいコントリビューションを得た。
  論文  参考訳（メタデータ） (2023-06-16T13:41:24Z)
• Stable Target Field for Reduced Variance Score Estimation in Diffusion Models [5.9115407007859755]
  拡散モデルは、固定された前方拡散過程を反転させてサンプルを生成する。 このような分散の源泉は、中間雑音分散スケールの取り扱いにあると論じる。 より安定したトレーニングターゲットとして重み付けされた条件スコアを計算するために使用する参照バッチを組み込むことにより、この問題を修復することを提案する。
  論文  参考訳（メタデータ） (2023-02-01T18:57:01Z)
• Patch-level Gaze Distribution Prediction for Gaze Following [49.93340533068501]
  トレーニング後の視線に対するパッチ分布予測(PDP)手法を提案する。 本モデルでは,アノテーションの差が大きい画像上でのより優れたヒートマップ分布を予測することにより,MSE損失の正則化を図っている。 実験により,ターゲット予測とイン/アウト予測サブタスクのギャップを埋めるモデルが得られた。
  論文  参考訳（メタデータ） (2022-11-20T19:25:15Z)
• Wasserstein Iterative Networks for Barycenter Estimation [80.23810439485078]
  生成モデルを用いて連続測度のワッサーシュタイン2バリセンターを近似するアルゴリズムを提案する。 有名人の顔のデータセットに基づいて、バリセンタアルゴリズムの定量的評価に使用できるAve, celeba!データセットを構築した。
  論文  参考訳（メタデータ） (2022-01-28T16:59:47Z)
• Test-time Batch Statistics Calibration for Covariate Shift [66.7044675981449]
  我々は,推論中に深層モデルを新しい環境に適応させることを提案する。 バッチ統計の校正に$alpha$-BNの一般的な定式化を提案する。 また、統合テスト時間適応フレームワークCoreを形成するための新しい損失関数も提示する。
  論文  参考訳（メタデータ） (2021-10-06T08:45:03Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)
• Bayesian Neural Network via Stochastic Gradient Descent [0.0]
  本稿では,勾配推定手法を用いてベイズニューラルネットワークに勾配推定を適用する方法を示す。 我々の研究はベイジアンニューラルネットワークを用いた回帰手法のこれまでの状況を大きく上回っている。
  論文  参考訳（メタデータ） (2020-06-04T18:33:59Z)
• TraDE: Transformers for Density Estimation [101.20137732920718]
  TraDEは自己回帰密度推定のための自己アテンションに基づくアーキテクチャである。 本稿では, 生成したサンプルを用いた回帰, 分布外検出, トレーニングデータにおける雑音に対する頑健性などのタスクについて述べる。
  論文  参考訳（メタデータ） (2020-04-06T07:32:51Z)
• Cross-Iteration Batch Normalization [67.83430009388678]
  本稿では,CBN(Cross-It Batch Normalization)を提案する。 CBNは、提案した補償手法を使わずに、元のバッチ正規化と過去の繰り返しの統計の直接計算より優れていた。
  論文  参考訳（メタデータ） (2020-02-13T18:52:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。