論文の概要: S2O: Enhancing Adversarial Training with Second-Order Statistics of Weights

• arxiv url: http://arxiv.org/abs/2603.01264v1
• Date: Sun, 01 Mar 2026 20:43:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-03 19:50:56.596246
• Title: S2O: Enhancing Adversarial Training with Second-Order Statistics of Weights
• Title（参考訳）: S2O:2次重み統計を用いた対人訓練の強化
• Authors: Gaojie Jin, Xinping Yi, Wei Huang, Sven Schewe, Xiaowei Huang,
• Abstract要約: ディープニューラルネットワーク(DNN)の堅牢性を改善するための高い効果的な方法として、敵対的トレーニングが登場した モデル重みをランダム変数として扱うことで、モデル重みに対するtextbfSecond-Order textbfStatistics textbfOptimization (S$2$O) を通じて、逆トレーニングを強化する方法を提案する。
• 参考スコア（独自算出の注目度）: 35.498282146879376
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adversarial training has emerged as a highly effective way to improve the robustness of deep neural networks (DNNs). It is typically conceptualized as a min-max optimization problem over model weights and adversarial perturbations, where the weights are optimized using gradient descent methods, such as SGD. In this paper, we propose a novel approach by treating model weights as random variables, which paves the way for enhancing adversarial training through \textbf{S}econd-Order \textbf{S}tatistics \textbf{O}ptimization (S$^2$O) over model weights. We challenge and relax a prevalent, yet often unrealistic, assumption in prior PAC-Bayesian frameworks: the statistical independence of weights. From this relaxation, we derive an improved PAC-Bayesian robust generalization bound. Our theoretical developments suggest that optimizing the second-order statistics of weights can substantially tighten this bound. We complement this theoretical insight by conducting an extensive set of experiments that demonstrate that S$^2$O not only enhances the robustness and generalization of neural networks when used in isolation, but also seamlessly augments other state-of-the-art adversarial training techniques. The code is available at https://github.com/Alexkael/S2O.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)の堅牢性を改善するための、非常に効果的な方法として、敵対的なトレーニングが登場した。 典型的には、モデル重みと逆方向の摂動に対する min-max 最適化問題として概念化され、SGD のような勾配降下法を用いて重みを最適化する。 本稿では,モデル重みをランダム変数として扱うことによって,モデル重みに対するtextbf{S}econd-Order \textbf{S}tatistics \textbf{O}ptimization (S$^2$O) を通じて,対向的トレーニングを強化する手法を提案する。 我々は、以前のPAC-ベイジアンフレームワークにおける一般的な、しかししばしば非現実的な仮定、すなわち重みの統計的独立に挑戦し、緩和する。 この緩和から、改良されたPAC-ベイジアンロバスト一般化境界を導出する。 我々の理論的発展は、重みの2階統計を最適化することは、この境界を著しく締め付けることができることを示唆している。 我々は、S$^2$Oが、孤立時にニューラルネットワークの堅牢性と一般化を高めるだけでなく、他の最先端の対人訓練技術をシームレスに強化することを示す広範な実験を行うことで、この理論的な洞察を補完する。 コードはhttps://github.com/Alexkael/S2Oで公開されている。

関連論文リスト

• Convergence and Sketching-Based Efficient Computation of Neural Tangent Kernel Weights in Physics-Based Loss [0.0]
  適応的 NTK 重みによる勾配勾配の上昇は,適切な意味で収束することを示す。 次に,予測器-相関器アプローチと行列スケッチに着想を得たランダム化アルゴリズムを開発することにより,計算効率の問題に対処する。
  論文  参考訳（メタデータ） (2025-11-19T15:29:42Z)
• Doubly Robust Instance-Reweighted Adversarial Training [107.40683655362285]
  本稿では,2重のインスタンス再重み付き対向フレームワークを提案する。 KL偏差正規化損失関数の最適化により重みを求める。 提案手法は, 平均ロバスト性能において, 最先端のベースライン法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-08-01T06:16:18Z)
• Towards a Better Theoretical Understanding of Independent Subnetwork Training [56.24689348875711]
  独立サブネットワークトレーニング(IST)の理論的考察 ISTは、上記の問題を解決するための、最近提案され、非常に効果的である。 圧縮通信を用いた分散手法など,ISTと代替手法の基本的な違いを同定する。
  論文  参考訳（メタデータ） (2023-06-28T18:14:22Z)
• TWINS: A Fine-Tuning Framework for Improved Transferability of Adversarial Robustness and Generalization [89.54947228958494]
  本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。 本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。 TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
  論文  参考訳（メタデータ） (2023-03-20T14:12:55Z)
• Distributed Adversarial Training to Robustify Deep Neural Networks at Scale [100.19539096465101]
  現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。 このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。 複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-13T15:39:43Z)
• Enhancing Adversarial Training with Second-Order Statistics of Weights [23.90998469971413]
  モデル重みをランダム変数として扱うことにより,textbfSecond-Order textbfStatistics textbfOptimization による逆トレーニングの強化が可能であることを示す。 我々は、S$2$Oが、単独で使用する場合のトレーニングニューラルネットワークの堅牢性と一般化を向上するだけでなく、最先端の対人訓練技術にも容易に統合できることを示す広範な実験を行う。
  論文  参考訳（メタデータ） (2022-03-11T15:40:57Z)
• Powerpropagation: A sparsity inducing weight reparameterisation [65.85142037667065]
  我々は、本質的にスパースモデルにつながるニューラルネットワークの新しい重みパラメータ化であるPowerpropagationを紹介した。 この方法で訓練されたモデルは同様の性能を示すが、0で明らかに高い密度の分布を持ち、より多くのパラメータを安全に刈り取ることができる。 ここでは、Powerpropagationと従来のウェイトプルーニング技術と、最近の最先端スパース・トゥ・スパースアルゴリズムを組み合わせることで、ImageNetベンチマークで優れたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2021-10-01T10:03:57Z)
• Second Order Optimization for Adversarial Robustness and Interpretability [6.700873164609009]
  本稿では,2次近似による第1次及び第2次情報を対向損失に組み込んだ新しい正則化器を提案する。 正規化器における1つの繰り返しのみを用いることで、先行勾配や曲率正規化よりも強い強靭性が得られることが示されている。 それは、ネットワークが人間の知覚によく適合する機能を学ぶという、ATの興味深い側面を保っている。
  論文  参考訳（メタデータ） (2020-09-10T15:05:14Z)
• Training Sparse Neural Networks using Compressed Sensing [13.84396596420605]
  本研究では,プレニングとトレーニングを1ステップに組み合わせた圧縮センシングに基づく新しい手法の開発と試験を行う。 具体的には、トレーニング中の重みを適応的に重み付けした$ell1$のペナルティを利用して、スパースニューラルネットワークをトレーニングするために、正規化二重平均化(RDA)アルゴリズムの一般化と組み合わせる。
  論文  参考訳（メタデータ） (2020-08-21T19:35:54Z)
• Improved Adversarial Training via Learned Optimizer [101.38877975769198]
  対戦型トレーニングモデルの堅牢性を改善するための枠組みを提案する。 共学習のパラメータモデルの重み付けにより、提案するフレームワークは、更新方向に対するロバスト性とステップの適応性を一貫して改善する。
  論文  参考訳（メタデータ） (2020-04-25T20:15:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。