論文の概要: Towards Understanding Dual BN In Hybrid Adversarial Training

• arxiv url: http://arxiv.org/abs/2403.19150v1
• Date: Thu, 28 Mar 2024 05:08:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-29 17:12:54.395283
• Title: Towards Understanding Dual BN In Hybrid Adversarial Training
• Title（参考訳）: ハイブリッド教育における双対BNの理解に向けて
• Authors: Chenshuang Zhang, Chaoning Zhang, Kang Zhang, Axi Niu, Junmo Kim, In So Kweon,
• Abstract要約: モデルトレーニングにおけるアフィンパラメータのアンタングリングよりも,アンタングリング統計がより少ない役割を担っていることを示す。 本稿では,ハイブリッドAT改善のための実証的基礎と統一的なフレームワークとして機能する2タスク仮説を提案する。
• 参考スコア（独自算出の注目度）: 79.92394747290905
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: There is a growing concern about applying batch normalization (BN) in adversarial training (AT), especially when the model is trained on both adversarial samples and clean samples (termed Hybrid-AT). With the assumption that adversarial and clean samples are from two different domains, a common practice in prior works is to adopt Dual BN, where BN and BN are used for adversarial and clean branches, respectively. A popular belief for motivating Dual BN is that estimating normalization statistics of this mixture distribution is challenging and thus disentangling it for normalization achieves stronger robustness. In contrast to this belief, we reveal that disentangling statistics plays a less role than disentangling affine parameters in model training. This finding aligns with prior work (Rebuffi et al., 2023), and we build upon their research for further investigations. We demonstrate that the domain gap between adversarial and clean samples is not very large, which is counter-intuitive considering the significant influence of adversarial perturbation on the model accuracy. We further propose a two-task hypothesis which serves as the empirical foundation and a unified framework for Hybrid-AT improvement. We also investigate Dual BN in test-time and reveal that affine parameters characterize the robustness during inference. Overall, our work sheds new light on understanding the mechanism of Dual BN in Hybrid-AT and its underlying justification.
• Abstract（参考訳）: バッチ正規化(BN)を相手のトレーニング(AT)に適用すること,特にモデルが敵のサンプルとクリーンなサンプル(ハイブリッド-AT)の両方でトレーニングされている場合,懸念が高まっている。 逆検体とクリーン検体が2つの異なる領域から来ていると仮定すると、先行研究において、BN と BN をそれぞれ逆検体とクリーン検体に使用する Dual BN を採用するのが一般的である。 デュアルBNを動機づけるための一般的な信念は、この混合分布の正規化統計量の推定が困難であり、正規化のためにそれをアンタングすることは強い強靭性を達成するということである。 この信念とは対照的に、モデルトレーニングにおけるアフィンパラメータの解離よりも、解離統計が低い役割を担っていることを明らかにする。 この発見は, 先行研究(Rebuffi et al , 2023)と一致し, さらなる調査に向けた研究が進められている。 逆方向とクリーンなサンプル間の領域ギャップはそれほど大きくなく, モデル精度に対する逆方向の摂動の影響を考えると直感に反する。 さらに,ハイブリッドAT改善のための実証的基礎と統一的な枠組みとして機能する2タスク仮説を提案する。 また,テスト時間におけるDual BNについて検討し,アフィンパラメータが推論時のロバスト性を特徴付けることを明らかにした。 全体として、我々の研究は、Hybrid-ATにおけるDual BNのメカニズムとその基盤となる正当化の理解に新たな光を当てています。

関連論文リスト

• Towards Distribution-Agnostic Generalized Category Discovery [51.52673017664908]
  データ不均衡とオープンエンドの分布は、現実の視覚世界の本質的な特性である。 我々は,BaCon(Self-Balanced Co-Advice contrastive framework)を提案する。 BaConは、対照的な学習ブランチと擬似ラベルブランチで構成され、DA-GCDタスクを解決するためのインタラクティブな監視を提供するために協力して動作する。
  論文  参考訳（メタデータ） (2023-10-02T17:39:58Z)
• Explicit Tradeoffs between Adversarial and Natural Distributional Robustness [48.44639585732391]
  実際、モデルは信頼性を確保するために両方のタイプの堅牢さを享受する必要があります。 本研究では, 対角線と自然分布の強靭性の間には, 明らかなトレードオフが存在することを示す。
  論文  参考訳（メタデータ） (2022-09-15T19:58:01Z)
• Unifying Model Explainability and Robustness for Joint Text Classification and Rationale Extraction [11.878012909876713]
  そこで我々は,AT-BMCという共同分類と合理的抽出モデルを提案する。 混合逆行訓練(AT)は、モデルの堅牢性を改善するために離散的および埋め込み空間における様々な摂動を利用するように設計されており、境界マッチング制約(BMC)は境界情報のガイダンスによりより正確に有理性を見つけるのに役立つ。 ベンチマークデータセットのパフォーマンスは、提案されたAT-BMCが、大きなマージンによる分類と合理性抽出の両方のベースラインを上回っていることを示している。
  論文  参考訳（メタデータ） (2021-12-20T09:48:32Z)
• A Unified Framework for Multi-distribution Density Ratio Estimation [101.67420298343512]
  バイナリ密度比推定(DRE)は多くの最先端の機械学習アルゴリズムの基礎を提供する。 ブレグマン最小化の発散の観点から一般的な枠組みを開発する。 我々のフレームワークはバイナリDREでそれらのフレームワークを厳格に一般化する手法に導かれることを示す。
  論文  参考訳（メタデータ） (2021-12-07T01:23:20Z)
• Bridged Adversarial Training [6.925055322530057]
  また, 対向学習モデルでは, 類似した強靭性を示しても, マージンや滑らかさの点で, 著しく異なる特性を持つ可能性が示唆された。 本研究は, 異なる正則化剤の効果を考察し, 正則化剤がマージンを最大化する際の負の効果を見出した。 そこで本稿では, クリーンと逆の両例のギャップを埋めることにより, 負の効果を緩和するブリッジ・ディバイサル・トレーニングという新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-08-25T09:11:59Z)
• Double Forward Propagation for Memorized Batch Normalization [68.34268180871416]
  バッチ正規化(BN)は、ディープニューラルネットワーク(DNN)の設計における標準コンポーネントである。 より正確でロバストな統計値を得るために,複数の最近のバッチを考慮に入れた記憶型バッチ正規化(MBN)を提案する。 関連する手法と比較して、提案したMBNはトレーニングと推論の両方において一貫した振る舞いを示す。
  論文  参考訳（メタデータ） (2020-10-10T08:48:41Z)
• Blind Adversarial Pruning: Balance Accuracy, Efficiency and Robustness [3.039568795810294]
  本稿では, 段階的プルーニング過程において, 圧縮比が異なるプルーニングモデルのロバスト性について検討する。 次に、クリーンなデータと逆の例を段階的なプルーニングプロセスに混合する性能を検証し、逆プルーニング(英語版)と呼ぶ。 AERのバランスを改善するために,視覚的対位法(BAP)というアプローチを提案し,段階的対位法に視覚的対位法を取り入れた。
  論文  参考訳（メタデータ） (2020-04-10T02:27:48Z)
• An Investigation into the Stochasticity of Batch Whitening [95.54842420166862]
  本稿では,より一般的なBatch Whitening(BW)手術について検討する。 様々なホワイトニング変換が条件付けを同等に改善する一方で,識別シナリオやGAN(Generative Adrial Networks)のトレーニングにおいて,異なる挙動を示すことが示されている。 提案するBWアルゴリズムは、ImageNetversaityにおいて、残余ネットワークを著しく改善する。
  論文  参考訳（メタデータ） (2020-03-27T11:06:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。