論文の概要: Improving robustness to corruptions with multiplicative weight perturbations

• arxiv url: http://arxiv.org/abs/2406.16540v2
• Date: Sat, 19 Oct 2024 08:12:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:14:24.603536
• Title: Improving robustness to corruptions with multiplicative weight perturbations
• Title（参考訳）: 乗法的重み摂動による汚損に対するロバスト性の改善
• Authors: Trung Trinh, Markus Heinonen, Luigi Acerbi, Samuel Kaski,
• Abstract要約: クリーン画像の精度を損なうことなく、広範囲の汚職に対してDNNの堅牢性を向上する代替手法を提案する。 まず、重み空間における乗法的摂動によって入力摂動が模倣できることを示す。 また,最近提案されたAdaptive Sharpness-Aware Minimization (ASAM) について検討し,逆乗法重み摂動下でのDNNの最適化を示す。
• 参考スコア（独自算出の注目度）: 29.880029851866272
• License:
• Abstract: Deep neural networks (DNNs) excel on clean images but struggle with corrupted ones. Incorporating specific corruptions into the data augmentation pipeline can improve robustness to those corruptions but may harm performance on clean images and other types of distortion. In this paper, we introduce an alternative approach that improves the robustness of DNNs to a wide range of corruptions without compromising accuracy on clean images. We first demonstrate that input perturbations can be mimicked by multiplicative perturbations in the weight space. Leveraging this, we propose Data Augmentation via Multiplicative Perturbation (DAMP), a training method that optimizes DNNs under random multiplicative weight perturbations. We also examine the recently proposed Adaptive Sharpness-Aware Minimization (ASAM) and show that it optimizes DNNs under adversarial multiplicative weight perturbations. Experiments on image classification datasets (CIFAR-10/100, TinyImageNet and ImageNet) and neural network architectures (ResNet50, ViT-S/16, ViT-B/16) show that DAMP enhances model generalization performance in the presence of corruptions across different settings. Notably, DAMP is able to train a ViT-S/16 on ImageNet from scratch, reaching the top-1 error of 23.7% which is comparable to ResNet50 without extensive data augmentations.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)はクリーンなイメージに優れるが、破損したイメージに苦しむ。 データ拡張パイプラインに特定の汚職を組み込むことで、それらの汚職に対する堅牢性を向上させることができるが、クリーンな画像やその他の歪みに対するパフォーマンスを損なう可能性がある。 本稿では、クリーン画像の精度を損なうことなく、広範囲の汚職に対してDNNの堅牢性を向上する代替手法を提案する。 まず、重み空間における乗法的摂動によって入力摂動が模倣できることを示す。 これを活用することで、ランダムな乗法重摂動の下でDNNを最適化する訓練手法であるMultiplicative Perturbation (DAMP) によるデータ拡張を提案する。 また,最近提案されたAdaptive Sharpness-Aware Minimization (ASAM) について検討し,逆乗法重み摂動下でのDNNの最適化を示す。 画像分類データセット(CIFAR-10/100、TinyImageNet、ImageNet)とニューラルネットワークアーキテクチャ(ResNet50、ViT-S/16、ViT-B/16)の実験により、DAMPは異なる設定にわたる汚職の存在下でモデル一般化性能を向上させることが示された。 特に、DAMPはImageNet上でViT-S/16をスクラッチからトレーニングすることができ、データ拡張なしでResNet50に匹敵するトップ1エラーの23.7%に達した。

関連論文リスト

• DARDA: Domain-Aware Real-Time Dynamic Neural Network Adaptation [8.339630468077713]
  TTA(Test Time Adaptation)は、入力に影響を及ぼす破損やノイズの存在下でのディープニューラルネットワーク(DNN)の性能劣化を軽減するための実用的なソリューションとして登場した。 このような問題に対処するためにドメイン対応リアルタイム動的適応(DARDA)を提案する。
  論文  参考訳（メタデータ） (2024-09-15T14:49:30Z)
• Dynamic Batch Norm Statistics Update for Natural Robustness [5.366500153474747]
  本稿では,汚職検出モデルとBN統計更新からなる統合フレームワークを提案する。 CIFAR10-CとImageNet-Cの精度は8%, 4%向上した。
  論文  参考訳（メタデータ） (2023-10-31T17:20:30Z)
• Classification robustness to common optical aberrations [64.08840063305313]
  本稿では,現実的かつ実用的な光ぼけ効果に対するロバスト性を調べるためのベンチマークである OpticsBench を提案する。 ImageNetの実験では、様々な訓練済みのDNNに対して、ディスク形状のカーネルと比較して、パフォーマンスが強いことが示されている。 我々は,光カーネルをデータ拡張として使用することにより,拡張可能なImageNet-100について述べる。
  論文  参考訳（メタデータ） (2023-08-29T08:36:00Z)
• N2V2 -- Fixing Noise2Void Checkerboard Artifacts with Modified Sampling Strategies and a Tweaked Network Architecture [66.03918859810022]
  我々は,バニラN2V装置に2つの改良を加えて,不要なアーティファクトを大幅に削減する。 我々は、顕微鏡および自然画像データに基づいて、その修正を検証した。
  論文  参考訳（メタデータ） (2022-11-15T21:12:09Z)
• Corrupted Image Modeling for Self-Supervised Visual Pre-Training [103.99311611776697]
  自己教師型視覚前訓練のためのCIM(Corrupted Image Modeling)を提案する。 CIMは、小さなトレーニング可能なBEiTを備えた補助発電機を使用して、人工マスクトークンを使用する代わりに入力イメージを破損させる。 事前トレーニング後、エンハンサーは下流タスク用の高容量ビジュアルエンコーダとして使用できる。
  論文  参考訳（メタデータ） (2022-02-07T17:59:04Z)
• When Vision Transformers Outperform ResNets without Pretraining or Strong Data Augmentations [111.44860506703307]
  Vision Transformer (ViTs) と既存のVisionNetsは、ハンドワイヤ機能やインダクティブスループットを汎用神経アーキテクチャに置き換えようとしている。 本稿では、損失幾何学のレンズからViTとRes-Mixersを解析し、トレーニングおよび推論時のモデルのデータ効率を改善することを目的とする。 最初の数層では、スペーサー活動ニューロンの頑健性が改善していることが示されている。 その結果、ViTsは、大規模な事前トレーニングや強力なデータ拡張なしに、ImageNet上でスクラッチからトレーニングした時に、同様のサイズと滑らかさのネットより優れています。
  論文  参考訳（メタデータ） (2021-06-03T02:08:03Z)
• Improving robustness against common corruptions with frequency biased models [112.65717928060195]
  目に見えない画像の腐敗は 驚くほど大きなパフォーマンス低下を引き起こします 画像の破損タイプは周波数スペクトルで異なる特性を持ち、ターゲットタイプのデータ拡張の恩恵を受けます。 畳み込み特徴マップの総変動(TV)を最小限に抑え、高周波堅牢性を高める新しい正規化方式を提案する。
  論文  参考訳（メタデータ） (2021-03-30T10:44:50Z)
• Glance and Focus: a Dynamic Approach to Reducing Spatial Redundancy in Image Classification [46.885260723836865]
  ディープ畳み込みニューラルネットワーク (Deep Convolutional Neural Network, CNN) は、高解像度画像で処理することで一般的に改善される。 画像中のすべての領域がタスク関連であるとは限らないという事実に着想を得て,効率的な画像分類を行う新しいフレームワークを提案する。 我々のフレームワークは、最先端の軽量CNNの多くと互換性があり、汎用的で柔軟です。
  論文  参考訳（メタデータ） (2020-10-11T17:55:06Z)
• Revisiting Batch Normalization for Improving Corruption Robustness [85.20742045853738]
  モデルロバスト性を改善するために, モデルロバスト性を改善するために, バッチ正規化統計の修正を提案する。 モデルを再トレーニングすることなく、BN統計をいくつかの表現サンプル上で単純に推定し、適応させることで、大きなマージンによる腐敗の堅牢性を向上させることが判明した。
  論文  参考訳（メタデータ） (2020-10-07T19:56:47Z)
• A simple way to make neural networks robust against diverse image corruptions [29.225922892332342]
  加法ガウスノイズとスペククルノイズを用いた簡易だが適切に調整されたトレーニングが、予期せぬ汚職に対して驚くほどうまく一般化することを示す。 非相関な最悪の雑音に対する認識モデルの逆トレーニングは、さらなる性能向上につながる。
  論文  参考訳（メタデータ） (2020-01-16T20:10:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。