論文の概要: A Novel Noise Injection-based Training Scheme for Better Model Robustness

• arxiv url: http://arxiv.org/abs/2302.10802v2
• Date: Mon, 29 May 2023 04:43:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-31 01:27:48.974610
• Title: A Novel Noise Injection-based Training Scheme for Better Model Robustness
• Title（参考訳）: モデルロバスト性向上のための新しいノイズ注入型トレーニングスキーム
• Authors: Zeliang Zhang, Jinyang Jiang, Minjie Chen, Zhiyuan Wang, Yijie Peng, Zhaofei Yu
• Abstract要約: ノイズインジェクションに基づく手法は、人工ニューラルネットワークの堅牢性を向上させることができることが示されている。 本研究では,より優れたモデルロバスト性を実現するための新しいノイズ注入型トレーニング手法を提案する。 実験結果から,提案手法は対向的ロバスト性において性能が向上し,元の精度では若干性能が向上することがわかった。
• 参考スコア（独自算出の注目度）: 9.749718440407811
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Noise injection-based method has been shown to be able to improve the robustness of artificial neural networks in previous work. In this work, we propose a novel noise injection-based training scheme for better model robustness. Specifically, we first develop a likelihood ratio method to estimate the gradient with respect to both synaptic weights and noise levels for stochastic gradient descent training. Then, we design an approximation for the vanilla noise injection-based training method to reduce memory and improve computational efficiency. Next, we apply our proposed scheme to spiking neural networks and evaluate the performance of classification accuracy and robustness on MNIST and Fashion-MNIST datasets. Experiment results show that our proposed method achieves a much better performance on adversarial robustness and slightly better performance on original accuracy, compared with the conventional gradient-based training method.
• Abstract（参考訳）: ノイズインジェクションに基づく手法は, 従来の研究において, 人工ニューラルネットワークの堅牢性を向上できることが示されている。 本研究では,モデルロバスト性向上のための新しいノイズ注入方式を提案する。 具体的には,まず,確率的勾配降下訓練において,シナプス重みと雑音レベルの両方について勾配を推定する確率比法を考案する。 そして,バニラノイズ注入に基づく学習手法の近似を設計し,メモリ削減と計算効率の向上を図る。 次に,提案手法をスパイキングニューラルネットワークに適用し,mnistおよびファッションmnistデータセットの分類精度とロバスト性を評価する。 実験結果から,本手法は従来の勾配学習法と比較して,対向的強靭性よりも性能が向上し,元の精度も若干向上していることがわかった。

関連論文リスト

• A lifted Bregman strategy for training unfolded proximal neural network Gaussian denoisers [8.343594411714934]
  屈曲した近位ニューラルネットワーク(PNN)は、深層学習と近位最適化のアプローチを組み合わせた一連の手法である。 展開されたPNNに対するBregman距離に基づく揚力トレーニングの定式化を提案する。 画像復調の数値シミュレーションにより,提案したPNNのトレーニング手法の挙動を評価する。
  論文  参考訳（メタデータ） (2024-08-16T13:41:34Z)
• Bayesian Deep Learning for Remaining Useful Life Estimation via Stein Variational Gradient Descent [14.784809634505903]
  本研究では,スタイン変分勾配勾配を用いたベイズ学習モデルが収束速度と予測性能に対して一貫して優れていたことを示す。 ベイズモデルが提供する不確実性情報に基づく性能向上手法を提案する。
  論文  参考訳（メタデータ） (2024-02-02T02:21:06Z)
• Not All Steps are Equal: Efficient Generation with Progressive Diffusion Models [62.155612146799314]
  ステップ適応トレーニングと呼ばれる新しい2段階のトレーニング戦略を提案する。 初期段階では、ベース・デノナイジング・モデルはすべてのタイムステップを包含するように訓練される。 タイムステップを別々のグループに分割し、各グループ内でモデルを微調整して、特殊な認知機能を実現します。
  論文  参考訳（メタデータ） (2023-12-20T03:32:58Z)
• An efficient likelihood-free Bayesian inference method based on sequential neural posterior estimation [0.6749750044497732]
  SNPE技術はニューラルネットワークに基づく条件密度推定器を用いて逐次シミュレーションから後部を学習する。 SNPE法は、キャリブレーションカーネルを用いて観測データの周囲のサンプル重量を増大させ、集中的な損失関数をもたらす。 本稿では,適応キャリブレーションカーネルと分散低減技術を用いてSNPEの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-11-21T11:21:53Z)
• Adam-family Methods for Nonsmooth Optimization with Convergence Guarantees [5.69991777684143]
  本稿では,2段階の更新方式を採用した新しい2段階のフレームワークを提案し,その収束特性を軽度な仮定で証明する。 提案するフレームワークは,様々なAdamファミリー方式を包含し,非平滑ニューラルネットワークのトレーニングにおいて,これらの手法の収束保証を提供する。 我々は,重み付き雑音を伴う非平滑ニューラルネットワークのトレーニングにクリッピング手法を取り入れた段階的手法を開発した。
  論文  参考訳（メタデータ） (2023-05-06T05:35:56Z)
• Low-Resource Music Genre Classification with Cross-Modal Neural Model Reprogramming [129.4950757742912]
  ニューラルモデル再プログラミング(NMR)の概念に基づく低リソース(音楽)分類のための事前学習モデルを活用する新しい手法を提案する。 NMRは、凍結した事前学習モデルの入力を変更することにより、ソースドメインからターゲットドメインへの事前学習モデルの再取得を目指している。 実験結果から,大規模データセットに事前学習したニューラルモデルは,この再プログラミング手法を用いて,音楽ジャンルの分類に成功できることが示唆された。
  論文  参考訳（メタデータ） (2022-11-02T17:38:33Z)
• Noise Optimization for Artificial Neural Networks [0.973490996330539]
  本稿では,ANNの各ニューロンに付加されるガウス雑音の標準偏差に対する経路勾配推定法を提案する。 数値実験により, 提案手法は, 一般的なANN構造のロバスト性において, 大幅な性能向上を実現することができる。
  論文  参考訳（メタデータ） (2021-02-06T08:30:20Z)
• A Simple Fine-tuning Is All You Need: Towards Robust Deep Learning Via Adversarial Fine-tuning [90.44219200633286]
  我々は,$textitslow start, fast decay$ learning rate schedulingストラテジーに基づく,単純かつ非常に効果的な敵の微調整手法を提案する。 実験の結果,提案手法はCIFAR-10, CIFAR-100, ImageNetデータセットの最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-12-25T20:50:15Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)
• Rectified Meta-Learning from Noisy Labels for Robust Image-based Plant Disease Diagnosis [64.82680813427054]
  植物病は食料安全保障と作物生産に対する主要な脅威の1つである。 1つの一般的なアプローチは、葉画像分類タスクとしてこの問題を変換し、強力な畳み込みニューラルネットワーク(CNN)によって対処できる。 本稿では,正規化メタ学習モジュールを共通CNNパラダイムに組み込んだ新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-17T09:51:30Z)
• CAT: Customized Adversarial Training for Improved Robustness [142.3480998034692]
  そこで我々は,各トレーニングサンプルに対して,摂動レベルと対応するラベルを適応的にカスタマイズする,Customized Adversarial Training (CAT) という新しいアルゴリズムを提案する。 提案アルゴリズムは,従来の逆行訓練法よりもクリーンでロバストな精度が得られることを示す。
  論文  参考訳（メタデータ） (2020-02-17T06:13:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。