論文の概要: A Novel Noise Injection-based Training Scheme for Better Model
Robustness
- arxiv url: http://arxiv.org/abs/2302.10802v1
- Date: Fri, 17 Feb 2023 02:50:25 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-22 14:26:45.108602
- Title: A Novel Noise Injection-based Training Scheme for Better Model
Robustness
- Title(参考訳): モデルロバスト性向上のための新しいノイズ注入型トレーニングスキーム
- Authors: Zeliang Zhang, Jinyang Jiang, Minjie Chen, Zhiyuan Wang, Yijie Peng,
Zhaofei Yu
- Abstract要約: ノイズインジェクションに基づく手法は、人工ニューラルネットワークの堅牢性を向上させることができることが示されている。
本研究では,より優れたモデルロバスト性を実現するための新しいノイズ注入型トレーニング手法を提案する。
実験結果から,提案手法は対向的ロバスト性において性能が向上し,元の精度では若干性能が向上することがわかった。
- 参考スコア(独自算出の注目度): 9.749718440407811
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Noise injection-based method has been shown to be able to improve the
robustness of artificial neural networks in previous work. In this work, we
propose a novel noise injection-based training scheme for better model
robustness. Specifically, we first develop a likelihood ratio method to
estimate the gradient with respect to both synaptic weights and noise levels
for stochastic gradient descent training. Then, we design an approximation for
the vanilla noise injection-based training method to reduce memory and improve
computational efficiency. Next, we apply our proposed scheme to spiking neural
networks and evaluate the performance of classification accuracy and robustness
on MNIST and Fashion-MNIST datasets. Experiment results show that our proposed
method achieves a much better performance on adversarial robustness and
slightly better performance on original accuracy, compared with the
conventional gradient-based training method.
- Abstract(参考訳): ノイズインジェクションに基づく手法は, 従来の研究において, 人工ニューラルネットワークの堅牢性を向上できることが示されている。
本研究では,モデルロバスト性向上のための新しいノイズ注入方式を提案する。
具体的には,まず,確率的勾配降下訓練において,シナプス重みと雑音レベルの両方について勾配を推定する確率比法を考案する。
そして,バニラノイズ注入に基づく学習手法の近似を設計し,メモリ削減と計算効率の向上を図る。
次に,提案手法をスパイキングニューラルネットワークに適用し,mnistおよびファッションmnistデータセットの分類精度とロバスト性を評価する。
実験結果から,本手法は従来の勾配学習法と比較して,対向的強靭性よりも性能が向上し,元の精度も若干向上していることがわかった。
関連論文リスト
- Bayesian Deep Learning for Remaining Useful Life Estimation via Stein
Variational Gradient Descent [14.784809634505903]
本研究では,スタイン変分勾配勾配を用いたベイズ学習モデルが収束速度と予測性能に対して一貫して優れていたことを示す。
ベイズモデルが提供する不確実性情報に基づく性能向上手法を提案する。
論文 参考訳(メタデータ) (2024-02-02T02:21:06Z) - Robust Neural Pruning with Gradient Sampling Optimization for Residual
Neural Networks [0.0]
本研究は, 採粒過程におけるStochGradAdamと同様の勾配サンプリング技術の適用に焦点を当てた。
実験により, 従来の最適化手法と比較して, 勾配サンプリング法により最適化されたモデルの方が, 刈り込み時の精度を保つのに有効であることが判明した。
計算資源の制約のある環境においても,精度を損なうことなく効率の良いニューラルネットワークを構築するための有望な方向性が示唆された。
論文 参考訳(メタデータ) (2023-12-26T12:19:22Z) - Not All Steps are Equal: Efficient Generation with Progressive Diffusion
Models [62.155612146799314]
ステップ適応トレーニングと呼ばれる新しい2段階のトレーニング戦略を提案する。
初期段階では、ベース・デノナイジング・モデルはすべてのタイムステップを包含するように訓練される。
タイムステップを別々のグループに分割し、各グループ内でモデルを微調整して、特殊な認知機能を実現します。
論文 参考訳(メタデータ) (2023-12-20T03:32:58Z) - Debias the Training of Diffusion Models [53.49637348771626]
本研究では,拡散モデルにおいて一定の損失重み戦略を用いることで,トレーニング期間中に偏りが生じるという理論的証拠を提供する。
理論的に偏りのない原理に基づくエレガントで効果的な重み付け戦略を提案する。
これらの分析は、拡散モデルの内部動作の理解とデミステレーションを促進することが期待されている。
論文 参考訳(メタデータ) (2023-10-12T16:04:41Z) - Adam-family Methods for Nonsmooth Optimization with Convergence
Guarantees [5.69991777684143]
本稿では,2段階の更新方式を採用した新しい2段階のフレームワークを提案し,その収束特性を軽度な仮定で証明する。
提案するフレームワークは,様々なAdamファミリー方式を包含し,非平滑ニューラルネットワークのトレーニングにおいて,これらの手法の収束保証を提供する。
我々は,重み付き雑音を伴う非平滑ニューラルネットワークのトレーニングにクリッピング手法を取り入れた段階的手法を開発した。
論文 参考訳(メタデータ) (2023-05-06T05:35:56Z) - Training neural networks with structured noise improves classification
and generalization [0.0]
ノイズの多いトレーニングデータに構造を追加することで,アルゴリズムの性能が大幅に向上することを示す。
最適雑音データのサンプリング手法を提案し, 学習法とヘビアンアンアンラーニング法の両方より優れているように実装した。
論文 参考訳(メタデータ) (2023-02-26T22:10:23Z) - Low-Resource Music Genre Classification with Cross-Modal Neural Model
Reprogramming [129.4950757742912]
ニューラルモデル再プログラミング(NMR)の概念に基づく低リソース(音楽)分類のための事前学習モデルを活用する新しい手法を提案する。
NMRは、凍結した事前学習モデルの入力を変更することにより、ソースドメインからターゲットドメインへの事前学習モデルの再取得を目指している。
実験結果から,大規模データセットに事前学習したニューラルモデルは,この再プログラミング手法を用いて,音楽ジャンルの分類に成功できることが示唆された。
論文 参考訳(メタデータ) (2022-11-02T17:38:33Z) - Noise Optimization for Artificial Neural Networks [0.973490996330539]
本稿では,ANNの各ニューロンに付加されるガウス雑音の標準偏差に対する経路勾配推定法を提案する。
数値実験により, 提案手法は, 一般的なANN構造のロバスト性において, 大幅な性能向上を実現することができる。
論文 参考訳(メタデータ) (2021-02-06T08:30:20Z) - Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。
本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文 参考訳(メタデータ) (2020-06-10T08:22:41Z) - Rectified Meta-Learning from Noisy Labels for Robust Image-based Plant
Disease Diagnosis [64.82680813427054]
植物病は食料安全保障と作物生産に対する主要な脅威の1つである。
1つの一般的なアプローチは、葉画像分類タスクとしてこの問題を変換し、強力な畳み込みニューラルネットワーク(CNN)によって対処できる。
本稿では,正規化メタ学習モジュールを共通CNNパラダイムに組み込んだ新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2020-03-17T09:51:30Z) - CAT: Customized Adversarial Training for Improved Robustness [142.3480998034692]
そこで我々は,各トレーニングサンプルに対して,摂動レベルと対応するラベルを適応的にカスタマイズする,Customized Adversarial Training (CAT) という新しいアルゴリズムを提案する。
提案アルゴリズムは,従来の逆行訓練法よりもクリーンでロバストな精度が得られることを示す。
論文 参考訳(メタデータ) (2020-02-17T06:13:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。