論文の概要: Noise Optimization for Artificial Neural Networks

• arxiv url: http://arxiv.org/abs/2102.04450v1
• Date: Sat, 6 Feb 2021 08:30:20 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-10 22:16:26.968880
• Title: Noise Optimization for Artificial Neural Networks
• Title（参考訳）: 人工ニューラルネットワークのノイズ最適化
• Authors: Li Xiao, Zeliang Zhang, Yijie Peng
• Abstract要約: 本稿では,ANNの各ニューロンに付加されるガウス雑音の標準偏差に対する経路勾配推定法を提案する。 数値実験により, 提案手法は, 一般的なANN構造のロバスト性において, 大幅な性能向上を実現することができる。
• 参考スコア（独自算出の注目度）: 0.973490996330539
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Adding noises to artificial neural network(ANN) has been shown to be able to improve robustness in previous work. In this work, we propose a new technique to compute the pathwise stochastic gradient estimate with respect to the standard deviation of the Gaussian noise added to each neuron of the ANN. By our proposed technique, the gradient estimate with respect to noise levels is a byproduct of the backpropagation algorithm for estimating gradient with respect to synaptic weights in ANN. Thus, the noise level for each neuron can be optimized simultaneously in the processing of training the synaptic weights at nearly no extra computational cost. In numerical experiments, our proposed method can achieve significant performance improvement on robustness of several popular ANN structures under both black box and white box attacks tested in various computer vision datasets.
• Abstract（参考訳）: 人工ニューラルネットワーク(ANN)にノイズを加えることで、以前の研究で堅牢性が向上することが示されている。 本研究では,ANNの各ニューロンに付加されるガウス雑音の標準偏差に対して,パスワイズ確率勾配推定を計算するための新しい手法を提案する。 提案手法により, 騒音レベルに対する勾配推定は, ANN のシナプス重みに対する勾配を推定するためのバックプロパゲーションアルゴリズムの副産物である。 したがって、シナプス重みをほとんど計算コストなしで訓練する処理において、各ニューロンのノイズレベルを同時に最適化することができる。 提案手法は,様々なコンピュータビジョンデータセットでテストされたブラックボックスとホワイトボックスの両方の攻撃下で,いくつかの一般的なANN構造の堅牢性を大幅に向上させることができる。

関連論文リスト

• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• A Novel Noise Injection-based Training Scheme for Better Model Robustness [9.749718440407811]
  ノイズインジェクションに基づく手法は、人工ニューラルネットワークの堅牢性を向上させることができることが示されている。 本研究では,より優れたモデルロバスト性を実現するための新しいノイズ注入型トレーニング手法を提案する。 実験結果から,提案手法は対向的ロバスト性において性能が向上し,元の精度では若干性能が向上することがわかった。
  論文  参考訳（メタデータ） (2023-02-17T02:50:25Z)
• AskewSGD : An Annealed interval-constrained Optimisation method to train Quantized Neural Networks [12.229154524476405]
  我々は、深層ニューラルネットワーク(DNN)を量子化重みでトレーニングするための新しいアルゴリズム、Annealed Skewed SGD - AskewSGDを開発した。 アクティブなセットと実行可能な方向を持つアルゴリズムとは異なり、AskewSGDは実行可能な全セットの下でのプロジェクションや最適化を避けている。 実験結果から,AskewSGDアルゴリズムは古典的ベンチマークの手法と同等以上の性能を示した。
  論文  参考訳（メタデータ） (2022-11-07T18:13:44Z)
• NerfingMVS: Guided Optimization of Neural Radiance Fields for Indoor Multi-view Stereo [97.07453889070574]
  本稿では,従来のSfM再構成と学習に基づく先行手法を併用した多視点深度推定手法を提案する。 提案手法は室内シーンにおける最先端手法を著しく上回ることを示す。
  論文  参考訳（メタデータ） (2021-09-02T17:54:31Z)
• Meta-Optimization of Deep CNN for Image Denoising Using LSTM [0.0]
  メタ最適化トレーニング手法をDnCNN復調アルゴリズムに適用し,復調能力の向上を図る。 より単純なアルゴリズムに関する予備実験により,DnCNN復調能力向上に向けたメタ最適化トレーニング手法の活用の可能性を明らかにした。
  論文  参考訳（メタデータ） (2021-07-14T16:59:44Z)
• Learning Frequency Domain Approximation for Binary Neural Networks [68.79904499480025]
  フーリエ周波数領域における符号関数の勾配を正弦関数の組み合わせを用いて推定し,BNNの訓練を行う。 いくつかのベンチマークデータセットとニューラルネットワークの実験により、この手法で学習したバイナリネットワークが最先端の精度を達成することが示されている。
  論文  参考訳（メタデータ） (2021-03-01T08:25:26Z)
• Inertial Proximal Deep Learning Alternating Minimization for Efficient Neutral Network Training [16.165369437324266]
  この研究は、有名な慣性手法であるiPDLAMによって改良されたDLAMを開発し、電流と最後の繰り返しの線形化によって点を予測する。 実世界のデータセットの数値計算結果を報告し,提案アルゴリズムの有効性を実証した。
  論文  参考訳（メタデータ） (2021-01-30T16:40:08Z)
• Deep Networks for Direction-of-Arrival Estimation in Low SNR [89.45026632977456]
  我々は,真の配列多様体行列の変異チャネルデータから学習した畳み込みニューラルネットワーク(CNN)を導入する。 我々は低SNR体制でCNNを訓練し、すべてのSNRでDoAを予測する。 私たちの堅牢なソリューションは、ワイヤレスアレイセンサーから音響マイクロフォンやソナーまで、いくつかの分野に適用できます。
  論文  参考訳（メタデータ） (2020-11-17T12:52:18Z)
• Stochastic Markov Gradient Descent and Training Low-Bit Neural Networks [77.34726150561087]
  本稿では,量子化ニューラルネットワークのトレーニングに適用可能な離散最適化手法であるGradient Markov Descent (SMGD)を紹介する。 アルゴリズム性能の理論的保証と数値的な結果の促進を提供する。
  論文  参考訳（メタデータ） (2020-08-25T15:48:15Z)
• Evolving Deep Convolutional Neural Networks for Hyperspectral Image Denoising [6.869192200282213]
  本稿では,HSIを効果的に識別する最適な畳み込みニューラルネットワーク(CNN)を自動構築する新しいアルゴリズムを提案する。 提案アルゴリズムの実験は、最先端の競合相手とよく設計され比較されている。
  論文  参考訳（メタデータ） (2020-08-15T03:04:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。