論文の概要: Robust Learning of Recurrent Neural Networks in Presence of Exogenous Noise

• arxiv url: http://arxiv.org/abs/2105.00996v2
• Date: Tue, 4 May 2021 15:08:48 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-05 11:04:58.697299
• Title: Robust Learning of Recurrent Neural Networks in Presence of Exogenous Noise
• Title（参考訳）: 外因性雑音を考慮したリカレントニューラルネットワークのロバスト学習
• Authors: Arash Amini, Guangyi Liu, Nader Motee
• Abstract要約: 入力雑音を受けるRNNモデルに対するトラクタブルロバストネス解析を提案する。 線形化手法を用いてロバストネス測度を効率的に推定することができる。 提案手法はリカレントニューラルネットワークのロバスト性を大幅に改善する。
• 参考スコア（独自算出の注目度）: 22.690064709532873
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recurrent Neural networks (RNN) have shown promising potential for learning dynamics of sequential data. However, artificial neural networks are known to exhibit poor robustness in presence of input noise, where the sequential architecture of RNNs exacerbates the problem. In this paper, we will use ideas from control and estimation theories to propose a tractable robustness analysis for RNN models that are subject to input noise. The variance of the output of the noisy system is adopted as a robustness measure to quantify the impact of noise on learning. It is shown that the robustness measure can be estimated efficiently using linearization techniques. Using these results, we proposed a learning method to enhance robustness of a RNN with respect to exogenous Gaussian noise with known statistics. Our extensive simulations on benchmark problems reveal that our proposed methodology significantly improves robustness of recurrent neural networks.
• Abstract（参考訳）: リカレントニューラルネットワーク(RNN)は、シーケンシャルデータの動的学習に有望な可能性を示している。 しかし、RNNの逐次アーキテクチャが問題を悪化させるような入力ノイズの存在下では、ニューラルネットワークの堅牢性が低いことが知られている。 本稿では,制御理論と推定理論のアイデアを用いて,入力雑音を受けるRNNモデルに対するトラクタブルロバストネス解析を提案する。 雑音が学習に与える影響を定量化するための頑健度尺度として,雑音システムの出力のばらつきを採用する。 線形化手法を用いてロバストネス測度を効率的に推定できることを示した。 これらの結果を用いて,RNNの強靭性を高める学習手法を提案する。 ベンチマーク問題に関する広範なシミュレーションにより,提案手法が再帰的ニューラルネットワークのロバスト性を大幅に改善することが明らかとなった。

関連論文リスト

• Hopfield-Enhanced Deep Neural Networks for Artifact-Resilient Brain State Decoding [0.0]
  そこで本研究では, ホップフィールド・ネットワークとコナール・ニューラル・ネットワーク(CNN)を併用した2段階の計算手法を提案する。 様々なレベルのデータ圧縮とノイズ強度のパフォーマンスは、我々のフレームワークがアーティファクトを効果的に軽減し、より低いノイズレベルにおいてクリーンなデータCNNと同等の精度でモデルに到達できることを示しました。
  論文  参考訳（メタデータ） (2023-11-06T15:08:13Z)
• Learning Provably Robust Estimators for Inverse Problems via Jittering [51.467236126126366]
  簡単な正規化手法であるジッタリングが,逆問題に対する最悪ケース頑健な推定器の学習に有効かどうかを検討する。 ジッタリングは最悪の場合のロバスト性を大幅に向上させるが,デノイング以上の逆問題に最適であることを示す。
  論文  参考訳（メタデータ） (2023-07-24T14:19:36Z)
• A Hybrid Neural Coding Approach for Pattern Recognition with Spiking Neural Networks [53.31941519245432]
  脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。 これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。 本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
  論文  参考訳（メタデータ） (2023-05-26T02:52:12Z)
• Training neural networks with structured noise improves classification and generalization [0.0]
  ノイズの多いトレーニングデータに構造を加えることで,アルゴリズムの性能が大幅に向上することを示す。 また,Hebbian Unlearning(ヘビアン・アンラーニング・ルール)と呼ばれる規則は,雑音が最大値である場合のトレーニング・ウィズ・ノイズ・アルゴリズムと一致することを証明した。
  論文  参考訳（メタデータ） (2023-02-26T22:10:23Z)
• A Study of Deep CNN Model with Labeling Noise Based on Granular-ball Computing [0.0]
  グラニュラーボールコンピューティングは効率的で堅牢でスケーラブルな学習方法である。 本稿では,モデル学習において,多粒性ラベルノイズサンプルをフィルタするグラニュラーニューラルネットワークモデルを考案した。
  論文  参考訳（メタデータ） (2022-07-17T13:58:46Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Non-Singular Adversarial Robustness of Neural Networks [58.731070632586594]
  小さな入力摂動に対する過敏性のため、アドリヤルロバスト性はニューラルネットワークにとって新たな課題となっている。 我々は,データ入力とモデル重みの共振レンズを用いて,ニューラルネットワークの非特異な対角性の概念を定式化する。
  論文  参考訳（メタデータ） (2021-02-23T20:59:30Z)
• Image Denoising using Attention-Residual Convolutional Neural Networks [0.0]
  本稿では,学習に基づく新たな非盲検手法であるAttention Residual Convolutional Neural Network (ARCNN)を提案し,その拡張としてFlexible Attention Residual Convolutional Neural Network (FARCNN)を提案する。 ARCNNはガウス語とポアソン語で約0.44dBと0.96dBの平均PSNR結果を達成し、FARCNNはARCNNに比べて若干パフォーマンスが悪くても非常に一貫した結果を示した。
  論文  参考訳（メタデータ） (2021-01-19T16:37:57Z)
• Deep Networks for Direction-of-Arrival Estimation in Low SNR [89.45026632977456]
  我々は,真の配列多様体行列の変異チャネルデータから学習した畳み込みニューラルネットワーク(CNN)を導入する。 我々は低SNR体制でCNNを訓練し、すべてのSNRでDoAを予測する。 私たちの堅牢なソリューションは、ワイヤレスアレイセンサーから音響マイクロフォンやソナーまで、いくつかの分野に適用できます。
  論文  参考訳（メタデータ） (2020-11-17T12:52:18Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。