Fugu-MT 論文翻訳(概要): Hybrid Backpropagation Parallel Reservoir Networks

論文の概要: Hybrid Backpropagation Parallel Reservoir Networks

arxiv url: http://arxiv.org/abs/2010.14611v1
Date: Tue, 27 Oct 2020 21:03:35 GMT
ステータス: 処理完了
システム内更新日: 2022-10-02 11:04:46.194804
Title: Hybrid Backpropagation Parallel Reservoir Networks
Title（参考訳）: ハイブリッドバックプロパゲーション並列貯留層ネットワーク
Authors: Matthew Evanusa and Snehesh Shrestha and Michelle Girvan and Cornelia Ferm\"uller and Yiannis Aloimonos
Abstract要約: 本稿では,貯水池のランダムな時間的特徴と深層ニューラルネットワークの読み出し能力と,バッチ正規化を併用した新しいハイブリッドネットワークを提案する。我々の新しいネットワークはLSTMやGRUよりも優れていることを示す。また, HBP-ESN M-Ring と呼ばれる新しいメタリング構造を組み込むことで, 1つの大きな貯水池に類似した性能を実現し, メモリ容量の最大化を図っている。
参考スコア（独自算出の注目度）: 8.944918753413827
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In many real-world applications, fully-differentiable RNNs such as LSTMs and GRUs have been widely deployed to solve time series learning tasks. These networks train via Backpropagation Through Time, which can work well in practice but involves a biologically unrealistic unrolling of the network in time for gradient updates, are computationally expensive, and can be hard to tune. A second paradigm, Reservoir Computing, keeps the recurrent weight matrix fixed and random. Here, we propose a novel hybrid network, which we call Hybrid Backpropagation Parallel Echo State Network (HBP-ESN) which combines the effectiveness of learning random temporal features of reservoirs with the readout power of a deep neural network with batch normalization. We demonstrate that our new network outperforms LSTMs and GRUs, including multi-layer "deep" versions of these networks, on two complex real-world multi-dimensional time series datasets: gesture recognition using skeleton keypoints from ChaLearn, and the DEAP dataset for emotion recognition from EEG measurements. We show also that the inclusion of a novel meta-ring structure, which we call HBP-ESN M-Ring, achieves similar performance to one large reservoir while decreasing the memory required by an order of magnitude. We thus offer this new hybrid reservoir deep learning paradigm as a new alternative direction for RNN learning of temporal or sequential data.
Abstract（参考訳）: 多くの実世界のアプリケーションでは、LSTMやGRUのような完全微分可能なRNNが時系列学習の課題を解決するために広くデプロイされている。これらのネットワークは、実際にうまく機能するが、勾配更新に間に合うように、生物学的に非現実的なネットワークの展開を伴い、計算コストが高く、チューニングが難しいバックプロパゲーションを介してトレーニングされる。 2つ目のパラダイムは、リカレント重み行列を固定してランダムに保つリザーバコンピューティングである。本稿では,リザーバのランダムな時間的特徴とディープニューラルネットワークの読み出しパワーとバッチ正規化を併用したハイブリッドバックプロパゲーション並列エコー状態ネットワーク(hbp-esn)を提案する。脳波測定による感情認識のためのDEAデータセットとChaLearnのスケルトンキーポイントを用いたジェスチャー認識という,2つの複雑な実世界の多次元時系列データセット上で,我々の新しいネットワークはLSTMやGRUよりも優れていることを示す。また, HBP-ESN M-Ring と呼ばれる新しいメタリング構造を組み込むことで, 1つの大きな貯水池に類似した性能を実現し, メモリ容量の最大化を図っている。そこで我々は,このハイブリッド型貯水池深層学習パラダイムを,時間的あるいはシーケンシャルなデータのRNN学習の新たな代替手段として提供する。

関連論文リスト

Properties and Potential Applications of Random Functional-Linked Types of Neural Networks [81.56822938033119]
ランダム関数リンクニューラルネットワーク(RFLNN)は、深い構造を学習する別の方法を提供する。本稿では周波数領域の観点からRFLNNの特性について考察する。本稿では,より優れた性能でBLSネットワークを生成する手法を提案し,ポゾン方程式を解くための効率的なアルゴリズムを設計する。
論文参考訳（メタデータ） (2023-04-03T13:25:22Z)
Learning Fast and Slow for Online Time Series Forecasting [76.50127663309604]
Fast and Slow Learning Networks (FSNet)は、オンライン時系列予測のための総合的なフレームワークである。 FSNetは、最近の変更への迅速な適応と、同様の古い知識の取得のバランスを取る。私たちのコードは公開されます。
論文参考訳（メタデータ） (2022-02-23T18:23:07Z)
Parallel Machine Learning for Forecasting the Dynamics of Complex Networks [0.0]
本稿では,大規模複雑ネットワークの力学を予測するための機械学習手法を提案する。私たちは、関心のネットワークのトポロジを模倣する並列アーキテクチャを使用します。
論文参考訳（メタデータ） (2021-08-27T06:06:41Z)
Online learning of windmill time series using Long Short-term Cognitive Networks [58.675240242609064]
風車農場で生成されたデータの量は、オンライン学習が従うべき最も有効な戦略となっている。我々はLong Short-term Cognitive Networks (LSTCNs) を用いて、オンライン環境での風車時系列を予測する。提案手法は,単純なRNN,長期記憶,Gated Recurrent Unit,Hidden Markov Modelに対して最も低い予測誤差を報告した。
論文参考訳（メタデータ） (2021-07-01T13:13:24Z)
Revisiting the double-well problem by deep learning with a hybrid network [7.308730248177914]
本稿では,lstmとresnetの2種類のニューラルネットワークを統合するハイブリッドネットワークを提案する。このようなハイブリッドネットワークは、空間的または時間的変調が速いシステムにおける協調ダイナミクスの解決に応用できる。
論文参考訳（メタデータ） (2021-04-25T07:51:43Z)
Contextual HyperNetworks for Novel Feature Adaptation [43.49619456740745]
Contextual HyperNetwork(CHN)は、ベースモデルを新機能に拡張するためのパラメータを生成する。予測時、CHNはニューラルネットワークを通る単一のフォワードパスのみを必要とし、大幅なスピードアップをもたらす。本システムでは,既存のインプテーションやメタラーニングベースラインよりも,新しい特徴のマイズショット学習性能が向上することを示す。
論文参考訳（メタデータ） (2021-04-12T23:19:49Z)
PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive Learning [109.84770951839289]
歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
論文参考訳（メタデータ） (2021-03-17T08:28:30Z)
Deep Cellular Recurrent Network for Efficient Analysis of Time-Series Data with Spatial Information [52.635997570873194]
本研究では,空間情報を用いた複雑な多次元時系列データを処理するための新しいディープセルリカレントニューラルネットワーク(DCRNN)アーキテクチャを提案する。提案するアーキテクチャは,文献に比較して,学習可能なパラメータをかなり少なくしつつ,最先端の性能を実現している。
論文参考訳（メタデータ） (2021-01-12T20:08:18Z)
SRDCNN: Strongly Regularized Deep Convolution Neural Network Architecture for Time-series Sensor Signal Classification Tasks [4.950427992960756]
SRDCNN: 時系列分類タスクを実行するために, SRDCNN(Strongly Regularized Deep Convolution Neural Network)をベースとしたディープアーキテクチャを提案する。提案手法の新規性は、ネットワークウェイトが L1 と L2 のノルム法則によって正則化されることである。
論文参考訳（メタデータ） (2020-07-14T08:42:39Z)
Depth Enables Long-Term Memory for Recurrent Neural Networks [0.0]
本稿では,スタートエンド分離ランク(Start-End separation rank)と呼ばれる時間的情報フローを支援するネットワークの能力を評価する。より深い再帰的ネットワークは、浅いネットワークで支えられるものよりも高いスタートエンド分離ランクをサポートすることを証明している。
論文参考訳（メタデータ） (2020-03-23T10:29:14Z)
Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
論文参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。