論文の概要: Implicit recurrent networks: A novel approach to stationary input
processing with recurrent neural networks in deep learning
- arxiv url: http://arxiv.org/abs/2010.10564v1
- Date: Tue, 20 Oct 2020 18:55:32 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-05 05:53:04.133642
- Title: Implicit recurrent networks: A novel approach to stationary input
processing with recurrent neural networks in deep learning
- Title（参考訳）: 命令リカレントネットワーク:ディープラーニングにおけるリカレントニューラルネットワークを用いた定常入力処理の新しいアプローチ
- Authors: Sebastian Sanokowski
- Abstract要約: 本研究では,ニューラルネットの新たな実装を深層学習に導入し,検証する。
繰り返しネットワークの暗黙的な実装にバックプロパゲーションアルゴリズムを実装するアルゴリズムを提案する。
シングルレイヤの暗黙的リカレントネットワークはXOR問題を解くことができ、一方、単調に活性化関数が増加するフィードフォワードネットワークは、このタスクで失敗する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The brain cortex, which processes visual, auditory and sensory data in the
brain, is known to have many recurrent connections within its layers and from
higher to lower layers. But, in the case of machine learning with neural
networks, it is generally assumed that strict feed-forward architectures are
suitable for static input data, such as images, whereas recurrent networks are
required mainly for the processing of sequential input, such as language.
However, it is not clear whether also processing of static input data benefits
from recurrent connectivity. In this work, we introduce and test a novel
implementation of recurrent neural networks with lateral and feed-back
connections into deep learning. This departure from the strict feed-forward
structure prevents the use of the standard error backpropagation algorithm for
training the networks. Therefore we provide an algorithm which implements the
backpropagation algorithm on a implicit implementation of recurrent networks,
which is different from state-of-the-art implementations of recurrent neural
networks. Our method, in contrast to current recurrent neural networks,
eliminates the use of long chains of derivatives due to many iterative update
steps, which makes learning computationally less costly. It turns out that the
presence of recurrent intra-layer connections within a one-layer implicit
recurrent network enhances the performance of neural networks considerably: A
single-layer implicit recurrent network is able to solve the XOR problem, while
a feed-forward network with monotonically increasing activation function fails
at this task. Finally, we demonstrate that a two-layer implicit recurrent
architecture leads to a better performance in a regression task of physical
parameters from the measured trajectory of a damped pendulum.
- Abstract（参考訳）: 脳の視覚的、聴覚的、感覚的なデータを処理している大脳皮質は、その層と上位層から下位層の間で多くの繰り返し接続があることが知られている。
しかし、ニューラルネットワークを用いた機械学習の場合、厳密なフィードフォワードアーキテクチャは画像などの静的な入力データに適していると考えられ、一方、リカレントネットワークは主に言語などのシーケンシャルな入力の処理に必要である。
しかし、静的入力データの処理が再帰接続の恩恵を受けるかどうかは明らかではない。
本研究では,横方向およびフィードバック接続を用いたニューラルネットワークの新たな実装を,ディープラーニングに導入し,テストする。
この厳格なフィードフォワード構造からの離脱は、ネットワークのトレーニングに標準エラーバックプロパゲーションアルゴリズムの使用を妨げる。
そこで本研究では,リカレントニューラルネットワークの最先端実装とは異なる,リカレントネットワークの暗黙的実装にバックプロパゲーションアルゴリズムを実装するアルゴリズムを提案する。
提案手法は,現在のリカレントニューラルネットワークとは対照的に,反復的な更新ステップの多さから,導関数の長い鎖の使用を排除し,計算コストの低減を図る。
シングルレイヤの暗黙的再帰ネットワークはXOR問題を解くことができ、一方、単調にアクティベーション関数が増加するフィードフォワードネットワークはこのタスクでは失敗する。
最後に, 減衰振子の計測軌跡から物理パラメータの回帰タスクにおいて, 2層暗黙的再帰的アーキテクチャがよりよい性能をもたらすことを実証する。
関連論文リスト
- Gradient-free training of recurrent neural networks [3.272216546040443]
本稿では,勾配に基づく手法を使わずに再帰型ニューラルネットワークの重みとバイアスを全て構成する計算手法を提案する。
このアプローチは、動的システムに対するランダムな特徴ネットワークとクープマン作用素理論の組み合わせに基づいている。
時系列の計算実験,カオス力学系の予測,制御問題などにおいて,構築したリカレントニューラルネットワークのトレーニング時間と予測精度が向上することが観察された。
論文 参考訳（メタデータ） (2024-10-30T21:24:34Z) - Opening the Black Box: predicting the trainability of deep neural networks with reconstruction entropy [0.0]
本稿では,ディープフィードフォワードニューラルネットワークのパラメータ空間におけるトレーニング可能な状態を予測する手法を提案する。
MNISTとCIFAR10の両方のデータセットに対して、トレーニングの1つのエポックが、ディープフィードフォワードネットワークのトレーニング可能性を予測するのに十分であることを示す。
論文 参考訳（メタデータ） (2024-06-13T18:00:05Z) - Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。
単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。
これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
論文 参考訳（メタデータ） (2023-07-20T13:34:11Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳（メタデータ） (2023-03-06T18:59:13Z) - Global quantitative robustness of regression feed-forward neural
networks [0.0]
我々は回帰分解点の概念を回帰ニューラルネットワークに適用する。
我々は、故障率のプロキシにより、サンプル外損失によって測定された性能を比較した。
この結果は、ニューラルネットワークのトレーニングにロバストな損失関数を使うことを動機付けている。
論文 参考訳（メタデータ） (2022-11-18T09:57:53Z) - Spiking neural network for nonlinear regression [68.8204255655161]
スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。
彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。
スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
論文 参考訳（メタデータ） (2022-10-06T13:04:45Z) - Improving the Trainability of Deep Neural Networks through Layerwise
Batch-Entropy Regularization [1.3999481573773072]
ニューラルネットワークの各層を通しての情報の流れを定量化するバッチエントロピーを導入,評価する。
損失関数にバッチエントロピー正規化項を追加するだけで、500層からなる「バニラ」完全連結ネットワークと畳み込みニューラルネットワークをトレーニングできることが示される。
論文 参考訳（メタデータ） (2022-08-01T20:31:58Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z) - Verifying Recurrent Neural Networks using Invariant Inference [0.0]
本稿では,リカレントニューラルネットワーク(Recurrent Neural Network)と呼ばれる,ニューラルネットワークの多種多様な特性を検証するための新しいアプローチを提案する。
この手法は不変量の推論に基づいており、再帰的ネットワークを単純かつ非再帰的な問題に検証する際の複雑な問題を軽減できる。
論文 参考訳（メタデータ） (2020-04-06T08:08:24Z) - ResiliNet: Failure-Resilient Inference in Distributed Neural Networks [56.255913459850674]
ResiliNetは、分散ニューラルネットワークにおいて物理ノード障害に耐性を持たせるためのスキームである。
Failoutは、ドロップアウトを使用したトレーニング中の物理ノード障害条件をシミュレートし、分散ニューラルネットワークのレジリエンスを改善するように設計されている。
論文 参考訳（メタデータ） (2020-02-18T05:58:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。