論文の概要: Depth Enables Long-Term Memory for Recurrent Neural Networks
- arxiv url: http://arxiv.org/abs/2003.10163v1
- Date: Mon, 23 Mar 2020 10:29:14 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-20 23:32:23.767137
- Title: Depth Enables Long-Term Memory for Recurrent Neural Networks
- Title（参考訳）: Depthがリカレントニューラルネットワークの長期記憶を可能にする
- Authors: Alon Ziv
- Abstract要約: 本稿では,スタートエンド分離ランク(Start-End separation rank)と呼ばれる時間的情報フローを支援するネットワークの能力を評価する。
より深い再帰的ネットワークは、浅いネットワークで支えられるものよりも高いスタートエンド分離ランクをサポートすることを証明している。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A key attribute that drives the unprecedented success of modern Recurrent
Neural Networks (RNNs) on learning tasks which involve sequential data, is
their ability to model intricate long-term temporal dependencies. However, a
well established measure of RNNs long-term memory capacity is lacking, and thus
formal understanding of the effect of depth on their ability to correlate data
throughout time is limited. Specifically, existing depth efficiency results on
convolutional networks do not suffice in order to account for the success of
deep RNNs on data of varying lengths. In order to address this, we introduce a
measure of the network's ability to support information flow across time,
referred to as the Start-End separation rank, which reflects the distance of
the function realized by the recurrent network from modeling no dependency
between the beginning and end of the input sequence. We prove that deep
recurrent networks support Start-End separation ranks which are combinatorially
higher than those supported by their shallow counterparts. Thus, we establish
that depth brings forth an overwhelming advantage in the ability of recurrent
networks to model long-term dependencies, and provide an exemplar of
quantifying this key attribute. We empirically demonstrate the discussed
phenomena on common RNNs through extensive experimental evaluation using the
optimization technique of restricting the hidden-to-hidden matrix to being
orthogonal. Finally, we employ the tool of quantum Tensor Networks to gain
additional graphic insights regarding the complexity brought forth by depth in
recurrent networks.
- Abstract（参考訳）: シーケンシャルなデータを含む学習タスクにおいて、現代的なリカレントニューラルネットワーク(RNN)が前例のない成功を収めた理由のひとつは、複雑な時間的依存関係をモデル化できることにある。
しかし、RNNの長期記憶能力の確立された尺度は欠如しており、時間を通してデータを相関する深度の影響の形式的理解は限られている。
具体的には、畳み込みネットワーク上の既存の深度効率は、様々な長さのデータに基づいて深度RNNを成功させるのに十分ではない。
そこで本研究では,入力列の始端と終端の依存関係をモデル化せず,リカレントネットワークによって実現される関数の距離を反映した初期分離ランク(start-end separation rank)と呼ばれる,時間を越えた情報フローを支援するネットワークの能力の尺度を提案する。
より深い再帰的ネットワークは、浅いネットワークによって支えられるものよりも組合せ的に高いスタートエンド分離ランクをサポートすることを証明している。
したがって、長期依存をモデル化する再帰ネットワークの能力において、奥行きが圧倒的なアドバンテージとなり、このキー属性を定量化する例を与えることができる。
本研究では,隠れ-隠れ行列を直交に制限する最適化手法を用いて,広範囲な実験評価を行い,共通rnn上で議論される現象を実証する。
最後に,量子テンソルネットワークのツールを用いて,リカレントネットワークの奥行きによる複雑性に関するさらなるグラフィックインサイトを得る。
関連論文リスト
- Analyzing the Neural Tangent Kernel of Periodically Activated Coordinate
Networks [30.92757082348805]
ニューラルタンジェントカーネル(NTK)の解析を通して周期的に活性化されるネットワークの理論的理解を提供する。
NTKの観点から,周期的に活性化されるネットワークは,ReLU活性化ネットワークよりもテキスト的に良好であることが示唆された。
論文 参考訳（メタデータ） (2024-02-07T12:06:52Z) - DON-LSTM: Multi-Resolution Learning with DeepONets and Long Short-Term
Memory Neural Networks [1.8434042562191815]
ディープオペレータネットワーク(DeepONets、DON)は、マルチレゾリューションデータでトレーニングできるという点で、従来のニューラルネットワークよりも明確なアドバンテージを提供する。
我々は,長期記憶ネットワーク(LSTM)でDeepONetを拡張した新しいアーキテクチャDON-LSTMを提案する。
提案した多分解能DON-LSTMは, 一般化誤差を著しく低減し, バニラに比べて高分解能サンプルを少なくすることを示した。
論文 参考訳（メタデータ） (2023-10-03T23:43:16Z) - Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。
単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。
これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
論文 参考訳（メタデータ） (2023-07-20T13:34:11Z) - Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。
我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。
ニューラルネットの様々な特性をこの新しいカーネルで研究する。
論文 参考訳（メタデータ） (2023-01-01T02:11:39Z) - Bayesian Interpolation with Deep Linear Networks [92.1721532941863]
ニューラルネットワークの深さ、幅、データセットサイズがモデル品質にどう影響するかを特徴付けることは、ディープラーニング理論における中心的な問題である。
線形ネットワークが無限深度で証明可能な最適予測を行うことを示す。
また、データに依存しない先行法により、広い線形ネットワークにおけるベイズ模型の証拠は無限の深さで最大化されることを示す。
論文 参考訳（メタデータ） (2022-12-29T20:57:46Z) - Spiking Neural Networks for event-based action recognition: A new task to understand their advantage [1.4348901037145936]
スパイキングニューラルネットワーク(SNN)は、そのユニークな時間的ダイナミクスによって特徴づけられる。
フィードフォワードニューラルネットワークにおいて、スパイキングニューロンが時間的特徴抽出を可能にする方法を示す。
また、繰り返しSNNがLSTMに匹敵する結果が得られることを示す。
論文 参考訳（メタデータ） (2022-09-29T16:22:46Z) - Scalable Spatiotemporal Graph Neural Networks [14.415967477487692]
グラフニューラルネットワーク(GNN)は、しばしば予測アーキテクチャのコアコンポーネントである。
ほとんどの時間前GNNでは、計算複雑性はグラフ内のリンクの回数のシーケンスの長さの2乗係数までスケールする。
本稿では,時間的・空間的両方のダイナミックスを効率的に符号化するスケーラブルなアーキテクチャを提案する。
論文 参考訳（メタデータ） (2022-09-14T09:47:38Z) - Semi-supervised Network Embedding with Differentiable Deep Quantisation [81.49184987430333]
我々はネットワーク埋め込みのための微分可能な量子化法であるd-SNEQを開発した。
d-SNEQは、学習された量子化符号にリッチな高次情報を与えるためにランク損失を組み込む。
トレーニング済みの埋め込みのサイズを大幅に圧縮できるため、ストレージのフットプリントが減少し、検索速度が向上する。
論文 参考訳（メタデータ） (2021-08-20T11:53:05Z) - Deep Cellular Recurrent Network for Efficient Analysis of Time-Series
Data with Spatial Information [52.635997570873194]
本研究では,空間情報を用いた複雑な多次元時系列データを処理するための新しいディープセルリカレントニューラルネットワーク(DCRNN)アーキテクチャを提案する。
提案するアーキテクチャは,文献に比較して,学習可能なパラメータをかなり少なくしつつ,最先端の性能を実現している。
論文 参考訳（メタデータ） (2021-01-12T20:08:18Z) - Hybrid Backpropagation Parallel Reservoir Networks [8.944918753413827]
本稿では,貯水池のランダムな時間的特徴と深層ニューラルネットワークの読み出し能力と,バッチ正規化を併用した新しいハイブリッドネットワークを提案する。
我々の新しいネットワークはLSTMやGRUよりも優れていることを示す。
また, HBP-ESN M-Ring と呼ばれる新しいメタリング構造を組み込むことで, 1つの大きな貯水池に類似した性能を実現し, メモリ容量の最大化を図っている。
論文 参考訳（メタデータ） (2020-10-27T21:03:35Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳（メタデータ） (2020-08-19T04:53:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。