論文の概要: Dynamic Analysis and an Eigen Initializer for Recurrent Neural Networks
- arxiv url: http://arxiv.org/abs/2307.15679v1
- Date: Fri, 28 Jul 2023 17:14:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-31 11:53:10.960349
- Title: Dynamic Analysis and an Eigen Initializer for Recurrent Neural Networks
- Title（参考訳）: リカレントニューラルネットワークのための動的解析と固有初期化器
- Authors: Ran Dou and Jose Principe
- Abstract要約: 繰り返しニューラルネットワークにおける隠れ状態のダイナミクスについて検討する。
重み行列の固有分解に基づいて隠れ状態空間を解析するための新しい視点を提案する。
本稿では,固有解析に基づく長期依存の説明を行う。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In recurrent neural networks, learning long-term dependency is the main
difficulty due to the vanishing and exploding gradient problem. Many
researchers are dedicated to solving this issue and they proposed many
algorithms. Although these algorithms have achieved great success,
understanding how the information decays remains an open problem. In this
paper, we study the dynamics of the hidden state in recurrent neural networks.
We propose a new perspective to analyze the hidden state space based on an
eigen decomposition of the weight matrix. We start the analysis by linear state
space model and explain the function of preserving information in activation
functions. We provide an explanation for long-term dependency based on the
eigen analysis. We also point out the different behavior of eigenvalues for
regression tasks and classification tasks. From the observations on
well-trained recurrent neural networks, we proposed a new initialization method
for recurrent neural networks, which improves consistently performance. It can
be applied to vanilla-RNN, LSTM, and GRU. We test on many datasets, such as
Tomita Grammars, pixel-by-pixel MNIST datasets, and machine translation
datasets (Multi30k). It outperforms the Xavier initializer and kaiming
initializer as well as other RNN-only initializers like IRNN and sp-RNN in
several tasks.
- Abstract（参考訳）: リカレントニューラルネットワークでは、長期依存を学習することが、勾配問題の解消と爆発の主な困難である。
多くの研究者がこの問題を解決し、多くのアルゴリズムを提案した。
これらのアルゴリズムは大きな成功を収めたが、情報の崩壊の仕方を理解することは依然として未解決の問題である。
本稿では,リカレントニューラルネットワークにおける隠れ状態のダイナミクスについて検討する。
本研究では,重み行列の固有分解に基づく隠れ状態空間の解析のための新しい視点を提案する。
線形状態空間モデルによる解析を開始し、活性化関数における情報保存機能を説明する。
本稿では,固有解析に基づく長期依存の説明を行う。
また,回帰タスクと分類タスクに対する固有値の異なる挙動を指摘する。
そこで本研究では,よく訓練されたリカレントニューラルネットワークの観測から,リカレントニューラルネットワークの新たな初期化手法を提案する。
バニラ-RNN、LSTM、GRUにも適用可能である。
トミタ文法、ピクセル単位のmnistデータセット、機械翻訳データセット(multi30k)など、多くのデータセットをテストする。
Xavierイニシャライザやカイミングイニシャライザ、IRNNやsp-RNNといった他のRNNオンリーイニシャライザよりもパフォーマンスが優れている。
関連論文リスト
- RelChaNet: Neural Network Feature Selection using Relative Change Scores [0.0]
本稿では、ニューラルネットワークの入力層にニューロンのプルーニングと再成長を利用する、新しくて軽量な特徴選択アルゴリズムであるRelChaNetを紹介する。
我々の手法は一般に現在の最先端手法よりも優れており、特にMNISTデータセットの平均精度を2%向上させる。
論文 参考訳（メタデータ） (2024-10-03T09:56:39Z) - Investigating Sparsity in Recurrent Neural Networks [0.0]
本論文は, プルーニングとスパースリカレントニューラルネットワークがRNNの性能に与える影響を考察することに焦点を当てる。
まず,RNNの刈り込み,RNNの性能への影響,および刈り込み後の精度回復に必要な訓練エポック数について述べる。
次に、スパースリカレントニューラルネットワークの作成と訓練を継続し、その基礎となる任意の構造の性能とグラフ特性の関係を同定する。
論文 参考訳（メタデータ） (2024-07-30T07:24:58Z) - NeuroView-RNN: It's About Time [25.668977252138905]
RNNにおける重要な解釈可能性の問題は、各時間毎の隠れた状態が意思決定プロセスにどのように貢献するかが明確でないことである。
本稿では,新しいRNNアーキテクチャのファミリとしてNeuroView-RNNを提案する。
我々は,さまざまな時系列データセットを用いて評価することで,NeuroView-RNNの利点を実証する。
論文 参考訳（メタデータ） (2022-02-23T22:29:11Z) - Neural networks with linear threshold activations: structure and
algorithms [1.795561427808824]
クラス内で表現可能な関数を表現するのに、2つの隠れたレイヤが必要であることを示す。
また、クラス内の任意の関数を表すのに必要なニューラルネットワークのサイズについて、正確な境界を与える。
我々は,線形しきい値ネットワークと呼ばれるニューラルネットワークの新たなクラスを提案する。
論文 参考訳（メタデータ） (2021-11-15T22:33:52Z) - Training Feedback Spiking Neural Networks by Implicit Differentiation on
the Equilibrium State [66.2457134675891]
スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。
既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。
本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
論文 参考訳（メタデータ） (2021-09-29T07:46:54Z) - Online Limited Memory Neural-Linear Bandits with Likelihood Matching [53.18698496031658]
本研究では,探索学習と表現学習の両方が重要な役割を果たす課題を解決するために,ニューラルネットワークの帯域について検討する。
破滅的な忘れ込みに対して耐性があり、完全にオンラインである可能性の高いマッチングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-02-07T14:19:07Z) - Overcoming Catastrophic Forgetting in Graph Neural Networks [50.900153089330175]
破滅的な忘れは、ニューラルネットワークが新しいタスクを学ぶ前に学んだ知識を「忘れる」傾向を指します。
本稿では,この問題を克服し,グラフニューラルネットワーク(GNN)における継続学習を強化するための新しいスキームを提案する。
私たちのアプローチの中心には、トポロジ認識重量保存(TWP)と呼ばれる汎用モジュールがあります。
論文 参考訳（メタデータ） (2020-12-10T22:30:25Z) - How Neural Networks Extrapolate: From Feedforward to Graph Neural
Networks [80.55378250013496]
勾配勾配降下法によりトレーニングされたニューラルネットワークが、トレーニング分布の支持の外で学んだことを外挿する方法について検討する。
グラフニューラルネットワーク(GNN)は、より複雑なタスクでいくつかの成功を収めている。
論文 参考訳（メタデータ） (2020-09-24T17:48:59Z) - Boosting Deep Neural Networks with Geometrical Prior Knowledge: A Survey [77.99182201815763]
ディープニューラルネットワーク(DNN)は多くの異なる問題設定において最先端の結果を達成する。
DNNはしばしばブラックボックスシステムとして扱われ、評価と検証が複雑になる。
コンピュータビジョンタスクにおける畳み込みニューラルネットワーク(CNN)の成功に触発された、有望な分野のひとつは、対称幾何学的変換に関する知識を取り入れることである。
論文 参考訳（メタデータ） (2020-06-30T14:56:05Z) - Emotion Recognition on large video dataset based on Convolutional
Feature Extractor and Recurrent Neural Network [0.2855485723554975]
我々のモデルは、畳み込みニューラルネットワーク(CNN)とリカレントニューラルネットワーク(RNN)を組み合わせて、ビデオデータ上での次元的感情を予測する。
実験は、最新のAff-Wild2データベースを含む、公開データセットで実施されている。
論文 参考訳（メタデータ） (2020-06-19T14:54:13Z) - Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。
コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
論文 参考訳（メタデータ） (2020-02-02T21:09:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。