論文の概要: Lyapunov-Guided Embedding for Hyperparameter Selection in Recurrent Neural Networks

• arxiv url: http://arxiv.org/abs/2204.04876v1
• Date: Mon, 11 Apr 2022 05:38:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-12 15:58:53.490073
• Title: Lyapunov-Guided Embedding for Hyperparameter Selection in Recurrent Neural Networks
• Title（参考訳）: リカレントニューラルネットワークにおけるハイパーパラメータ選択のためのリアプノフ誘導埋め込み
• Authors: Ryan Vogt, Yang Zheng and Eli Shlizerman
• Abstract要約: リカレントニューラルネットワーク(Recurrent Neural Networks、RNN)は、シーケンスと時系列データのためのユビキタスコンピューティングシステムである。 本稿では,RNNを力学系として扱うとともに,リアプノフスペクトル解析を用いてハイパーパラメータを高精度に相関する手法を提案する。 各種RNNアーキテクチャの研究により,AeLLEはRNNリアプノフスペクトルと精度の相関が得られた。
• 参考スコア（独自算出の注目度）: 5.320309897313026
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recurrent Neural Networks (RNN) are ubiquitous computing systems for sequences and multivariate time series data. While several robust architectures of RNN are known, it is unclear how to relate RNN initialization, architecture, and other hyperparameters with accuracy for a given task. In this work, we propose to treat RNN as dynamical systems and to correlate hyperparameters with accuracy through Lyapunov spectral analysis, a methodology specifically designed for nonlinear dynamical systems. To address the fact that RNN features go beyond the existing Lyapunov spectral analysis, we propose to infer relevant features from the Lyapunov spectrum with an Autoencoder and an embedding of its latent representation (AeLLE). Our studies of various RNN architectures show that AeLLE successfully correlates RNN Lyapunov spectrum with accuracy. Furthermore, the latent representation learned by AeLLE is generalizable to novel inputs from the same task and is formed early in the process of RNN training. The latter property allows for the prediction of the accuracy to which RNN would converge when training is complete. We conclude that representation of RNN through Lyapunov spectrum along with AeLLE, and assists with hyperparameter selection of RNN, provides a novel method for organization and interpretation of variants of RNN architectures.
• Abstract（参考訳）: リカレントニューラルネットワーク(Recurrent Neural Networks、RNN)は、シーケンスと多変量時系列データのためのユビキタスコンピューティングシステムである。 RNNの頑健なアーキテクチャがいくつか知られているが、RNNの初期化やアーキテクチャ、その他のハイパーパラメータを与えられたタスクに対して正確に関連付ける方法は不明である。 本研究では,非線形力学系に特化して設計された手法であるリアプノフスペクトル解析を用いて,RNNを力学系として扱うことを提案する。 既存のリアプノフスペクトル解析を超越したRNN機能を実現するために,オートエンコーダと潜在表現の埋め込み(AeLLE)を用いて,リアプノフスペクトルから関連する特徴を推定することを提案する。 各種RNNアーキテクチャの研究により,AeLLEはRNNリアプノフスペクトルと精度の相関が得られた。 さらに、AeLLEが学習した潜在表現は、同一タスクからの新規入力に一般化可能であり、RNNトレーニングの初期段階に形成される。 後者の特性は、トレーニングが完了するとRNNが収束する精度の予測を可能にする。 我々は、リアプノフスペクトルによるRNNの表現とAeLLEを併用し、RNNのハイパーパラメータ選択を支援し、RNNアーキテクチャの変種を整理・解釈するための新しい手法を提供すると結論付けた。

関連論文リスト

• Scalable Mechanistic Neural Networks [52.28945097811129]
  長い時間的シーケンスを含む科学機械学習応用のための拡張ニューラルネットワークフレームワークを提案する。 元のメカニスティックニューラルネットワーク (MNN) を再構成することにより、計算時間と空間の複雑さを、それぞれ、列長に関して立方体と二次体から線形へと減少させる。 大規模な実験により、S-MNNは元のMNNと精度で一致し、計算資源を大幅に削減した。
  論文  参考訳（メタデータ） (2024-10-08T14:27:28Z)
• Universal approximation property of invertible neural networks [76.95927093274392]
  Invertible Neural Network (INN) は、設計によって可逆性を持つニューラルネットワークアーキテクチャである。 その可逆性とヤコビアンのトラクタビリティのおかげで、IGNは確率的モデリング、生成的モデリング、表現的学習など、さまざまな機械学習応用がある。
  論文  参考訳（メタデータ） (2022-04-15T10:45:26Z)
• Reverse engineering recurrent neural networks with Jacobian switching linear dynamical systems [24.0378100479104]
  リカレントニューラルネットワーク(RNN)は時系列データを処理する強力なモデルである。 トレーニングされたRNNをその固定点を中心に線形化することでリバースエンジニアリングするフレームワークは洞察を与えてきたが、アプローチには大きな課題がある。 本稿では,新しい線形力学系 (SLDS) の定式化によるRNNの協調学習により,これらの制約を克服する新しいモデルを提案する。
  論文  参考訳（メタデータ） (2021-11-01T20:49:30Z)
• Framing RNN as a kernel method: A neural ODE approach [11.374487003189468]
  我々は,RNNの解を,入力シーケンスの特定の特徴集合の線形関数と見なせることを示す。 我々は,大規模なリカレントネットワークの一般化と安定性に関する理論的保証を得る。
  論文  参考訳（メタデータ） (2021-06-02T14:46:40Z)
• Coupled Oscillatory Recurrent Neural Network (coRNN): An accurate and (gradient) stable architecture for learning long time dependencies [15.2292571922932]
  本稿では,リカレントニューラルネットワークのための新しいアーキテクチャを提案する。 提案するRNNは, 2次常微分方程式系の時間分解に基づく。 実験の結果,提案したRNNは,様々なベンチマークによる最先端技術に匹敵する性能を示した。
  論文  参考訳（メタデータ） (2020-10-02T12:35:04Z)
• How Neural Networks Extrapolate: From Feedforward to Graph Neural Networks [80.55378250013496]
  勾配勾配降下法によりトレーニングされたニューラルネットワークが、トレーニング分布の支持の外で学んだことを外挿する方法について検討する。 グラフニューラルネットワーク(GNN)は、より複雑なタスクでいくつかの成功を収めている。
  論文  参考訳（メタデータ） (2020-09-24T17:48:59Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• On Lyapunov Exponents for RNNs: Understanding Information Propagation Using Dynamical Systems Tools [6.199300239433395]
  Lyapunov Exponents (LEs) は非線形系軌道の膨張と収縮の速度を測定する。 情報の前方伝播は誤り勾配の後方伝播と関係しているため、レはRNN訓練力学の安定性に左右される。 学習力学の安定性を理解し、活用するためのツールとして、リャプノフスペクトルは、規範的な数学的アプローチの間の既存のギャップを埋める。
  論文  参考訳（メタデータ） (2020-06-25T00:53:19Z)
• Understanding Recurrent Neural Networks Using Nonequilibrium Response Theory [5.33024001730262]
  リカレントニューラルネットワーク(Recurrent Neural Network, RNN)は、シーケンシャルデータの解析に機械学習で広く使用される脳モデルである。 非平衡統計力学からの応答理論を用いてRNNが入力信号を処理する方法を示す。
  論文  参考訳（メタデータ） (2020-06-19T10:09:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。