Fugu-MT 論文翻訳(概要): A Technical Note on the Architectural Effects on Maximum Dependency Lengths of Recurrent Neural Networks

論文の概要: A Technical Note on the Architectural Effects on Maximum Dependency Lengths of Recurrent Neural Networks

arxiv url: http://arxiv.org/abs/2408.11946v1
Date: Fri, 19 Jul 2024 23:00:38 GMT
ステータス: 処理完了
システム内更新日: 2024-08-25 13:51:32.163213
Title: A Technical Note on the Architectural Effects on Maximum Dependency Lengths of Recurrent Neural Networks
Title（参考訳）: リカレントニューラルネットワークの最大依存性長に対する構造的影響に関する技術的考察
Authors: Jonathan S. Kent, Michael M. Murray,
Abstract要約: 本研究では、リカレントニューラルネットワーク(RNN)の最大依存性長を決定する手法を提案する。次に、従来のRNNの最大依存性長、ゲートリカレントユニット(GRU)、長期記憶(LSTM)モデルに対するレイヤーの数とニューロン数を含むアーキテクチャの変化の影響を研究する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: This work proposes a methodology for determining the maximum dependency length of a recurrent neural network (RNN), and then studies the effects of architectural changes, including the number and neuron count of layers, on the maximum dependency lengths of traditional RNN, gated recurrent unit (GRU), and long-short term memory (LSTM) models.
Abstract（参考訳）: 本研究では、リカレントニューラルネットワーク(RNN)の最大依存性長を決定する手法を提案し、その後、従来のRNNの最大依存性長、ゲートリカレントユニット(GRU)、長寿命メモリ(LSTM)モデルに対するレイヤーの数とニューロン数を含むアーキテクチャ変化の影響について検討する。

関連論文リスト

Scalable Mechanistic Neural Networks [52.28945097811129]
長い時間的シーケンスを含む科学機械学習応用のための拡張ニューラルネットワークフレームワークを提案する。元のメカニスティックニューラルネットワーク (MNN) を再構成することにより、計算時間と空間の複雑さを、それぞれ、列長に関して立方体と二次体から線形へと減少させる。大規模な実験により、S-MNNは元のMNNと精度で一致し、計算資源を大幅に削減した。
論文参考訳（メタデータ） (2024-10-08T14:27:28Z)
Hybridization of Persistent Homology with Neural Networks for Time-Series Prediction: A Case Study in Wave Height [0.0]
本稿では,ニューラルネットワークモデルの予測性能を向上させる機能工学手法を提案する。具体的には、計算トポロジ手法を利用して、入力データから貴重なトポロジ的特徴を導出する。タイムアヘッド予測では、FNN、RNN、LSTM、GRUモデルにおいて、R2$スコアの強化が重要だった。
論文参考訳（メタデータ） (2024-09-03T01:26:21Z)
TKAN: Temporal Kolmogorov-Arnold Networks [0.0]
LSTM(Long Short-Term Memory)は、シーケンシャルデータにおける長期的な依存関係をキャプチャする能力を示している。 Kolmogorov-Arnold Networks (KANs) に触発されたマルチ層パーセプトロン(MLP)の代替案我々はkanとLSTM、TKAN(Temporal Kolomogorov-Arnold Networks)にインスパイアされた新しいニューラルネットワークアーキテクチャを提案する。
論文参考訳（メタデータ） (2024-05-12T17:40:48Z)
GRSN: Gated Recurrent Spiking Neurons for POMDPs and MARL [28.948871773551854]
スパイキングニューラルネットワーク(SNN)は、エネルギー効率と高速推論能力のため、様々な分野に広く応用されている。現在のスパイキング強化学習(SRL)アルゴリズムでは、複数の時間ステップのシミュレーション結果がRLの単一ステップ決定にしか対応しない。本稿では、スパイキングニューロンの単一ステップ更新を利用して、RLの歴史的状態情報を蓄積する新しい時間的アライメントパラダイム(TAP)を提案する。
論文参考訳（メタデータ） (2024-04-24T02:20:50Z)
Long Short-term Memory with Two-Compartment Spiking Neuron [64.02161577259426]
LSTM-LIFとよばれる,生物学的にインスパイアされたLong Short-Term Memory Leaky Integrate-and-Fireのスパイキングニューロンモデルを提案する。実験結果は,時間的分類タスクの多種多様な範囲において,優れた時間的分類能力,迅速な訓練収束,ネットワークの一般化性,LSTM-LIFモデルの高エネルギー化を実証した。したがって、この研究は、新しいニューロモルフィック・コンピューティング・マシンにおいて、困難な時間的処理タスクを解決するための、無数の機会を開放する。
論文参考訳（メタデータ） (2023-07-14T08:51:03Z)
The Expressive Leaky Memory Neuron: an Efficient and Expressive Phenomenological Neuron Model Can Solve Long-Horizon Tasks [64.08042492426992]
本稿では,脳皮質ニューロンの生物学的モデルであるExpressive Memory(ELM)ニューロンモデルを紹介する。 ELMニューロンは、上記の入力-出力関係を1万以下のトレーニング可能なパラメータと正確に一致させることができる。本稿では,Long Range Arena(LRA)データセットなど,時間構造を必要とするタスクで評価する。
論文参考訳（メタデータ） (2023-06-14T13:34:13Z)
Knowledge Enhanced Neural Networks for relational domains [83.9217787335878]
我々は、ニューラルネットワークに事前論理的知識を注入するニューラルネットワークアーキテクチャであるKENNに焦点を当てる。本稿では,関係データに対するKENNの拡張を提案する。
論文参考訳（メタデータ） (2022-05-31T13:00:34Z)
Low-bit Quantization of Recurrent Neural Network Language Models Using Alternating Direction Methods of Multipliers [67.688697838109]
本稿では、乗算器の交互方向法(ADMM)を用いて、スクラッチから量子化RNNLMを訓練する新しい手法を提案する。 2つのタスクの実験から、提案されたADMM量子化は、完全な精度ベースライン RNNLM で最大31倍のモデルサイズ圧縮係数を達成したことが示唆された。
論文参考訳（メタデータ） (2021-11-29T09:30:06Z)
UnICORNN: A recurrent model for learning very long time dependencies [0.0]
2次常微分方程式のハミルトン系の離散性を保つ構造に基づく新しいRNNアーキテクチャを提案する。結果として得られるrnnは高速で可逆(時間)で、メモリ効率が良く、隠れた状態勾配の厳密な境界を導出して、爆発と消滅の勾配問題の緩和を証明する。
論文参考訳（メタデータ） (2021-03-09T15:19:59Z)
Incremental Training of a Recurrent Neural Network Exploiting a Multi-Scale Dynamic Memory [79.42778415729475]
本稿では,マルチスケール学習を対象とする,漸進的に訓練された再帰的アーキテクチャを提案する。隠れた状態を異なるモジュールに分割することで、シンプルなRNNのアーキテクチャを拡張する方法を示す。新しいモジュールがモデルに反復的に追加され、徐々に長い依存関係を学習するトレーニングアルゴリズムについて議論する。
論文参考訳（メタデータ） (2020-06-29T08:35:49Z)
Learning Various Length Dependence by Dual Recurrent Neural Networks [0.0]
デュアルリカレントニューラルネットワーク(DuRNN)という新しいモデルを提案する。 DuRNNは短期依存を学習し、長期依存を徐々に学習する2つの部分から構成される。コントリビューションは,1)長期的・短期的依存を個別に学習するための分割・並行的戦略に基づく新たな再帰モデル,2)異なる時間的依存尺度の分離・学習を促進するための選択メカニズムである。
論文参考訳（メタデータ） (2020-05-28T09:30:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。