Fugu-MT 論文翻訳(概要): RotLSTM: Rotating Memories in Recurrent Neural Networks

論文の概要: RotLSTM: Rotating Memories in Recurrent Neural Networks

arxiv url: http://arxiv.org/abs/2105.00357v1
Date: Sat, 1 May 2021 23:48:58 GMT
ステータス: 処理完了
システム内更新日: 2021-05-05 05:29:57.814640
Title: RotLSTM: Rotating Memories in Recurrent Neural Networks
Title（参考訳）: RotLSTM: リカレントニューラルネットワークにおける回転記憶
Authors: Vlad Velici, Adam Pr\"ugel-Bennett
Abstract要約: LSTMの細胞状態(メモリ)を、新しいトレーニング可能な重みのセットによってパラメータ化された回転行列を用いて変更する概念を紹介します。この追加により、bAbIデータセットのタスクのパフォーマンスが大幅に向上しました。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: Long Short-Term Memory (LSTM) units have the ability to memorise and use long-term dependencies between inputs to generate predictions on time series data. We introduce the concept of modifying the cell state (memory) of LSTMs using rotation matrices parametrised by a new set of trainable weights. This addition shows significant increases of performance on some of the tasks from the bAbI dataset.
Abstract（参考訳）: LSTM(Long Short-Term Memory)ユニットは、入力間の長期的な依存関係を記憶し、時系列データで予測を生成する能力を持つ。我々は,新しいトレーニング可能な重みの集合によってパラメータ化された回転行列を用いてLSTMのセル状態(メモリ)を変更するという概念を導入する。この追加により、bAbIデータセットからタスクの一部のパフォーマンスが大幅に向上した。

関連論文リスト

HOPE for a Robust Parameterization of Long-memory State Space Models [51.66430224089725]
線形時間不変(LTI)システムを利用する状態空間モデル(SSM)は、長いシーケンスの学習において有効であることが知られている。我々は,ハンケル作用素内のマルコフパラメータを利用するLTIシステムに対して,HOPEと呼ばれる新しいパラメータ化手法を開発した。我々の新しいパラメータ化は、固定時間ウィンドウ内に非遅延メモリを付与し、パッドドノイズのあるシーケンシャルCIFAR-10タスクによって実証的に相関する。
論文参考訳（メタデータ） (2024-05-22T20:20:14Z)
B-LSTM-MIONet: Bayesian LSTM-based Neural Operators for Learning the Response of Complex Dynamical Systems to Length-Variant Multiple Input Functions [6.75867828529733]
マルチインプットディープニューラル演算子(MIONet)は、異なるバナッハ空間における複数の入力関数を可能にするためにDeepONetを拡張した。 MIONetは、出力位置の制約なしにデータセットグリッド間隔をトレーニングする柔軟性を提供する。この作業はMIONetを再設計し、Long Short Term Memory(LSTM)を統合して、時間依存のデータからニューラル演算子を学ぶ。
論文参考訳（メタデータ） (2023-11-28T04:58:17Z)
Recurrent Neural Networks with more flexible memory: better predictions than rough volatility [0.0]
資産価格のボラティリティを予測するため,バニラと長期の長期記憶ネットワークの能力を比較した。検証損失が最小のモデルでは,複数時系列のデータセット上でトレーニングおよびテストを行った場合,大まかなボラティリティ予測を約20%上回る結果が得られた。
論文参考訳（メタデータ） (2023-08-04T14:24:57Z)
Self-Gated Memory Recurrent Network for Efficient Scalable HDR Deghosting [59.04604001936661]
本稿では,任意の長さの動的シーケンスを浮き彫りにする新しいネットワーク型HDRデゴースト法を提案する。本稿では,SGM(Self-Gated Memory)セルという新たなリカレントセルアーキテクチャを導入する。提案手法は,既存の3つの公開データセットを定量的に比較して,最先端の性能を実現する。
論文参考訳（メタデータ） (2021-12-24T12:36:33Z)
Working Memory Connections for LSTM [51.742526187978726]
ワーキングメモリ接続は,様々なタスクにおけるLSTMの性能を常に向上することを示す。数値的な結果は、細胞状態がゲート構造に含まれる価値のある情報を含んでいることを示唆している。
論文参考訳（メタデータ） (2021-08-31T18:01:30Z)
Slower is Better: Revisiting the Forgetting Mechanism in LSTM for Slower Information Decay [4.414729427965163]
より遅い電力法崩壊関数に沿って情報を忘れることを学ぶ電力法忘れゲートを提案する。提案手法を用いたLSTMは,複数の領域における他のリカレントネットワークよりも優れた長期依存性を学習できることを示す。
論文参考訳（メタデータ） (2021-05-12T20:21:16Z)
Memformer: A Memory-Augmented Transformer for Sequence Modeling [55.780849185884996]
本稿では、シーケンスモデリングのための効率的なニューラルネットワークであるMemformerを紹介する。我々のモデルは長いシーケンスを処理する際に線形時間複雑性と一定メモリ空間複雑性を実現する。
論文参考訳（メタデータ） (2020-10-14T09:03:36Z)
Object Tracking through Residual and Dense LSTMs [67.98948222599849]
LSTM(Long Short-Term Memory)リカレントニューラルネットワークに基づくディープラーニングベースのトラッカーが、強力な代替手段として登場した。 DenseLSTMはResidualおよびRegular LSTMより優れ、ニュアンセに対する高いレジリエンスを提供する。ケーススタディは、他のトラッカーの堅牢性を高めるために残差ベースRNNの採用を支援する。
論文参考訳（メタデータ） (2020-06-22T08:20:17Z)
Do RNN and LSTM have Long Memory? [15.072891084847647]
RNN と LSTM は,統計的観点から長いメモリを持たないことが証明された。長期記憶ネットワークの新しい定義を導入し、モデル重みを一定速度で減衰させる必要がある。この理論を検証するため、RNNとLSTMを最小限の修正を行うことで長期記憶ネットワークに変換し、その優位性を様々なデータセットの長期依存をモデル化する。
論文参考訳（メタデータ） (2020-06-06T13:30:03Z)
Sentiment Analysis Using Simplified Long Short-term Memory Recurrent Neural Networks [1.5146765382501612]
GOPディベートTwitterデータセット上で感情分析を行う。学習を高速化し、計算コストと時間を短縮するために、LSTMモデルのスリムバージョンを6つの異なるパラメータで削減する手法を提案する。
論文参考訳（メタデータ） (2020-05-08T12:50:10Z)
Encoding-based Memory Modules for Recurrent Neural Networks [79.42778415729475]
本稿では,リカレントニューラルネットワークの設計とトレーニングの観点から,記憶サブタスクについて考察する。本稿では,線形オートエンコーダを組み込んだエンコーディングベースのメモリコンポーネントを特徴とする新しいモデルであるLinear Memory Networkを提案する。
論文参考訳（メタデータ） (2020-01-31T11:14:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。