論文の概要: Fusion Recurrent Neural Network
- arxiv url: http://arxiv.org/abs/2006.04069v1
- Date: Sun, 7 Jun 2020 07:39:49 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-24 07:27:39.962234
- Title: Fusion Recurrent Neural Network
- Title(参考訳): 核融合リカレントニューラルネットワーク
- Authors: Yiwen Sun, Yulu Wang, Kun Fu, Zheng Wang, Changshui Zhang, Jieping Ye
- Abstract要約: 我々は、新しい簡潔かつ有望なRNN-Fusion Recurrent Neural Network (Fusion RNN)を提案する。
Fusion RNNはFusionモジュールとTransportモジュールで構成されている。
本研究では,Fusion RNNのシーケンス特徴抽出能力を評価するために,シーケンスデータ,到着推定時刻(ETA)の代表的なデータマイニングタスクを選択し,Fusion RNNに基づく新しいモデルを提案する。
- 参考スコア(独自算出の注目度): 88.5550074808201
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Considering deep sequence learning for practical application, two
representative RNNs - LSTM and GRU may come to mind first. Nevertheless, is
there no chance for other RNNs? Will there be a better RNN in the future? In
this work, we propose a novel, succinct and promising RNN - Fusion Recurrent
Neural Network (Fusion RNN). Fusion RNN is composed of Fusion module and
Transport module every time step. Fusion module realizes the multi-round fusion
of the input and hidden state vector. Transport module which mainly refers to
simple recurrent network calculate the hidden state and prepare to pass it to
the next time step. Furthermore, in order to evaluate Fusion RNN's sequence
feature extraction capability, we choose a representative data mining task for
sequence data, estimated time of arrival (ETA) and present a novel model based
on Fusion RNN. We contrast our method and other variants of RNN for ETA under
massive vehicle travel data from DiDi Chuxing. The results demonstrate that for
ETA, Fusion RNN is comparable to state-of-the-art LSTM and GRU which are more
complicated than Fusion RNN.
- Abstract(参考訳): 実用化のためのディープシーケンス学習を考えると、LSTMとGRUの2つの代表的RNNが最初に思い浮かびます。
それでも他のRNNにはチャンスはありませんか?
将来的にはもっとよいRNNがあるのだろうか?
本稿では,新しい,簡潔かつ有望なRNN-Fusion Recurrent Neural Network (Fusion RNN)を提案する。
Fusion RNNはFusionモジュールとTransportモジュールで構成されている。
fusionモジュールは、入力と隠れ状態ベクトルのマルチラウンド融合を実現する。
主に単純なリカレントネットワークを指すトランスポートモジュールは、隠れた状態を計算し、次のタイムステップに渡す準備をする。
さらに、Fusion RNNのシーケンス特徴抽出能力を評価するために、シーケンスデータの代表データマイニングタスク、到着推定時間(ETA)を選択し、Fusion RNNに基づいた新しいモデルを提案する。
我々はDiDi Chuxingの大規模車両走行データに基づいて,本手法と他の ETA 用RNN の変種を比較した。
その結果, Fusion RNN は Fusion RNN よりも複雑で最先端の LSTM や GRU と同等であることがわかった。
関連論文リスト
- On the Computational Complexity and Formal Hierarchy of Second Order
Recurrent Neural Networks [59.85314067235965]
2次次リカレントネットワーク(RNN)の理論基盤を拡大する(2次RNN)
有界時間でチューリング完備な RNN のクラスが存在することを証明している。
また、記憶のない2ドルのRNNは、バニラRNNのような現代のモデルよりも優れており、正規文法の認識において繰り返し単位をゲートしていることを示す。
論文 参考訳(メタデータ) (2023-09-26T06:06:47Z) - Kernel Limit of Recurrent Neural Networks Trained on Ergodic Data
Sequences [0.0]
我々は、リカレントニューラルネットワーク(RNN)の接点を、隠されたユニットの数、シーケンス内のデータサンプル、隠された状態更新、トレーニングステップを同時に無限に成長させるものとして特徴づける。
これらの手法は、データサンプルの数とニューラルネットワークのサイズが無限に増加するにつれて、データシーケンスに基づいてトレーニングされたRNNのニューラルネットワーク(NTK)制限を引き起こす。
論文 参考訳(メタデータ) (2023-08-28T13:17:39Z) - DartsReNet: Exploring new RNN cells in ReNet architectures [4.266320191208303]
DARTSと呼ばれるニューラル・アーキテクチャ・サーチ(NAS)を用いた画像分類のための新しいリカレント・ニューラル・ニューラルネットワーク(RNN)セルを提案する。
ReNetアーキテクチャは、畳み込みとプールのステップの代替として提示されたRNNベースのアプローチです。
論文 参考訳(メタデータ) (2023-04-11T09:42:10Z) - Exploiting Low-Rank Tensor-Train Deep Neural Networks Based on
Riemannian Gradient Descent With Illustrations of Speech Processing [74.31472195046099]
我々は、低ランクテンソルトレイン深層ニューラルネットワーク(TT-DNN)を用いて、エンドツーエンドのディープラーニングパイプライン、すなわちLR-TT-DNNを構築する。
LR-TT-DNNと畳み込みニューラルネットワーク(CNN)を組み合わせたハイブリッドモデルを構築し、性能を向上する。
我々の実証的な証拠は、モデルパラメータが少ないLR-TT-DNNとCNN+(LR-TT-DNN)モデルが、TT-DNNとCNN+(LR-TT-DNN)モデルよりも優れていることを示している。
論文 参考訳(メタデータ) (2022-03-11T15:55:34Z) - Fully Spiking Variational Autoencoder [66.58310094608002]
スパイキングニューラルネットワーク(SNN)は、超高速で超低エネルギー消費のニューロモルフィックデバイス上で動作することができる。
本研究では,SNNを用いた可変オートエンコーダ(VAE)を構築し,画像生成を実現する。
論文 参考訳(メタデータ) (2021-09-26T06:10:14Z) - DNNFusion: Accelerating Deep Neural Networks Execution with Advanced
Operator Fusion [28.03712082540713]
本稿では, DNNFusion と呼ばれる, 新規かつ広範囲なループ融合フレームワークを提案する。
DNNFusionは最大8.8倍の融合機会を示し、9.3倍のスピードアップで最先端の4つのDNN実行フレームワークを上回っている。
メモリ要求の削減とスピードアップにより、モバイルデバイス上で多くのターゲットモデルを実行できるようになり、リアルタイムアプリケーションの一部にもなれる。
論文 参考訳(メタデータ) (2021-08-30T16:11:38Z) - Recurrent Neural Network from Adder's Perspective: Carry-lookahead RNN [9.20540910698296]
本稿では、リカレントニューラルネットワーク(RNN)とシリアル加算器の類似性について論じる。
carry-lookahead adder にインスパイアされ、RNN に carry-lookahead モジュールを導入し、RNN の並列実行を可能にする。
論文 参考訳(メタデータ) (2021-06-22T12:28:33Z) - MomentumRNN: Integrating Momentum into Recurrent Neural Networks [32.40217829362088]
我々は,MomentumRNNが,RNNのトレーニングにおいて消失する勾配問題を緩和することを示した。
MomentumRNNは、最先端のRNNなど、様々な種類のリカレント細胞に適用できる。
本稿では,Adam や Nesterov などの高度運動量に基づく最適化手法が再起動によって高速化され,MomentumRNN フレームワークに容易に組み込めることを示す。
論文 参考訳(メタデータ) (2020-06-12T03:02:29Z) - Tensor train decompositions on recurrent networks [60.334946204107446]
マトリックス製品状態(MPS)テンソルトレインは、ストレージの削減と推論時の計算時間の観点から、MPOよりも魅力的な特徴を持つ。
理論解析により,MPSテンソル列車はLSTMネットワーク圧縮の最前線に置かれるべきであることを示す。
論文 参考訳(メタデータ) (2020-06-09T18:25:39Z) - Model Fusion via Optimal Transport [64.13185244219353]
ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。
これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
論文 参考訳(メタデータ) (2019-10-12T22:07:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。