論文の概要: Fusion Recurrent Neural Network

• arxiv url: http://arxiv.org/abs/2006.04069v1
• Date: Sun, 7 Jun 2020 07:39:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-24 07:27:39.962234
• Title: Fusion Recurrent Neural Network
• Title（参考訳）: 核融合リカレントニューラルネットワーク
• Authors: Yiwen Sun, Yulu Wang, Kun Fu, Zheng Wang, Changshui Zhang, Jieping Ye
• Abstract要約: 我々は、新しい簡潔かつ有望なRNN-Fusion Recurrent Neural Network (Fusion RNN)を提案する。 Fusion RNNはFusionモジュールとTransportモジュールで構成されている。 本研究では,Fusion RNNのシーケンス特徴抽出能力を評価するために,シーケンスデータ,到着推定時刻(ETA)の代表的なデータマイニングタスクを選択し,Fusion RNNに基づく新しいモデルを提案する。
• 参考スコア（独自算出の注目度）: 88.5550074808201
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Considering deep sequence learning for practical application, two representative RNNs - LSTM and GRU may come to mind first. Nevertheless, is there no chance for other RNNs? Will there be a better RNN in the future? In this work, we propose a novel, succinct and promising RNN - Fusion Recurrent Neural Network (Fusion RNN). Fusion RNN is composed of Fusion module and Transport module every time step. Fusion module realizes the multi-round fusion of the input and hidden state vector. Transport module which mainly refers to simple recurrent network calculate the hidden state and prepare to pass it to the next time step. Furthermore, in order to evaluate Fusion RNN's sequence feature extraction capability, we choose a representative data mining task for sequence data, estimated time of arrival (ETA) and present a novel model based on Fusion RNN. We contrast our method and other variants of RNN for ETA under massive vehicle travel data from DiDi Chuxing. The results demonstrate that for ETA, Fusion RNN is comparable to state-of-the-art LSTM and GRU which are more complicated than Fusion RNN.
• Abstract（参考訳）: 実用化のためのディープシーケンス学習を考えると、LSTMとGRUの2つの代表的RNNが最初に思い浮かびます。 それでも他のRNNにはチャンスはありませんか? 将来的にはもっとよいRNNがあるのだろうか? 本稿では,新しい,簡潔かつ有望なRNN-Fusion Recurrent Neural Network (Fusion RNN)を提案する。 Fusion RNNはFusionモジュールとTransportモジュールで構成されている。 fusionモジュールは、入力と隠れ状態ベクトルのマルチラウンド融合を実現する。 主に単純なリカレントネットワークを指すトランスポートモジュールは、隠れた状態を計算し、次のタイムステップに渡す準備をする。 さらに、Fusion RNNのシーケンス特徴抽出能力を評価するために、シーケンスデータの代表データマイニングタスク、到着推定時間(ETA)を選択し、Fusion RNNに基づいた新しいモデルを提案する。 我々はDiDi Chuxingの大規模車両走行データに基づいて,本手法と他の ETA 用RNN の変種を比較した。 その結果, Fusion RNN は Fusion RNN よりも複雑で最先端の LSTM や GRU と同等であることがわかった。

関連論文リスト

• Use of Parallel Explanatory Models to Enhance Transparency of Neural Network Configurations for Cell Degradation Detection [18.214293024118145]
  我々は,ニューラルネットワークの内部動作を照らし,理解するための並列モデルを構築している。 RNNの各層が入力分布を変換して検出精度を高める方法を示す。 同時に、精度の向上を制限するために作用する副作用も発見する。
  論文  参考訳（メタデータ） (2024-04-17T12:22:54Z)
• Learning Useful Representations of Recurrent Neural Network Weight Matrices [30.583752432727326]
  リカレントニューラルネットワーク(Recurrent Neural Networks、RNN)は、汎用並列シーケンスコンピュータである。 下流タスクと同様に、RNN分析を容易にするRNN重みの有用な表現をどうやって学習するか? 我々は、RNN重みに対するいくつかの力学的アプローチを検討し、RNNに対して置換同変のDeep Weight Space層を適用する。 我々の2つの新しい機能主義者は、入力を探索することでRNNの重みから情報を'インターロゲート'することで抽出する。
  論文  参考訳（メタデータ） (2024-03-18T17:32:23Z)
• On the Computational Complexity and Formal Hierarchy of Second Order Recurrent Neural Networks [59.85314067235965]
  2次次リカレントネットワーク(RNN)の理論基盤を拡大する(2次RNN) 有界時間でチューリング完備な RNN のクラスが存在することを証明している。 また、記憶のない2ドルのRNNは、バニラRNNのような現代のモデルよりも優れており、正規文法の認識において繰り返し単位をゲートしていることを示す。
  論文  参考訳（メタデータ） (2023-09-26T06:06:47Z)
• Multi-blank Transducers for Speech Recognition [49.6154259349501]
  提案手法では,出力時に2つ以上の入力フレームを消費する空白記号を新たに導入する。 付加記号を大きなブランク、マルチブランクRNN-Tと呼ぶ。 複数の言語とデータセットの実験により、マルチブランクRNN-T法は、相対速度が+90%/+139%以上になることを示した。
  論文  参考訳（メタデータ） (2022-11-04T16:24:46Z)
• Exploiting Low-Rank Tensor-Train Deep Neural Networks Based on Riemannian Gradient Descent With Illustrations of Speech Processing [74.31472195046099]
  我々は、低ランクテンソルトレイン深層ニューラルネットワーク(TT-DNN)を用いて、エンドツーエンドのディープラーニングパイプライン、すなわちLR-TT-DNNを構築する。 LR-TT-DNNと畳み込みニューラルネットワーク(CNN)を組み合わせたハイブリッドモデルを構築し、性能を向上する。 我々の実証的な証拠は、モデルパラメータが少ないLR-TT-DNNとCNN+(LR-TT-DNN)モデルが、TT-DNNとCNN+(LR-TT-DNN)モデルよりも優れていることを示している。
  論文  参考訳（メタデータ） (2022-03-11T15:55:34Z)
• Fully Spiking Variational Autoencoder [66.58310094608002]
  スパイキングニューラルネットワーク(SNN)は、超高速で超低エネルギー消費のニューロモルフィックデバイス上で動作することができる。 本研究では,SNNを用いた可変オートエンコーダ(VAE)を構築し,画像生成を実現する。
  論文  参考訳（メタデータ） (2021-09-26T06:10:14Z)
• DNNFusion: Accelerating Deep Neural Networks Execution with Advanced Operator Fusion [28.03712082540713]
  本稿では, DNNFusion と呼ばれる, 新規かつ広範囲なループ融合フレームワークを提案する。 DNNFusionは最大8.8倍の融合機会を示し、9.3倍のスピードアップで最先端の4つのDNN実行フレームワークを上回っている。 メモリ要求の削減とスピードアップにより、モバイルデバイス上で多くのターゲットモデルを実行できるようになり、リアルタイムアプリケーションの一部にもなれる。
  論文  参考訳（メタデータ） (2021-08-30T16:11:38Z)
• Recurrent Neural Network from Adder's Perspective: Carry-lookahead RNN [9.20540910698296]
  本稿では、リカレントニューラルネットワーク(RNN)とシリアル加算器の類似性について論じる。 carry-lookahead adder にインスパイアされ、RNN に carry-lookahead モジュールを導入し、RNN の並列実行を可能にする。
  論文  参考訳（メタデータ） (2021-06-22T12:28:33Z)
• MomentumRNN: Integrating Momentum into Recurrent Neural Networks [32.40217829362088]
  我々は,MomentumRNNが,RNNのトレーニングにおいて消失する勾配問題を緩和することを示した。 MomentumRNNは、最先端のRNNなど、様々な種類のリカレント細胞に適用できる。 本稿では,Adam や Nesterov などの高度運動量に基づく最適化手法が再起動によって高速化され,MomentumRNN フレームワークに容易に組み込めることを示す。
  論文  参考訳（メタデータ） (2020-06-12T03:02:29Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。