論文の概要: Gates are not what you need in RNNs

• arxiv url: http://arxiv.org/abs/2108.00527v1
• Date: Sun, 1 Aug 2021 19:20:34 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-04 05:06:11.936282
• Title: Gates are not what you need in RNNs
• Title（参考訳）: RNNで必要なのはゲートではない
• Authors: Ronalds Zakovskis, Andis Draguns, Eliza Gaile, Emils Ozolins, Karlis Freivalds
• Abstract要約: 従来のセルに勝って1つのゲートを使わないResidual Recurrent Unit(RRU)と呼ばれる新しいリカレントセルを提案する。 RRUは、線形変換、ReLU、正規化と共に、残りのショートカット接続に基づいている。 実験の結果,RRUは従来のゲートユニットよりも優れていることがわかった。
• 参考スコア（独自算出の注目度）: 2.7998963147546148
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recurrent neural networks have flourished in many areas. Consequently, we can see new RNN cells being developed continuously, usually by creating or using gates in a new, original way. But what if we told you that gates in RNNs are redundant? In this paper, we propose a new recurrent cell called Residual Recurrent Unit (RRU) which beats traditional cells and does not employ a single gate. It is based on the residual shortcut connection together with linear transformations, ReLU, and normalization. To evaluate our cell's effectiveness, we compare its performance against the widely-used GRU and LSTM cells and the recently proposed Mogrifier LSTM on several tasks including, polyphonic music modeling, language modeling, and sentiment analysis. Our experiments show that RRU outperforms the traditional gated units on most of these tasks. Also, it has better robustness to parameter selection, allowing immediate application in new tasks without much tuning. We have implemented the RRU in TensorFlow, and the code is made available at https://github.com/LUMII-Syslab/RRU .
• Abstract（参考訳）: リカレントニューラルネットワークは多くの領域で盛んである。 その結果、新しいRNN細胞は、通常、新しいオリジナルな方法でゲートを作成したり使用したりすることで、継続的に開発される。 しかし、もしRNNのゲートが冗長であると言ったらどうでしょう? 本稿では,従来のセルに勝って1つのゲートを使わないResidual Recurrent Unit(RRU)と呼ばれる新しいリカレントセルを提案する。 これは、線形変換、ReLU、正規化と共に、残りのショートカット接続に基づいている。 このセルの有効性を評価するために,多声楽曲のモデル化,言語モデル,感情分析など,最近提案されたモグラファイタlstmとの比較を行った。 実験の結果,RRUは従来のゲートユニットよりも優れていることがわかった。 また、パラメータ選択に対する堅牢性も向上し、チューニングをあまり行わずに、新しいタスクに即座に適用できる。 TensorFlowでRRUを実装しており、コードはhttps://github.com/LUMII-Syslab/RRUで公開されている。

関連論文リスト

• Were RNNs All We Needed? [53.393497486332]
  従来のリカレントニューラルネットワーク(RNN)を10年以上前から再検討しています。 入力から隠れた状態依存を取り除くことで、LSTMやGRUはBPTTを必要とせず、並列で効率的に訓練できることを示す。
  論文  参考訳（メタデータ） (2024-10-02T03:06:49Z)
• Hierarchically Gated Recurrent Neural Network for Sequence Modeling [36.14544998133578]
  階層的Gated Recurrent Neural Network (HGRN) と呼ばれるゲート線形RNNモデルを提案する。 言語モデリング,画像分類,長距離アリーナベンチマーク実験は,提案モデルの有効性と有効性を示す。
  論文  参考訳（メタデータ） (2023-11-08T16:50:05Z)
• RigLSTM: Recurrent Independent Grid LSTM for Generalizable Sequence Learning [75.61681328968714]
  本稿では,対象タスクの基盤となるモジュール構造を利用するために,リカレントな独立したGrid LSTM(RigLSTM)を提案する。 本モデルでは, セル選択, 入力特徴選択, 隠れ状態選択, ソフト状態更新を採用し, より優れた一般化を実現する。
  論文  参考訳（メタデータ） (2023-11-03T07:40:06Z)
• DartsReNet: Exploring new RNN cells in ReNet architectures [4.266320191208303]
  DARTSと呼ばれるニューラル・アーキテクチャ・サーチ(NAS)を用いた画像分類のための新しいリカレント・ニューラル・ニューラルネットワーク(RNN)セルを提案する。 ReNetアーキテクチャは、畳み込みとプールのステップの代替として提示されたRNNベースのアプローチです。
  論文  参考訳（メタデータ） (2023-04-11T09:42:10Z)
• An Improved Time Feedforward Connections Recurrent Neural Networks [3.0965505512285967]
  リカレントニューラルネットワーク(RNN)は洪水予測や財務データ処理といった時間的問題に広く応用されている。 従来のRNNモデルは、厳密な時系列依存性のために勾配問題を増幅する。 勾配問題に対処するために、改良された時間フィードフォワード接続リカレントニューラルネットワーク(TFC-RNN)モデルが最初に提案された。 単一ゲートリカレントユニット(Single Gate Recurrent Unit, SGRU)と呼ばれる新しい細胞構造が提示され、RNNセルのパラメータ数が減少した。
  論文  参考訳（メタデータ） (2022-11-03T09:32:39Z)
• Working Memory Connections for LSTM [51.742526187978726]
  ワーキングメモリ接続は,様々なタスクにおけるLSTMの性能を常に向上することを示す。 数値的な結果は、細胞状態がゲート構造に含まれる価値のある情報を含んでいることを示唆している。
  論文  参考訳（メタデータ） (2021-08-31T18:01:30Z)
• Towards Evaluating and Training Verifiably Robust Neural Networks [81.39994285743555]
  We study the relationship between IBP and CROWN, and prove that CROWN are always tight than IBP when select each bounding lines。 線形結合伝播(LBP) CROWNの緩やかなバージョンを提案する。これは、大きなネットワークを検証して、より低い検証エラーを得るのに使用できる。
  論文  参考訳（メタデータ） (2021-04-01T13:03:48Z)
• Fusion Recurrent Neural Network [88.5550074808201]
  我々は、新しい簡潔かつ有望なRNN-Fusion Recurrent Neural Network (Fusion RNN)を提案する。 Fusion RNNはFusionモジュールとTransportモジュールで構成されている。 本研究では,Fusion RNNのシーケンス特徴抽出能力を評価するために,シーケンスデータ,到着推定時刻(ETA)の代表的なデータマイニングタスクを選択し,Fusion RNNに基づく新しいモデルを提案する。
  論文  参考訳（メタデータ） (2020-06-07T07:39:49Z)
• SiTGRU: Single-Tunnelled Gated Recurrent Unit for Abnormality Detection [29.500392184282518]
  異常検出のための単一トンネルGRU(Single Tunnelled GRU)と呼ばれるGRU(Gated Recurrent Unit)の新規バージョンを提案する。 提案手法は,標準GRUとLong Short Term Memory(LSTM)ネットワークを,検出および一般化タスクのほとんどの指標で上回っている。
  論文  参考訳（メタデータ） (2020-03-30T14:58:13Z)
• Refined Gate: A Simple and Effective Gating Mechanism for Recurrent Units [68.30422112784355]
  本稿では,この問題に対処する一般ゲートリカレントニューラルネットワークにおける新しいゲーティング機構を提案する。 提案したゲートは、抽出された入力特徴とバニラゲートの出力を直接的にショートする。 LSTM, GRU, MGUの3種類のゲートRNNに対して, 提案したゲーティング機構を検証する。
  論文  参考訳（メタデータ） (2020-02-26T07:51:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。