論文の概要: Delayed Memory Unit: Modelling Temporal Dependency Through Delay Gate

• arxiv url: http://arxiv.org/abs/2310.14982v1
• Date: Mon, 23 Oct 2023 14:29:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-24 19:25:08.690511
• Title: Delayed Memory Unit: Modelling Temporal Dependency Through Delay Gate
• Title（参考訳）: 遅延メモリユニット:遅延ゲートによる時間依存のモデリング
• Authors: Pengfei Sun and Jibin Wu and Malu Zhang and Paul Devos and Dick Botteldooren
• Abstract要約: リカレントニューラルネットワーク(Recurrent Neural Networks, RNN)は、時間的依存をモデル化する能力で有名である。 本稿では,バニラRNNの時間的モデリング能力を高めるために,DMU(Delayed Memory Unit)を提案する。 提案したDMUは、広範囲の逐次モデリングタスクにおいて優れた時間的モデリング能力を示す。
• 参考スコア（独自算出の注目度）: 17.611912733951662
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recurrent Neural Networks (RNNs) are renowned for their adeptness in modeling temporal dependencies, a trait that has driven their widespread adoption for sequential data processing. Nevertheless, vanilla RNNs are confronted with the well-known issue of gradient vanishing and exploding, posing a significant challenge for learning and establishing long-range dependencies. Additionally, gated RNNs tend to be over-parameterized, resulting in poor network generalization. To address these challenges, we propose a novel Delayed Memory Unit (DMU) in this paper, wherein a delay line structure, coupled with delay gates, is introduced to facilitate temporal interaction and temporal credit assignment, so as to enhance the temporal modeling capabilities of vanilla RNNs. Particularly, the DMU is designed to directly distribute the input information to the optimal time instant in the future, rather than aggregating and redistributing it over time through intricate network dynamics. Our proposed DMU demonstrates superior temporal modeling capabilities across a broad range of sequential modeling tasks, utilizing considerably fewer parameters than other state-of-the-art gated RNN models in applications such as speech recognition, radar gesture recognition, ECG waveform segmentation, and permuted sequential image classification.
• Abstract（参考訳）: リカレントニューラルネットワーク(RNN)は、シーケンシャルなデータ処理に広く採用されている特徴である、時間的依存をモデル化する能力で有名である。 それでも、バニラRNNは勾配の消滅と爆発というよく知られた問題に直面しており、長距離依存の学習と確立において大きな課題となっている。 さらに、ゲートRNNは過パラメータ化される傾向があるため、ネットワークの一般化は不十分である。 これらの課題に対処するため,本論文で提案する遅延メモリユニット(DMU)では,遅延ゲートと組み合わせた遅延ライン構造を導入し,時間的相互作用と時間的クレジット割り当てを促進し,バニラRNNの時間的モデリング能力を向上させる。 特に、DMUは、複雑なネットワークダイナミクスを通じて、時間とともにそれを集約し再配布するのではなく、入力情報を将来最適な時間に直接配布するように設計されている。 提案手法は,音声認識,レーダジェスチャー認識,ECG波形分割,順列画像分類などの応用において,最先端のRNNモデルよりもはるかに少ないパラメータを用いて,広範囲な逐次モデリングタスクにおいて優れた時間的モデリング能力を示す。

関連論文リスト

• Multi-Loss Convolutional Network with Time-Frequency Attention for Speech Enhancement [16.701596804113553]
  我々はDPCRNモジュールにおける自己注意を探求し、音声強調のためのMNTFA(Multi-Loss Convolutional Network with Time-Frequency Attention)と呼ばれるモデルの設計を行う。 DPRNNと比較して、軸方向の自己アテンションはメモリと計算の必要性を大幅に減らす。 本稿では,WavLMネットワークを用いた多分解能STFT損失とWavLM損失のジョイントトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-06-15T08:48:19Z)
• Gated Recurrent Neural Networks with Weighted Time-Delay Feedback [59.125047512495456]
  重み付き時間遅延フィードバック機構を備えた新しいゲートリカレントユニット(GRU)を導入する。 我々は、$tau$-GRUが、最先端のリカレントユニットやゲート型リカレントアーキテクチャよりも早く収束し、より一般化できることを示します。
  論文  参考訳（メタデータ） (2022-12-01T02:26:34Z)
• An Improved Time Feedforward Connections Recurrent Neural Networks [3.0965505512285967]
  リカレントニューラルネットワーク(RNN)は洪水予測や財務データ処理といった時間的問題に広く応用されている。 従来のRNNモデルは、厳密な時系列依存性のために勾配問題を増幅する。 勾配問題に対処するために、改良された時間フィードフォワード接続リカレントニューラルネットワーク(TFC-RNN)モデルが最初に提案された。 単一ゲートリカレントユニット(Single Gate Recurrent Unit, SGRU)と呼ばれる新しい細胞構造が提示され、RNNセルのパラメータ数が減少した。
  論文  参考訳（メタデータ） (2022-11-03T09:32:39Z)
• Learning Sequence Representations by Non-local Recurrent Neural Memory [61.65105481899744]
  教師付きシーケンス表現学習のためのNon-local Recurrent Neural Memory (NRNM)を提案する。 我々のモデルは長距離依存を捉えることができ、潜伏した高レベル特徴を我々のモデルで抽出することができる。 我々のモデルは、これらのシーケンスアプリケーションごとに特別に設計された他の最先端の手法と比較して好意的に比較する。
  論文  参考訳（メタデータ） (2022-07-20T07:26:15Z)
• TMS: A Temporal Multi-scale Backbone Design for Speaker Embedding [60.292702363839716]
  話者埋め込みのための現在のSOTAバックボーンネットワークは、話者表現のためのマルチブランチネットワークアーキテクチャを用いた発話からマルチスケール特徴を集約するように設計されている。 本稿では, 話者埋め込みネットワークにおいて, 計算コストの増大を伴わずに, マルチスケール分岐を効率的に設計できる効果的な時間的マルチスケール(TMS)モデルを提案する。
  論文  参考訳（メタデータ） (2022-03-17T05:49:35Z)
• Recurrence-in-Recurrence Networks for Video Deblurring [58.49075799159015]
  最先端のビデオデブロアリング法は、しばしばフレーム間の時間的依存性をモデル化するために、リカレントニューラルネットワークを採用する。 本稿では,短距離メモリの限界に対処する再帰型ネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-03-12T11:58:13Z)
• CARRNN: A Continuous Autoregressive Recurrent Neural Network for Deep Representation Learning from Sporadic Temporal Data [1.8352113484137622]
  本稿では,散発データにおける複数の時間的特徴をモデル化するための新しい深層学習モデルを提案する。 提案モデルはCARRNNと呼ばれ、時間ラグによって変調されたニューラルネットワークを用いてエンドツーエンドにトレーニング可能な一般化された離散時間自己回帰モデルを使用する。 アルツハイマー病進行モデルおよび集中治療単位(ICU)死亡率予測のためのデータを用いて,多変量時系列回帰タスクに適用した。
  論文  参考訳（メタデータ） (2021-04-08T12:43:44Z)
• UnICORNN: A recurrent model for learning very long time dependencies [0.0]
  2次常微分方程式のハミルトン系の離散性を保つ構造に基づく新しいRNNアーキテクチャを提案する。 結果として得られるrnnは高速で可逆(時間)で、メモリ効率が良く、隠れた状態勾配の厳密な境界を導出して、爆発と消滅の勾配問題の緩和を証明する。
  論文  参考訳（メタデータ） (2021-03-09T15:19:59Z)
• Deep Cellular Recurrent Network for Efficient Analysis of Time-Series Data with Spatial Information [52.635997570873194]
  本研究では,空間情報を用いた複雑な多次元時系列データを処理するための新しいディープセルリカレントニューラルネットワーク(DCRNN)アーキテクチャを提案する。 提案するアーキテクチャは,文献に比較して,学習可能なパラメータをかなり少なくしつつ,最先端の性能を実現している。
  論文  参考訳（メタデータ） (2021-01-12T20:08:18Z)
• Neural Architecture Search For LF-MMI Trained Time Delay Neural Networks [61.76338096980383]
  TDNN(State-of-the-the-art Factored Time delay Neural Network)の2種類のハイパーパラメータを自動的に学習するために、さまざまなニューラルネットワークサーチ(NAS)技術が使用されている。 DARTSメソッドはアーキテクチャ選択とLF-MMI(格子のないMMI)TDNNトレーニングを統合する。 300時間のSwitchboardコーパスで行われた実験では、自動構成システムはベースラインLF-MMI TDNNシステムより一貫して優れていることが示唆された。
  論文  参考訳（メタデータ） (2020-07-17T08:32:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。