論文の概要: Hierarchically Gated Recurrent Neural Network for Sequence Modeling

• arxiv url: http://arxiv.org/abs/2311.04823v1
• Date: Wed, 8 Nov 2023 16:50:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-09 15:13:17.981291
• Title: Hierarchically Gated Recurrent Neural Network for Sequence Modeling
• Title（参考訳）: シーケンスモデリングのための階層ゲートリカレントニューラルネットワーク
• Authors: Zhen Qin, Songlin Yang, Yiran Zhong
• Abstract要約: 階層的Gated Recurrent Neural Network (HGRN) と呼ばれるゲート線形RNNモデルを提案する。 言語モデリング,画像分類,長距離アリーナベンチマーク実験は,提案モデルの有効性と有効性を示す。
• 参考スコア（独自算出の注目度）: 36.14544998133578
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformers have surpassed RNNs in popularity due to their superior abilities in parallel training and long-term dependency modeling. Recently, there has been a renewed interest in using linear RNNs for efficient sequence modeling. These linear RNNs often employ gating mechanisms in the output of the linear recurrence layer while ignoring the significance of using forget gates within the recurrence. In this paper, we propose a gated linear RNN model dubbed Hierarchically Gated Recurrent Neural Network (HGRN), which includes forget gates that are lower bounded by a learnable value. The lower bound increases monotonically when moving up layers. This allows the upper layers to model long-term dependencies and the lower layers to model more local, short-term dependencies. Experiments on language modeling, image classification, and long-range arena benchmarks showcase the efficiency and effectiveness of our proposed model. The source code is available at https://github.com/OpenNLPLab/HGRN.
• Abstract（参考訳）: トランスフォーマーは、並列トレーニングと長期依存性モデリングにおける優れた能力のために、RNNよりも人気がある。 近年,線形RNNを用いた効率的なシーケンスモデリングへの関心が高まっている。 これらのリニアrnnは、リニアリピート層の出力にゲーティング機構をしばしば採用するが、リピートゲートをリピートに使用する意義は無視する。 本稿では,階層型ゲート型リカレントニューラルネットワーク(hgrn)と呼ばれるゲート型線形rnnモデルを提案する。 下限は層を上るときに単調に増加する。 これにより、上位層は長期的な依存関係をモデル化でき、下位層はより局所的で短期的な依存関係をモデル化できる。 言語モデリング,画像分類,長距離アリーナベンチマーク実験は,提案モデルの有効性と有効性を示す。 ソースコードはhttps://github.com/opennlplab/hgrnで入手できる。

関連論文リスト

• Were RNNs All We Needed? [53.393497486332]
  従来のリカレントニューラルネットワーク(RNN)を10年以上前から再検討しています。 入力から隠れた状態依存を取り除くことで、LSTMやGRUはBPTTを必要とせず、並列で効率的に訓練できることを示す。
  論文  参考訳（メタデータ） (2024-10-02T03:06:49Z)
• RotRNN: Modelling Long Sequences with Rotations [7.037239398244858]
  ステートスペースモデル(SSM)やリニアリカレントユニット(LRU)のような線形リカレントニューラルネットワークは、最近、ロングシーケンスモデリングベンチマークで最先端のパフォーマンスを示している。 回転行列の便利な特性を利用する線形リカレントモデルであるRotRNNを提案する。 本稿では,RotRNNが頑健な正規化手順を備えたシンプルで効率的なモデルを提供し,その理論的導出に忠実な実践的実装であることを示す。
  論文  参考訳（メタデータ） (2024-07-09T21:37:36Z)
• MGNNI: Multiscale Graph Neural Networks with Implicit Layers [53.75421430520501]
  暗黙グラフニューラルネットワーク(GNN)は、基礎となるグラフの長距離依存性をキャプチャするために提案されている。 暗黙的GNNの2つの弱点は、長距離依存を捉えるための限られた有効範囲による制約付き表現性と、複数の解像度でグラフ上のマルチスケール情報をキャプチャする能力の欠如である。 グラフ上のマルチスケール構造をモデル化できる暗黙の層(MGNNI)を持つマルチスケールグラフニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2022-10-15T18:18:55Z)
• EIGNN: Efficient Infinite-Depth Graph Neural Networks [51.97361378423152]
  グラフニューラルネットワーク(GNN)は多くのアプリケーションでグラフ構造化データのモデリングに広く利用されている。 この制限により、無限深度GNNモデルを提案し、これをEIGNN(Efficient Infinite-Depth Graph Neural Networks)と呼ぶ。 EIGNNは、最近のベースラインよりも長距離依存関係をキャプチャする能力が優れており、常に最先端のパフォーマンスを実現していることを示す。
  論文  参考訳（メタデータ） (2022-02-22T08:16:58Z)
• Auditory Attention Decoding from EEG using Convolutional Recurrent Neural Network [20.37214453938965]
  聴覚注意復号(aad)アプローチは,マルチトーカーシナリオにおいて参加者のアイデンティティを判定するために提案されている。 近年,この問題を解決するためにディープニューラルネットワーク(DNN)に基づくモデルが提案されている。 本論文では,新しい畳み込み型リカレントニューラルネットワーク(CRNN)に基づく回帰モデルと分類モデルを提案する。
  論文  参考訳（メタデータ） (2021-03-03T05:09:40Z)
• Introducing the Hidden Neural Markov Chain framework [7.85426761612795]
  本稿では,ニューラルモデルの新しいファミリーであるHNMC(Hidden Neural Markov Chain)フレームワークを提案する。 クラシックなHNMC、HNMC2、HNMC-CNの3つのモデルを提案します。 この新しいニューラルネットワークシーケンシャルフレームワークの可能性を示すもので、新しいモデルへの道を開き、最終的には一般的なBiLSTMやBiGRUと競合する可能性がある。
  論文  参考訳（メタデータ） (2021-02-17T20:13:45Z)
• Overcoming Catastrophic Forgetting in Graph Neural Networks [50.900153089330175]
  破滅的な忘れは、ニューラルネットワークが新しいタスクを学ぶ前に学んだ知識を「忘れる」傾向を指します。 本稿では,この問題を克服し,グラフニューラルネットワーク(GNN)における継続学習を強化するための新しいスキームを提案する。 私たちのアプローチの中心には、トポロジ認識重量保存(TWP)と呼ばれる汎用モジュールがあります。
  論文  参考訳（メタデータ） (2020-12-10T22:30:25Z)
• A Fully Tensorized Recurrent Neural Network [48.50376453324581]
  重み付けされたRNNアーキテクチャを導入し、各リカレントセル内の個別の重み付け行列を共同で符号化する。 このアプローチはモデルのサイズを数桁削減するが、通常のRNNと同等あるいは優れた性能を維持している。
  論文  参考訳（メタデータ） (2020-10-08T18:24:12Z)
• Recurrent Graph Tensor Networks: A Low-Complexity Framework for Modelling High-Dimensional Multi-Way Sequence [24.594587557319837]
  我々は、リカレントニューラルネットワーク(RNN)における隠れ状態のモデリングを近似するグラフフィルタフレームワークを開発する。 提案するフレームワークは、複数のマルチウェイシーケンスモデリングタスクを通じて検証され、従来のRNNに対してベンチマークされる。 提案したRGTNは,標準RNNよりも優れるだけでなく,従来のRNNと関連する次元の曲線を緩和できることを示す。
  論文  参考訳（メタデータ） (2020-09-18T10:13:36Z)
• Binarized Graph Neural Network [65.20589262811677]
  我々は二項化グラフニューラルネットワークを開発し、二項化ネットワークパラメータを用いてノードのバイナリ表現を学習する。 提案手法は既存のGNNベースの埋め込み手法にシームレスに統合できる。 実験により、提案された二項化グラフニューラルネットワーク、すなわちBGNは、時間と空間の両方の観点から、桁違いに効率的であることが示されている。
  論文  参考訳（メタデータ） (2020-04-19T09:43:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。