論文の概要: Learning Sequence Representations by Non-local Recurrent Neural Memory

• arxiv url: http://arxiv.org/abs/2207.09710v1
• Date: Wed, 20 Jul 2022 07:26:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-21 12:29:59.947841
• Title: Learning Sequence Representations by Non-local Recurrent Neural Memory
• Title（参考訳）: 非局所的リカレントニューラルメモリによる学習シーケンス表現
• Authors: Wenjie Pei, Xin Feng, Canmiao Fu, Qiong Cao, Guangming Lu and Yu-Wing Tai
• Abstract要約: 教師付きシーケンス表現学習のためのNon-local Recurrent Neural Memory (NRNM)を提案する。 我々のモデルは長距離依存を捉えることができ、潜伏した高レベル特徴を我々のモデルで抽出することができる。 我々のモデルは、これらのシーケンスアプリケーションごとに特別に設計された他の最先端の手法と比較して好意的に比較する。
• 参考スコア（独自算出の注目度）: 61.65105481899744
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The key challenge of sequence representation learning is to capture the long-range temporal dependencies. Typical methods for supervised sequence representation learning are built upon recurrent neural networks to capture temporal dependencies. One potential limitation of these methods is that they only model one-order information interactions explicitly between adjacent time steps in a sequence, hence the high-order interactions between nonadjacent time steps are not fully exploited. It greatly limits the capability of modeling the long-range temporal dependencies since the temporal features learned by one-order interactions cannot be maintained for a long term due to temporal information dilution and gradient vanishing. To tackle this limitation, we propose the Non-local Recurrent Neural Memory (NRNM) for supervised sequence representation learning, which performs non-local operations \MR{by means of self-attention mechanism} to learn full-order interactions within a sliding temporal memory block and models global interactions between memory blocks in a gated recurrent manner. Consequently, our model is able to capture long-range dependencies. Besides, the latent high-level features contained in high-order interactions can be distilled by our model. We validate the effectiveness and generalization of our NRNM on three types of sequence applications across different modalities, including sequence classification, step-wise sequential prediction and sequence similarity learning. Our model compares favorably against other state-of-the-art methods specifically designed for each of these sequence applications.
• Abstract（参考訳）: シーケンス表現学習の鍵となる課題は、長期の時間依存を捉えることである。 教師付きシーケンス表現学習の典型的な方法は、時間的依存を捉えるために、繰り返しニューラルネットワーク上に構築されている。 これらの方法の潜在的な制限の1つは、隣り合う時間ステップ間で明示的に一階の情報インタラクションをモデル化することであり、従って非隣接時間ステップ間の高階の相互作用は十分に悪用されない。 時間的情報希釈と勾配消滅により、一階の相互作用によって学習された時間的特徴を長期にわたって維持できないため、長期の時間的依存をモデル化する能力を大幅に制限する。 この制限に対処するため,非局所的な連続表現学習のための非局所リカレント・ニューラルメモリ (NRNM) を提案し,非局所的な操作を自己アテンション機構によって行うことにより,スライディング時記憶ブロック内の全順序の相互作用を学習し,ゲートリカレントな方法でメモリブロック間のグローバルな相互作用をモデル化する。 その結果、我々のモデルは長距離依存を捉えることができる。 さらに,本モデルでは,高次相互作用に含まれる潜在高次特徴を蒸留することができる。 シーケンス分類,ステップワイズシーケンス予測,シーケンス類似性学習など,異なるモダリティにまたがる3種類のシーケンス応用において,nrnmの有効性と一般化を検証する。 我々のモデルは、これらのシーケンスアプリケーションごとに特別に設計された他の最先端の手法と好適に比較できる。

関連論文リスト

• Multi-Scale Spatial-Temporal Self-Attention Graph Convolutional Networks for Skeleton-based Action Recognition [0.0]
  本稿では,マルチスケール空間時間自己注意(MSST)-GCNという自己注意型GCNハイブリッドモデルを提案する。 適応トポロジを持つ空間自己保持モジュールを用いて、異なる身体部分間のフレーム内相互作用を理解するとともに、時間的自己保持モジュールを用いてノードのフレーム間の相関関係を調べる。
  論文  参考訳（メタデータ） (2024-04-03T10:25:45Z)
• Non-autoregressive Sequence-to-Sequence Vision-Language Models [63.77614880533488]
  本稿では,デコーダ内の複数の推論経路をマージする並列デコードシーケンス・ツー・シーケンス・ビジョン言語モデルを提案する。 このモデルは最先端の自己回帰モデルと同等のパフォーマンスを実現するが、推論時間では高速である。
  論文  参考訳（メタデータ） (2024-03-04T17:34:59Z)
• Delayed Memory Unit: Modelling Temporal Dependency Through Delay Gate [17.611912733951662]
  リカレントニューラルネットワーク(Recurrent Neural Networks, RNN)は、時間的依存をモデル化する能力で有名である。 本稿では,バニラRNNの時間的モデリング能力を高めるために,DMU(Delayed Memory Unit)を提案する。 提案したDMUは、広範囲の逐次モデリングタスクにおいて優れた時間的モデリング能力を示す。
  論文  参考訳（メタデータ） (2023-10-23T14:29:48Z)
• Long Sequence Hopfield Memory [32.28395813801847]
  シーケンスメモリは、エージェントが複雑な刺激や行動のシーケンスをエンコードし、保存し、取り出すことを可能にする。 非線形相互作用項を導入し、パターン間の分離を強化する。 このモデルを拡張して、状態遷移間の変動タイミングでシーケンスを格納する。
  論文  参考訳（メタデータ） (2023-06-07T15:41:03Z)
• Deep Explicit Duration Switching Models for Time Series [84.33678003781908]
  状態依存型と時間依存型の両方のスイッチングダイナミクスを識別できるフレキシブルモデルを提案する。 状態依存スイッチングは、リカレントな状態-スイッチ接続によって実現される。 時間依存スイッチング動作を改善するために、明示的な期間カウント変数が使用される。
  論文  参考訳（メタデータ） (2021-10-26T17:35:21Z)
• Efficient Modelling Across Time of Human Actions and Interactions [92.39082696657874]
  3つの畳み込みニューラルネットワーク(CNND)における現在の固定サイズの時間的カーネルは、入力の時間的変動に対処するために改善できると主張している。 我々は、アーキテクチャの異なるレイヤにまたがる機能の違いを強化することで、アクションのクラス間でどのようにうまく対処できるかを研究する。 提案手法は、いくつかのベンチマークアクション認識データセットで評価され、競合する結果を示す。
  論文  参考訳（メタデータ） (2021-10-05T15:39:11Z)
• Sequential convolutional network for behavioral pattern extraction in gait recognition [0.7874708385247353]
  個人の歩行パターンを学習するための逐次畳み込みネットワーク(SCN)を提案する。 SCNでは、時系列の中間特徴写像を理解するために行動情報抽出器(BIE)を構築している。 SCNのマルチフレームアグリゲータは、モバイル3D畳み込み層を介して、長さが不確定なシーケンス上の機能統合を実行する。
  論文  参考訳（メタデータ） (2021-04-23T08:44:10Z)
• Temporal Memory Relation Network for Workflow Recognition from Surgical Video [53.20825496640025]
  本研究では, 長期および多スケールの時間パターンを関連づける, エンドツーエンドの時間メモリ関係ネットワーク (TMNet) を提案する。 我々はこのアプローチを2つのベンチマーク手術ビデオデータセットで広範囲に検証した。
  論文  参考訳（メタデータ） (2021-03-30T13:20:26Z)
• Temporal Graph Modeling for Skeleton-based Action Recognition [25.788239844759246]
  複雑な時間的ダイナミクスを捉えるための時間拡張グラフ畳み込みネットワーク(TE-GCN)を提案する。 構築された時間関係グラフは、意味的に関連する時間的特徴間の接続を明示的に構築する。 2つの大規模データセットで実験を行う。
  論文  参考訳（メタデータ） (2020-12-16T09:02:47Z)
• Convolutional Tensor-Train LSTM for Spatio-temporal Learning [116.24172387469994]
  本稿では,ビデオシーケンスの長期相関を効率的に学習できる高次LSTMモデルを提案する。 これは、時間をかけて畳み込み特徴を組み合わせることによって予測を行う、新しいテンソルトレインモジュールによって達成される。 この結果は,幅広いアプリケーションやデータセットにおいて,最先端のパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2020-02-21T05:00:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。