論文の概要: Temporal Convolutional Attention-based Network For Sequence Modeling
- arxiv url: http://arxiv.org/abs/2002.12530v3
- Date: Sat, 14 Oct 2023 03:48:04 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-18 07:26:28.787667
- Title: Temporal Convolutional Attention-based Network For Sequence Modeling
- Title(参考訳): 時系列モデリングのための時間畳み込み注意型ネットワーク
- Authors: Hongyan Hao, Yan Wang, Siqiao Xue, Yudi Xia, Jian Zhao, Furao Shen
- Abstract要約: 時間畳み込みアテンションベースネットワーク(TCAN)と呼ばれる探索的アーキテクチャを提案する。
TCANは、時間的畳み込みネットワークとアテンションメカニズムを組み合わせる。
我々は bpc/perplexity の最先端の結果をワードレベル PTB では 30.28 ,文字レベル PTB では 1.092 ,WikiText-2 では 9.20 に改善した。
- 参考スコア(独自算出の注目度): 13.972755301732656
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: With the development of feed-forward models, the default model for sequence
modeling has gradually evolved to replace recurrent networks. Many powerful
feed-forward models based on convolutional networks and attention mechanism
were proposed and show more potential to handle sequence modeling tasks. We
wonder that is there an architecture that can not only achieve an approximate
substitution of recurrent network, but also absorb the advantages of
feed-forward models. So we propose an exploratory architecture referred to
Temporal Convolutional Attention-based Network (TCAN) which combines temporal
convolutional network and attention mechanism. TCAN includes two parts, one is
Temporal Attention (TA) which captures relevant features inside the sequence,
the other is Enhanced Residual (ER) which extracts shallow layer's important
information and transfers to deep layers. We improve the state-of-the-art
results of bpc/perplexity to 30.28 on word-level PTB, 1.092 on character-level
PTB, and 9.20 on WikiText-2.
- Abstract(参考訳): フィードフォワードモデルの開発により、シーケンスモデリングのデフォルトモデルが徐々に進化し、リカレントネットワークを置き換えるようになった。
畳み込みネットワークと注意機構に基づく多くの強力なフィードフォワードモデルが提案され、シーケンスモデリングタスクを扱う可能性を示した。
再帰ネットワークの近似置換を実現できるだけでなく、フィードフォワードモデルの利点を吸収できるアーキテクチャが存在するのかどうか疑問である。
そこで我々は,時間的畳み込みネットワークと注意機構を組み合わせた,時間的畳み込み型ネットワーク(TCAN)と呼ばれる探索的アーキテクチャを提案する。
tcanには、シーケンス内の関連する特徴をキャプチャするtemporal attention(ta)と、浅い層の重要な情報を抽出して深層に転送するextrestent(er)という2つの部分が含まれている。
単語レベルのptbではbpc/perplexityが30.28、文字レベルのptbでは1.092、wikitext-2では9.20である。
関連論文リスト
- FormerTime: Hierarchical Multi-Scale Representations for Multivariate
Time Series Classification [53.55504611255664]
formerTimeは、多変量時系列分類タスクの分類能力を改善する階層的表現モデルである。
1)時系列データから階層的なマルチスケール表現を学習し、(2)トランスフォーマーと畳み込みネットワークの強さを継承し、(3)自己維持メカニズムによって引き起こされる効率の課題に取り組む。
論文 参考訳(メタデータ) (2023-02-20T07:46:14Z) - Layer-wise Shared Attention Network on Dynamical System Perspective [69.45492795788167]
本稿では,複数のネットワーク層にまたがって単一の注目モジュールを共有するDIAユニットという,新規かつ簡易なフレームワークを提案する。
当社のフレームワークでは,パラメータコストはレイヤ数とは無関係であり,既存の自己注意モジュールの精度をさらに向上する。
論文 参考訳(メタデータ) (2022-10-27T13:24:08Z) - DyCSC: Modeling the Evolutionary Process of Dynamic Networks Based on
Cluster Structure [1.005130974691351]
動的クラスタ構造制約モデル(DyCSC)と呼ばれる新しい時間ネットワーク埋め込み手法を提案する。
DyCSCは、ネットワーク内のノードの傾向に時間的制約を課すことで、時間的ネットワークの進化を捉えている。
複数の時間リンク予測タスクにおいて、競合する手法をかなりのマージンで一貫して上回る。
論文 参考訳(メタデータ) (2022-10-23T10:23:08Z) - Temporal Link Prediction via Adjusted Sigmoid Function and 2-Simplex
Sructure [7.478752512210058]
調整されたシグモイド関数と2-simplex structure(TLPSS)を用いた新しい時間リンク予測モデルを提案する。
提案モデルでは,他のベースライン手法と比較して平均15%のリンク予測性能が向上する。
論文 参考訳(メタデータ) (2022-06-20T01:32:02Z) - SpatioTemporal Focus for Skeleton-based Action Recognition [66.8571926307011]
グラフ畳み込みネットワーク(GCN)は骨格に基づく行動認識において広く採用されている。
近年提案されている骨格に基づく行動認識法の性能は以下の要因によって制限されていると論じる。
近年の注目機構に着想を得て,アクション関連関係情報を取得するためのマルチグラインド・コンテキスト集中モジュール MCF を提案する。
論文 参考訳(メタデータ) (2022-03-31T02:45:24Z) - TMS: A Temporal Multi-scale Backbone Design for Speaker Embedding [60.292702363839716]
話者埋め込みのための現在のSOTAバックボーンネットワークは、話者表現のためのマルチブランチネットワークアーキテクチャを用いた発話からマルチスケール特徴を集約するように設計されている。
本稿では, 話者埋め込みネットワークにおいて, 計算コストの増大を伴わずに, マルチスケール分岐を効率的に設計できる効果的な時間的マルチスケール(TMS)モデルを提案する。
論文 参考訳(メタデータ) (2022-03-17T05:49:35Z) - Multi-Scale Semantics-Guided Neural Networks for Efficient
Skeleton-Based Human Action Recognition [140.18376685167857]
スケルトンに基づく行動認識には,単純なマルチスケールセマンティクス誘導ニューラルネットワークが提案されている。
MS-SGNは、NTU60、NTU120、SYSUデータセットの最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2021-11-07T03:50:50Z) - Deep Structural Point Process for Learning Temporal Interaction Networks [7.288706620982159]
時間的相互作用ネットワークは、ユーザとアイテム間の時系列的相互作用からなる。
従来の手法では時間的相互作用ネットワークの構造情報を考慮できず、必然的に準最適結果につながる。
本稿では,時間的相互作用ネットワークを学習するためのDSPP(Deep Structure Point Process)を提案する。
論文 参考訳(メタデータ) (2021-07-08T03:07:34Z) - Spatio-Temporal Inception Graph Convolutional Networks for
Skeleton-Based Action Recognition [126.51241919472356]
我々はスケルトンに基づく行動認識のためのシンプルで高度にモジュール化されたグラフ畳み込みネットワークアーキテクチャを設計する。
ネットワークは,空間的および時間的経路から多粒度情報を集約するビルディングブロックを繰り返すことで構築される。
論文 参考訳(メタデータ) (2020-11-26T14:43:04Z) - TSAM: Temporal Link Prediction in Directed Networks based on
Self-Attention Mechanism [2.5144068869465994]
本稿では,グラフニューラルネットワーク(GCN)と自己認識機構,すなわちTSAMに基づくディープラーニングモデルを提案する。
我々は,TSAMの有効性を検証するために,4つの現実的ネットワーク上で比較実験を行った。
論文 参考訳(メタデータ) (2020-08-23T11:56:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。