論文の概要: Temporal Convolutional Attention-based Network For Sequence Modeling

• arxiv url: http://arxiv.org/abs/2002.12530v2
• Date: Thu, 5 Mar 2020 00:16:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-28 01:29:38.227577
• Title: Temporal Convolutional Attention-based Network For Sequence Modeling
• Title（参考訳）: 時系列モデリングのための時間畳み込み注意型ネットワーク
• Authors: Hongyan Hao, Yan Wang, Yudi Xia, Jian Zhao, Furao Shen
• Abstract要約: 時間畳み込みアテンションベースネットワーク(TCAN)と呼ばれる探索的アーキテクチャを提案する。 TCANは、時間的畳み込みネットワークとアテンションメカニズムを組み合わせる。 我々は,bpc/perplexityの最先端結果を,単語レベルでは26.92,文字レベルでは1.043,WikiText-2では6.66に改善した。
• 参考スコア（独自算出の注目度）: 13.317099281011515
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the development of feed-forward models, the default model for sequence modeling has gradually evolved to replace recurrent networks. Many powerful feed-forward models based on convolutional networks and attention mechanism were proposed and show more potential to handle sequence modeling tasks. We wonder that is there an architecture that can not only achieve an approximate substitution of recurrent network, but also absorb the advantages of feed-forward models. So we propose an exploratory architecture referred to Temporal Convolutional Attention-based Network (TCAN) which combines temporal convolutional network and attention mechanism. TCAN includes two parts, one is Temporal Attention (TA) which captures relevant features inside the sequence, the other is Enhanced Residual (ER) which extracts shallow layer's important information and transfers to deep layers. We improve the state-of-the-art results of bpc/perplexity to 26.92 on word-level PTB, 1.043 on character-level PTB, and 6.66 on WikiText-2.
• Abstract（参考訳）: フィードフォワードモデルの開発により、シーケンスモデリングのデフォルトモデルが徐々に進化し、リカレントネットワークを置き換えるようになった。 畳み込みネットワークと注意機構に基づく多くの強力なフィードフォワードモデルが提案され、シーケンスモデリングタスクを扱う可能性を示した。 再帰ネットワークの近似置換を実現できるだけでなく、フィードフォワードモデルの利点を吸収できるアーキテクチャが存在するのかどうか疑問である。 そこで我々は,時間的畳み込みネットワークと注意機構を組み合わせた,時間的畳み込み型ネットワーク(TCAN)と呼ばれる探索的アーキテクチャを提案する。 tcanには、シーケンス内の関連する特徴をキャプチャするtemporal attention(ta)と、浅い層の重要な情報を抽出して深層に転送するextrestent(er)という2つの部分が含まれている。 我々は,bpc/perplexityの最先端結果を,単語レベルでは26.92,文字レベルでは1.043,WikiText-2では6.66に改善した。

関連論文リスト

• Towards Efficient Deep Spiking Neural Networks Construction with Spiking Activity based Pruning [17.454100169491497]
  本稿では,Spking Channel Activity-based (SCA) network pruning frameworkという,畳み込みカーネルの動作レベルに基づく構造化プルーニング手法を提案する。 本手法は, 学習中の畳み込みカーネルの切断・再生によりネットワーク構造を動的に調整し, 現在の目標タスクへの適応性を高める。
  論文  参考訳（メタデータ） (2024-06-03T07:44:37Z)
• TCCT-Net: Two-Stream Network Architecture for Fast and Efficient Engagement Estimation via Behavioral Feature Signals [58.865901821451295]
  本稿では,新しい2ストリーム機能融合 "Tensor-Convolution and Convolution-Transformer Network" (TCCT-Net) アーキテクチャを提案する。 時間空間領域における意味のあるパターンをよりよく学習するために、ハイブリッド畳み込み変換器を統合する「CT」ストリームを設計する。 並行して、時間周波数領域からリッチなパターンを効率的に抽出するために、連続ウェーブレット変換(CWT)を用いて情報を2次元テンソル形式で表現する「TC」ストリームを導入する。
  論文  参考訳（メタデータ） (2024-04-15T06:01:48Z)
• Orchid: Flexible and Data-Dependent Convolution for Sequence Modeling [4.190836962132713]
  本稿では,従来の注意機構の2次複雑さに対処する新しいアーキテクチャであるOrchidを紹介する。 このアーキテクチャのコアには、新しいデータ依存のグローバル畳み込み層があり、入力シーケンスに条件付きカーネルを文脈的に適応させる。 言語モデリングや画像分類など,複数の領域にまたがるモデルの評価を行い,その性能と汎用性を強調した。
  論文  参考訳（メタデータ） (2024-02-28T17:36:45Z)
• FormerTime: Hierarchical Multi-Scale Representations for Multivariate Time Series Classification [53.55504611255664]
  formerTimeは、多変量時系列分類タスクの分類能力を改善する階層的表現モデルである。 1)時系列データから階層的なマルチスケール表現を学習し、(2)トランスフォーマーと畳み込みネットワークの強さを継承し、(3)自己維持メカニズムによって引き起こされる効率の課題に取り組む。
  論文  参考訳（メタデータ） (2023-02-20T07:46:14Z)
• SpatioTemporal Focus for Skeleton-based Action Recognition [66.8571926307011]
  グラフ畳み込みネットワーク(GCN)は骨格に基づく行動認識において広く採用されている。 近年提案されている骨格に基づく行動認識法の性能は以下の要因によって制限されていると論じる。 近年の注目機構に着想を得て,アクション関連関係情報を取得するためのマルチグラインド・コンテキスト集中モジュール MCF を提案する。
  論文  参考訳（メタデータ） (2022-03-31T02:45:24Z)
• TMS: A Temporal Multi-scale Backbone Design for Speaker Embedding [60.292702363839716]
  話者埋め込みのための現在のSOTAバックボーンネットワークは、話者表現のためのマルチブランチネットワークアーキテクチャを用いた発話からマルチスケール特徴を集約するように設計されている。 本稿では, 話者埋め込みネットワークにおいて, 計算コストの増大を伴わずに, マルチスケール分岐を効率的に設計できる効果的な時間的マルチスケール(TMS)モデルを提案する。
  論文  参考訳（メタデータ） (2022-03-17T05:49:35Z)
• Multi-Scale Semantics-Guided Neural Networks for Efficient Skeleton-Based Human Action Recognition [140.18376685167857]
  スケルトンに基づく行動認識には,単純なマルチスケールセマンティクス誘導ニューラルネットワークが提案されている。 MS-SGNは、NTU60、NTU120、SYSUデータセットの最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2021-11-07T03:50:50Z)
• Deep Structural Point Process for Learning Temporal Interaction Networks [7.288706620982159]
  時間的相互作用ネットワークは、ユーザとアイテム間の時系列的相互作用からなる。 従来の手法では時間的相互作用ネットワークの構造情報を考慮できず、必然的に準最適結果につながる。 本稿では,時間的相互作用ネットワークを学習するためのDSPP(Deep Structure Point Process)を提案する。
  論文  参考訳（メタデータ） (2021-07-08T03:07:34Z)
• Spatio-Temporal Inception Graph Convolutional Networks for Skeleton-Based Action Recognition [126.51241919472356]
  我々はスケルトンに基づく行動認識のためのシンプルで高度にモジュール化されたグラフ畳み込みネットワークアーキテクチャを設計する。 ネットワークは,空間的および時間的経路から多粒度情報を集約するビルディングブロックを繰り返すことで構築される。
  論文  参考訳（メタデータ） (2020-11-26T14:43:04Z)
• TSAM: Temporal Link Prediction in Directed Networks based on Self-Attention Mechanism [2.5144068869465994]
  本稿では,グラフニューラルネットワーク(GCN)と自己認識機構,すなわちTSAMに基づくディープラーニングモデルを提案する。 我々は,TSAMの有効性を検証するために,4つの現実的ネットワーク上で比較実験を行った。
  論文  参考訳（メタデータ） (2020-08-23T11:56:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。