論文の概要: TNTC: two-stream network with transformer-based complementarity for
gait-based emotion recognition
- arxiv url: http://arxiv.org/abs/2110.13708v1
- Date: Tue, 26 Oct 2021 13:55:31 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-27 14:53:41.008920
- Title: TNTC: two-stream network with transformer-based complementarity for
gait-based emotion recognition
- Title（参考訳）: TNTC:歩行に基づく感情認識のためのトランスフォーマーを用いた2ストリームネットワーク
- Authors: Chuanfei Hu, Weijie Sheng, Bo Dong, Xinde Li
- Abstract要約: 歩行に基づく感情認識、特に歩行骨格に基づく特徴は、多くの注目を集めている。
本稿では,TNTCと呼ばれるトランスフォーマーをベースとした新たな2ストリームネットワークを提案する。
2つのストリーム間の相補性を階層的にブリッジするために、新しいトランスフォーマーベースの相補性モジュール(TCM)を提案する。
- 参考スコア（独自算出の注目度）: 4.9752798133038585
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recognizing the human emotion automatically from visual characteristics plays
a vital role in many intelligent applications. Recently, gait-based emotion
recognition, especially gait skeletons-based characteristic, has attracted much
attention, while many available methods have been proposed gradually. The
popular pipeline is to first extract affective features from joint skeletons,
and then aggregate the skeleton joint and affective features as the feature
vector for classifying the emotion. However, the aggregation procedure of these
emerged methods might be rigid, resulting in insufficiently exploiting the
complementary relationship between skeleton joint and affective features.
Meanwhile, the long range dependencies in both spatial and temporal domains of
the gait sequence are scarcely considered. To address these issues, we propose
a novel two-stream network with transformer-based complementarity, termed as
TNTC. Skeleton joint and affective features are encoded into two individual
images as the inputs of two streams, respectively. A new transformer-based
complementarity module (TCM) is proposed to bridge the complementarity between
two streams hierarchically via capturing long range dependencies. Experimental
results demonstrate TNTC outperforms state-of-the-art methods on the latest
dataset in terms of accuracy.
- Abstract（参考訳）: 視覚特性から自動的に人間の感情を認識することは、多くの知的アプリケーションにおいて重要な役割を果たす。
近年,歩行に基づく感情認識,特に歩行骨格に基づく特徴が注目されている。
一般的なパイプラインは、まず関節骨格から感情的特徴を抽出し、その後、感情を分類する特徴ベクトルとして、骨格的特徴と感情的特徴を集約する。
しかし、これらの出現した方法の凝集手順は堅いため、骨格関節と情緒的特徴の相補的な関係を十分に活用できない。
一方、歩行シーケンスの空間領域と時間領域の長い範囲依存性はほとんど考慮されていない。
そこで本稿では,tntcと呼ばれる変圧器に基づく相補性を持つ新しい2ストリームネットワークを提案する。
骨格関節と情緒的特徴はそれぞれ2つのストリームの入力として2つの個別画像に符号化される。
TCM(Transformer-based complementarity Module)は、2つのストリーム間の相補性を階層的に橋渡しする。
実験により、TNTCは最新のデータセットの最先端手法よりも精度が高いことを示した。
関連論文リスト
- GSSF: Generalized Structural Sparse Function for Deep Cross-modal Metric Learning [51.677086019209554]
ペアワイド類似性学習のためのモダリティ間の強力な関係を捕捉する汎用構造スパースを提案する。
距離メートル法は、対角線とブロック対角線の2つの形式を微妙にカプセル化する。
クロスモーダルと2つの余分なユニモーダル検索タスクの実験は、その優位性と柔軟性を検証した。
論文 参考訳（メタデータ） (2024-10-20T03:45:50Z) - GaitMA: Pose-guided Multi-modal Feature Fusion for Gait Recognition [26.721242606715354]
歩行認識は、歩行パターンを通して人間の身元を認識する生体計測技術である。
我々は、Gait Multi-model Aggregation Network (GaitMA)と呼ばれる新しい歩行認識フレームワークを提案する。
まず, 2つのCNN特徴抽出器を用いて, シルエットと骨格の特徴を抽出した。
論文 参考訳（メタデータ） (2024-07-20T09:05:17Z) - Two in One Go: Single-stage Emotion Recognition with Decoupled Subject-context Transformer [78.35816158511523]
単段階の感情認識手法として,DSCT(Decoupled Subject-Context Transformer)を用いる。
広範に使われている文脈認識型感情認識データセットであるCAER-SとEMOTICの単段階フレームワークの評価を行った。
論文 参考訳（メタデータ） (2024-04-26T07:30:32Z) - A Two-stream Hybrid CNN-Transformer Network for Skeleton-based Human
Interaction Recognition [6.490564374810672]
2ストリームハイブリッドCNN-Transformer Network(THCT-Net)を提案する。
CNNの局所的な特異性を活用し、Transformerを通じてグローバルな依存関係をモデル化する。
提案手法は, 様々な行動の意味と文脈をよりよく理解し, 推測し, 最先端の手法より優れていることを示す。
論文 参考訳（メタデータ） (2023-12-31T06:46:46Z) - Feature Decoupling-Recycling Network for Fast Interactive Segmentation [79.22497777645806]
近年のインタラクティブセグメンテーション手法では,入力としてソースイメージ,ユーザガイダンス,従来予測されていたマスクを反復的に取り込んでいる。
本稿では,本質的な相違点に基づいてモデリングコンポーネントを分離するFDRN(Feature Decoupling-Recycling Network)を提案する。
論文 参考訳（メタデータ） (2023-08-07T12:26:34Z) - Skeleton-based Action Recognition through Contrasting Two-Stream
Spatial-Temporal Networks [11.66009967197084]
本稿では,空間的および時間的モジュールを並列に融合するContrastive GCN-Transformer Network(ConGT)を提案する。
我々は3つのベンチマークデータセットで実験を行い、このモデルが動作認識における最先端のパフォーマンスを達成することを示す。
論文 参考訳（メタデータ） (2023-01-27T02:12:08Z) - Part-guided Relational Transformers for Fine-grained Visual Recognition [59.20531172172135]
識別的特徴を学習し,特徴変換モジュールとの相関関係を探索するフレームワークを提案する。
提案手法は,3-of-the-levelオブジェクト認識において,部分ブランチの追加に頼らず,最先端の性能に達する。
論文 参考訳（メタデータ） (2022-12-28T03:45:56Z) - A Hierarchical Interactive Network for Joint Span-based Aspect-Sentiment
Analysis [34.1489054082536]
本稿では,2つのタスク間の双方向相互作用を適切にモデル化する階層型対話型ネットワーク(HI-ASA)を提案する。
クロススティッチ機構を用いて、異なるタスク固有の特徴を入力として選択的に組み合わせ、適切な双方向インタラクションを保証する。
3つの実世界のデータセットの実験は、HI-ASAがベースラインよりも優れていることを示している。
論文 参考訳（メタデータ） (2022-08-24T03:03:49Z) - Combining the Silhouette and Skeleton Data for Gait Recognition [13.345465199699]
2つの主要な歩行認識作品は外観ベースとモデルベースであり、シルエットと骨格からそれぞれ特徴を抽出する。
本稿では, シルエットを入力とするCNN系分岐と, 骨格を入力とするGCN系分岐を提案する。
GCNベースの分岐における歩行表現を改善するため、マルチスケールグラフ畳み込みを統合する完全連結グラフ畳み込み演算子を提案する。
論文 参考訳（メタデータ） (2022-02-22T03:21:51Z) - Joint-bone Fusion Graph Convolutional Network for Semi-supervised
Skeleton Action Recognition [65.78703941973183]
本稿では,CD-JBF-GCNをエンコーダとし,ポーズ予測ヘッドをデコーダとして使用する新しい相関駆動型ジョイントボーン・フュージョングラフ畳み込みネットワークを提案する。
具体的には、CD-JBF-GCは、関節ストリームと骨ストリームの間の運動伝達を探索することができる。
自己教師型トレーニング段階におけるポーズ予測に基づくオートエンコーダにより、未ラベルデータから動作表現を学習することができる。
論文 参考訳（メタデータ） (2022-02-08T16:03:15Z) - Cascaded Human-Object Interaction Recognition [175.60439054047043]
マルチステージで粗大なHOI理解のためのカスケードアーキテクチャを提案する。
各段階で、インスタンスローカライゼーションネットワークは、HOI提案を段階的に洗練し、インタラクション認識ネットワークにフィードする。
慎重に設計された人間中心の関係機能により、これらの2つのモジュールは効果的な相互作用理解に向けて協調的に機能する。
論文 参考訳（メタデータ） (2020-03-09T17:05:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。