論文の概要: MSA-GCN:Multiscale Adaptive Graph Convolution Network for Gait Emotion
Recognition
- arxiv url: http://arxiv.org/abs/2209.08988v1
- Date: Mon, 19 Sep 2022 13:07:16 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-20 16:51:34.700099
- Title: MSA-GCN:Multiscale Adaptive Graph Convolution Network for Gait Emotion
Recognition
- Title(参考訳): MSA-GCN:マルチスケール適応グラフ畳み込みネットワークによる歩行感情認識
- Authors: Yunfei Yin, Li Jing, Faliang Huang, Guangchao Yang, Zhuowei Wang
- Abstract要約: 本稿では,感情認識のためのマルチスケール適応グラフ畳み込みネットワーク(MSA-GCN)を提案する。
本モデルでは, 適応的選択的時空間畳み込みを設計し, コンボリューションカーネルを動的に選択し, 異なる感情のソフト・テンポラルな特徴を得る。
従来の最先端手法と比較して,提案手法は2つの公開データセット上で最高の性能を実現する。
- 参考スコア(独自算出の注目度): 6.108523790270448
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Gait emotion recognition plays a crucial role in the intelligent system. Most
of the existing methods recognize emotions by focusing on local actions over
time. However, they ignore that the effective distances of different emotions
in the time domain are different, and the local actions during walking are
quite similar. Thus, emotions should be represented by global states instead of
indirect local actions. To address these issues, a novel Multi Scale Adaptive
Graph Convolution Network (MSA-GCN) is presented in this work through
constructing dynamic temporal receptive fields and designing multiscale
information aggregation to recognize emotions. In our model, a adaptive
selective spatial-temporal graph convolution is designed to select the
convolution kernel dynamically to obtain the soft spatio-temporal features of
different emotions. Moreover, a Cross-Scale mapping Fusion Mechanism (CSFM) is
designed to construct an adaptive adjacency matrix to enhance information
interaction and reduce redundancy. Compared with previous state-of-the-art
methods, the proposed method achieves the best performance on two public
datasets, improving the mAP by 2\%. We also conduct extensive ablations studies
to show the effectiveness of different components in our methods.
- Abstract(参考訳): 歩行感情認識は知的システムにおいて重要な役割を果たす。
既存の手法のほとんどは、時間とともに局所的なアクションに注目して感情を認識する。
しかし、彼らは時間領域における異なる感情の有効距離が異なることを無視し、歩行中の局所的な行動は極めて類似している。
したがって、感情は間接的な局所的な行動ではなく、グローバルな状態によって表現されるべきである。
これらの問題に対処するために,動的時相受容場の構築と感情認識のための多元的情報集約の設計を通じて,新しい多元適応グラフ畳み込みネットワーク(msa-gcn)を提案する。
本モデルでは,適応的選択的空間-時間グラフ畳み込みにより畳み込みカーネルを動的に選択し,異なる感情のソフトな時空間特徴を得る。
さらに,クロススケールマッピング融合機構 (csfm) は,情報相互作用を増強し冗長性を低減するための適応隣接行列を構築するように設計されている。
従来の最先端手法と比較して,提案手法は2つの公開データセット上で最高の性能を示し,mAPを2倍改善する。
また, 各種成分の有効性を示すため, 広範囲のアブレーション試験を行った。
関連論文リスト
- Self-supervised Gait-based Emotion Representation Learning from Selective Strongly Augmented Skeleton Sequences [4.740624855896404]
自己教師型歩行に基づく感情表現のための選択的強強化を利用したコントラスト学習フレームワークを提案する。
提案手法はEmotion-Gait (E-Gait) と Emilya のデータセットで検証され, 異なる評価プロトコル下での最先端手法よりも優れている。
論文 参考訳(メタデータ) (2024-05-08T09:13:10Z) - Adversarial Representation with Intra-Modal and Inter-Modal Graph Contrastive Learning for Multimodal Emotion Recognition [14.639340916340801]
マルチモーダル感情認識 (AR-IIGCN) 法に対して, モーダル内およびモーダル間グラフコントラストを用いた新しい適応表現を提案する。
まず、ビデオ、オーディオ、テキストの特徴を多層パーセプトロン(MLP)に入力し、それらを別々の特徴空間にマッピングする。
第2に,逆表現による3つのモーダル特徴に対するジェネレータと判別器を構築する。
第3に、モーダル内およびモーダル間相補的意味情報を取得するために、コントラッシブグラフ表現学習を導入する。
論文 参考訳(メタデータ) (2023-12-28T01:57:26Z) - Deep Imbalanced Learning for Multimodal Emotion Recognition in
Conversations [15.705757672984662]
会話におけるマルチモーダル感情認識(MERC)は、マシンインテリジェンスにとって重要な開発方向である。
MERCのデータの多くは自然に感情カテゴリーの不均衡な分布を示しており、研究者は感情認識に対する不均衡なデータの負の影響を無視している。
生データにおける感情カテゴリーの不均衡分布に対処するクラス境界拡張表現学習(CBERL)モデルを提案する。
我々は,IEMOCAPおよびMELDベンチマークデータセットの広範な実験を行い,CBERLが感情認識の有効性において一定の性能向上を達成したことを示す。
論文 参考訳(メタデータ) (2023-12-11T12:35:17Z) - Improving EEG-based Emotion Recognition by Fusing Time-frequency And
Spatial Representations [29.962519978925236]
クロスドメイン特徴融合法に基づく分類ネットワークを提案する。
また,2段階融合法を提案し,これらの手法を脳波感情認識ネットワークに適用する。
実験結果から,時間周波数領域と空間領域の複数の表現を結合したネットワークが,公開データセット上で従来の手法より優れていたことが示唆された。
論文 参考訳(メタデータ) (2023-03-14T07:26:51Z) - DWFormer: Dynamic Window transFormer for Speech Emotion Recognition [16.07391331544217]
そこで我々はDWFormer(Dynamic Window TransFormer)を提案する。
DWFormerはIEMOCAPとMELDデータセットの両方で評価される。
実験結果から,提案手法は従来の最先端手法よりも優れた性能を示した。
論文 参考訳(メタデータ) (2023-03-03T03:26:53Z) - Multimodal Emotion Recognition using Transfer Learning from Speaker
Recognition and BERT-based models [53.31917090073727]
本稿では,音声とテキストのモダリティから,伝達学習モデルと微調整モデルとを融合したニューラルネットワークによる感情認識フレームワークを提案する。
本稿では,対話型感情的モーションキャプチャー・データセットにおけるマルチモーダル・アプローチの有効性を評価する。
論文 参考訳(メタデータ) (2022-02-16T00:23:42Z) - Group Gated Fusion on Attention-based Bidirectional Alignment for
Multimodal Emotion Recognition [63.07844685982738]
本稿では、LSTM隠蔽状態上の注目に基づく双方向アライメントネットワークで構成されるGBAN(Gated Bidirectional Alignment Network)と呼ばれる新しいモデルを提案する。
LSTMの最後の隠れ状態よりもアテンション整列表現の方が有意に優れていたことを実証的に示す。
提案したGBANモデルは、IEMOCAPデータセットにおける既存の最先端マルチモーダルアプローチよりも優れている。
論文 参考訳(メタデータ) (2022-01-17T09:46:59Z) - Efficient Modelling Across Time of Human Actions and Interactions [92.39082696657874]
3つの畳み込みニューラルネットワーク(CNND)における現在の固定サイズの時間的カーネルは、入力の時間的変動に対処するために改善できると主張している。
我々は、アーキテクチャの異なるレイヤにまたがる機能の違いを強化することで、アクションのクラス間でどのようにうまく対処できるかを研究する。
提案手法は、いくつかのベンチマークアクション認識データセットで評価され、競合する結果を示す。
論文 参考訳(メタデータ) (2021-10-05T15:39:11Z) - Domain Adaptive Robotic Gesture Recognition with Unsupervised
Kinematic-Visual Data Alignment [60.31418655784291]
本稿では,マルチモダリティ知識,すなわちキネマティックデータとビジュアルデータを同時にシミュレータから実ロボットに伝達できる,教師なしドメイン適応フレームワークを提案する。
ビデオの時間的手がかりと、ジェスチャー認識に対するマルチモーダル固有の相関を用いて、トランスファー可能な機能を強化したドメインギャップを修復する。
その結果, 本手法は, ACCでは最大12.91%, F1scoreでは20.16%と, 実際のロボットではアノテーションを使わずに性能を回復する。
論文 参考訳(メタデータ) (2021-03-06T09:10:03Z) - Emotional Semantics-Preserved and Feature-Aligned CycleGAN for Visual
Emotion Adaptation [85.20533077846606]
教師なしドメイン適応(UDA)は、あるラベル付きソースドメインで訓練されたモデルを別のラベル付きターゲットドメインに転送する問題を研究する。
本稿では,感情分布学習と支配的感情分類の両面での視覚的感情分析におけるUDAに着目した。
本稿では,CycleEmotionGAN++と呼ばれる,エンドツーエンドのサイクル整合対向モデルを提案する。
論文 参考訳(メタデータ) (2020-11-25T01:31:01Z) - Unsupervised Bidirectional Cross-Modality Adaptation via Deeply
Synergistic Image and Feature Alignment for Medical Image Segmentation [73.84166499988443]
我々は、Synergistic Image and Feature Alignment (SIFA)と名付けられた新しい教師なしドメイン適応フレームワークを提案する。
提案するSIFAは、画像と特徴の両方の観点から、ドメインの相乗的アライメントを行う。
2つの異なるタスクに対する実験結果から,SIFA法は未ラベル対象画像のセグメンテーション性能を向上させるのに有効であることが示された。
論文 参考訳(メタデータ) (2020-02-06T13:49:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。