論文の概要: An Enhanced Adversarial Network with Combined Latent Features for
Spatio-Temporal Facial Affect Estimation in the Wild
- arxiv url: http://arxiv.org/abs/2102.09150v1
- Date: Thu, 18 Feb 2021 04:10:12 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-19 14:14:02.630213
- Title: An Enhanced Adversarial Network with Combined Latent Features for
Spatio-Temporal Facial Affect Estimation in the Wild
- Title(参考訳): 野生の時空間顔面効果推定のための遅延機能を組み合わせた拡張型対人ネットワーク
- Authors: Decky Aspandi, Federico Sukno, Bj\"orn Schuller and Xavier Binefa
- Abstract要約: 本稿では,遅延特徴に基づく時間的モデリングにより,空間的特徴と時間的特徴の両方を効率的に抽出する新しいモデルを提案する。
提案モデルは3つの主要ネットワークから成り,造語生成器,判別器,コンビネータを用いて,適応型アテンションモジュールを実現するために,敵対的な学習環境において訓練を行う。
- 参考スコア(独自算出の注目度): 1.3007851628964147
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Affective Computing has recently attracted the attention of the research
community, due to its numerous applications in diverse areas. In this context,
the emergence of video-based data allows to enrich the widely used spatial
features with the inclusion of temporal information. However, such
spatio-temporal modelling often results in very high-dimensional feature spaces
and large volumes of data, making training difficult and time consuming. This
paper addresses these shortcomings by proposing a novel model that efficiently
extracts both spatial and temporal features of the data by means of its
enhanced temporal modelling based on latent features. Our proposed model
consists of three major networks, coined Generator, Discriminator, and
Combiner, which are trained in an adversarial setting combined with curriculum
learning to enable our adaptive attention modules. In our experiments, we show
the effectiveness of our approach by reporting our competitive results on both
the AFEW-VA and SEWA datasets, suggesting that temporal modelling improves the
affect estimates both in qualitative and quantitative terms. Furthermore, we
find that the inclusion of attention mechanisms leads to the highest accuracy
improvements, as its weights seem to correlate well with the appearance of
facial movements, both in terms of temporal localisation and intensity.
Finally, we observe the sequence length of around 160\,ms to be the optimum one
for temporal modelling, which is consistent with other relevant findings
utilising similar lengths.
- Abstract(参考訳): affective computingは最近、様々な分野に応用されているため、研究コミュニティの注目を集めている。
この文脈において、ビデオベースのデータの出現は、時間的情報を含むことで、広く使用される空間的特徴を豊かにすることができる。
しかし、そのような時空間モデリングは、しばしば非常に高次元の特徴空間と大量のデータをもたらすため、トレーニングは困難で時間がかかります。
本論文では,潜在特徴に基づく時間モデルの強化により,データ空間的特徴と時間的特徴の両方を効率的に抽出する新しいモデルを提案する。
提案モデルは3つの主要ネットワークから成り,造語生成器,判別器,コンビネータを用いて,適応型アテンションモジュールを実現するために,敵対的な学習環境において訓練を行う。
本実験では,AFEW-VAデータセットとSEWAデータセットの競合結果を報告し,時間的モデル化によって定量的・定量的に影響推定値を改善することを示唆した。
さらに,注意機構を取り入れることで,時間的局所化と強度の両面での顔の動きの出現と重みが相関しているため,高い精度の向上がもたらされることが判明した。
最後に,約160\,msのシーケンス長を時間モデルに最適なものとし,類似の長さを利用した他の関連する結果と一致させる。
関連論文リスト
- A Survey on Diffusion Models for Time Series and Spatio-Temporal Data [92.1255811066468]
時系列およびS時間データにおける拡散モデルの使用について概観し、それらをモデル、タスクタイプ、データモダリティ、実用的なアプリケーションドメインで分類する。
我々は拡散モデルを無条件型と条件付き型に分類し、時系列とS時間データを別々に議論する。
本調査は,医療,レコメンデーション,気候,エネルギー,オーディオ,交通など,さまざまな分野の応用を幅広くカバーしている。
論文 参考訳(メタデータ) (2024-04-29T17:19:40Z) - Spatio-Temporal Attention Graph Neural Network for Remaining Useful Life
Prediction [1.831835396047386]
本研究では,時空間注意グラフニューラルネットワークを提案する。
本モデルでは,空間的・時間的特徴抽出のために,グラフニューラルネットワークと時間的畳み込みニューラルネットワークを組み合わせる。
C-MAPSSデータセットを用いて、クラスタリング正規化とクラスタリング正規化の影響を評価するための総合的な実験を行った。
論文 参考訳(メタデータ) (2024-01-29T08:49:53Z) - GATGPT: A Pre-trained Large Language Model with Graph Attention Network
for Spatiotemporal Imputation [19.371155159744934]
実世界の環境では、センサーの故障やデータ転送エラーなどの問題により、そのようなデータには欠落する要素がしばしば含まれる。
時間的計算の目的は、観測された時系列における固有の空間的および時間的関係を理解することによって、これらの欠落値を推定することである。
伝統的に、複雑な時間的計算は特定のアーキテクチャに依存しており、適用可能性の制限と高い計算複雑性に悩まされている。
対照的に、我々のアプローチは、事前訓練された大規模言語モデル(LLM)を複雑な時間的インプットに統合し、画期的なフレームワークであるGATGPTを導入している。
論文 参考訳(メタデータ) (2023-11-24T08:15:11Z) - Spatio-Temporal Branching for Motion Prediction using Motion Increments [55.68088298632865]
HMP(Human Motion Prediction)はその多種多様な応用により、人気のある研究トピックとして浮上している。
従来の手法は手作りの機能と機械学習技術に依存している。
HMPのためのインクリメンタル情報を用いた時空間分岐ネットワークを提案する。
論文 参考訳(メタデータ) (2023-08-02T12:04:28Z) - GaitASMS: Gait Recognition by Adaptive Structured Spatial Representation
and Multi-Scale Temporal Aggregation [2.0444600042188448]
歩行認識は、最も有望なビデオベースの生体認証技術の一つである。
本稿では,GaitASMSと呼ばれる新しい歩行認識フレームワークを提案する。
適応的な空間表現を効果的に抽出し、多スケールの時間情報を自然に集約することができる。
論文 参考訳(メタデータ) (2023-07-29T13:03:17Z) - Gait Recognition in the Wild with Multi-hop Temporal Switch [81.35245014397759]
野生での歩行認識は、より実践的な問題であり、マルチメディアとコンピュータビジョンのコミュニティの注目を集めています。
本稿では,現実のシーンにおける歩行パターンの効果的な時間的モデリングを実現するために,新しいマルチホップ時間スイッチ方式を提案する。
論文 参考訳(メタデータ) (2022-09-01T10:46:09Z) - An Adaptive Federated Relevance Framework for Spatial Temporal Graph
Learning [14.353798949041698]
本稿では,空間時間グラフ学習のための適応型フェデレーション関連フレームワークであるFedRelを提案する。
フレームワークのコアとなるDynamic Inter-Intra Graph (DIIG)モジュールは、これらの機能を使用して空間時間グラフを生成することができる。
局所的なデータプライバシーを維持しながらモデルの一般化能力と性能を向上させるため、関連性駆動型フェデレーション学習モジュールを設計する。
論文 参考訳(メタデータ) (2022-06-07T16:12:17Z) - Temporal Relevance Analysis for Video Action Models [70.39411261685963]
まず,CNNに基づく行動モデルにより捉えたフレーム間の時間的関係を定量化する手法を提案する。
次に、時間的モデリングがどのように影響を受けるかをよりよく理解するために、包括的な実験と詳細な分析を行います。
論文 参考訳(メタデータ) (2022-04-25T19:06:48Z) - Towards Spatio-Temporal Aware Traffic Time Series Forecasting--Full
Version [37.09531298150374]
同じ時系列パターンの複雑な時系列パターンが時間によって異なる可能性があるため、トラフィックシリーズの予測は困難である。
このような時間的モデルは、時間的位置と時間的期間に関わらず、共有パラメータ空間を使用し、時間的相関は場所間で類似しており、常に時間にわたって保持するわけではないと仮定する。
サブテンポラリモデルにICDを意識したモデルをエンコードするフレームワークを提案する。
論文 参考訳(メタデータ) (2022-03-29T16:44:56Z) - Self-Attention Neural Bag-of-Features [103.70855797025689]
我々は最近導入された2D-Attentionの上に構築し、注意学習方法論を再構築する。
本稿では,関連情報を強調した2次元目視マスクを学習する機能・時間的アテンション機構を提案する。
論文 参考訳(メタデータ) (2022-01-26T17:54:14Z) - Temporal Memory Relation Network for Workflow Recognition from Surgical
Video [53.20825496640025]
本研究では, 長期および多スケールの時間パターンを関連づける, エンドツーエンドの時間メモリ関係ネットワーク (TMNet) を提案する。
我々はこのアプローチを2つのベンチマーク手術ビデオデータセットで広範囲に検証した。
論文 参考訳(メタデータ) (2021-03-30T13:20:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。