論文の概要: An Enhanced Adversarial Network with Combined Latent Features for
Spatio-Temporal Facial Affect Estimation in the Wild
- arxiv url: http://arxiv.org/abs/2102.09150v1
- Date: Thu, 18 Feb 2021 04:10:12 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-19 14:14:02.630213
- Title: An Enhanced Adversarial Network with Combined Latent Features for
Spatio-Temporal Facial Affect Estimation in the Wild
- Title（参考訳）: 野生の時空間顔面効果推定のための遅延機能を組み合わせた拡張型対人ネットワーク
- Authors: Decky Aspandi, Federico Sukno, Bj\"orn Schuller and Xavier Binefa
- Abstract要約: 本稿では,遅延特徴に基づく時間的モデリングにより,空間的特徴と時間的特徴の両方を効率的に抽出する新しいモデルを提案する。
提案モデルは3つの主要ネットワークから成り,造語生成器,判別器,コンビネータを用いて,適応型アテンションモジュールを実現するために,敵対的な学習環境において訓練を行う。
- 参考スコア（独自算出の注目度）: 1.3007851628964147
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Affective Computing has recently attracted the attention of the research
community, due to its numerous applications in diverse areas. In this context,
the emergence of video-based data allows to enrich the widely used spatial
features with the inclusion of temporal information. However, such
spatio-temporal modelling often results in very high-dimensional feature spaces
and large volumes of data, making training difficult and time consuming. This
paper addresses these shortcomings by proposing a novel model that efficiently
extracts both spatial and temporal features of the data by means of its
enhanced temporal modelling based on latent features. Our proposed model
consists of three major networks, coined Generator, Discriminator, and
Combiner, which are trained in an adversarial setting combined with curriculum
learning to enable our adaptive attention modules. In our experiments, we show
the effectiveness of our approach by reporting our competitive results on both
the AFEW-VA and SEWA datasets, suggesting that temporal modelling improves the
affect estimates both in qualitative and quantitative terms. Furthermore, we
find that the inclusion of attention mechanisms leads to the highest accuracy
improvements, as its weights seem to correlate well with the appearance of
facial movements, both in terms of temporal localisation and intensity.
Finally, we observe the sequence length of around 160\,ms to be the optimum one
for temporal modelling, which is consistent with other relevant findings
utilising similar lengths.
- Abstract（参考訳）: affective computingは最近、様々な分野に応用されているため、研究コミュニティの注目を集めている。
この文脈において、ビデオベースのデータの出現は、時間的情報を含むことで、広く使用される空間的特徴を豊かにすることができる。
しかし、そのような時空間モデリングは、しばしば非常に高次元の特徴空間と大量のデータをもたらすため、トレーニングは困難で時間がかかります。
本論文では,潜在特徴に基づく時間モデルの強化により,データ空間的特徴と時間的特徴の両方を効率的に抽出する新しいモデルを提案する。
提案モデルは3つの主要ネットワークから成り,造語生成器,判別器,コンビネータを用いて,適応型アテンションモジュールを実現するために,敵対的な学習環境において訓練を行う。
本実験では,AFEW-VAデータセットとSEWAデータセットの競合結果を報告し,時間的モデル化によって定量的・定量的に影響推定値を改善することを示唆した。
さらに,注意機構を取り入れることで,時間的局所化と強度の両面での顔の動きの出現と重みが相関しているため,高い精度の向上がもたらされることが判明した。
最後に,約160\,msのシーケンス長を時間モデルに最適なものとし,類似の長さを利用した他の関連する結果と一致させる。
関連論文リスト
- Cross Space and Time: A Spatio-Temporal Unitized Model for Traffic Flow Forecasting [16.782154479264126]
時間的要因間の複雑な相互作用により、バックボーン・時間的トラフィックフローを予測することが課題となる。
既存のアプローチでは、これらの次元を分離し、重要な相互依存を無視している。
本稿では,空間的および時間的依存関係の両方をキャプチャする統合フレームワークであるSanonymous-Temporal Unitized Unitized Cell (ASTUC)を紹介する。
論文 参考訳（メタデータ） (2024-11-14T07:34:31Z) - Graph Masked Autoencoder for Spatio-Temporal Graph Learning [38.085962443141206]
都市センシングの分野では,交通分析,人体移動評価,犯罪予測において,効果的な時間的予測の枠組みが重要な役割を担っている。
空間的および時間的データにデータノイズと空間性が存在することは、ロバスト表現を学習する上で、既存のニューラルネットワークモデルにとって大きな課題となる。
実効時間データ拡張のための新しい自己教師型学習パラダイムを提案する。
論文 参考訳（メタデータ） (2024-10-14T07:33:33Z) - A Survey on Diffusion Models for Time Series and Spatio-Temporal Data [92.1255811066468]
時系列およびS時間データにおける拡散モデルの使用について概観し、それらをモデル、タスクタイプ、データモダリティ、実用的なアプリケーションドメインで分類する。
我々は拡散モデルを無条件型と条件付き型に分類し、時系列とS時間データを別々に議論する。
本調査は,医療,レコメンデーション,気候,エネルギー,オーディオ,交通など,さまざまな分野の応用を幅広くカバーしている。
論文 参考訳（メタデータ） (2024-04-29T17:19:40Z) - Spatio-Temporal Attention Graph Neural Network for Remaining Useful Life
Prediction [1.831835396047386]
本研究では,時空間注意グラフニューラルネットワークを提案する。
本モデルでは,空間的・時間的特徴抽出のために,グラフニューラルネットワークと時間的畳み込みニューラルネットワークを組み合わせる。
C-MAPSSデータセットを用いて、クラスタリング正規化とクラスタリング正規化の影響を評価するための総合的な実験を行った。
論文 参考訳（メタデータ） (2024-01-29T08:49:53Z) - GATGPT: A Pre-trained Large Language Model with Graph Attention Network
for Spatiotemporal Imputation [19.371155159744934]
実世界の環境では、センサーの故障やデータ転送エラーなどの問題により、そのようなデータには欠落する要素がしばしば含まれる。
時間的計算の目的は、観測された時系列における固有の空間的および時間的関係を理解することによって、これらの欠落値を推定することである。
伝統的に、複雑な時間的計算は特定のアーキテクチャに依存しており、適用可能性の制限と高い計算複雑性に悩まされている。
対照的に、我々のアプローチは、事前訓練された大規模言語モデル(LLM)を複雑な時間的インプットに統合し、画期的なフレームワークであるGATGPTを導入している。
論文 参考訳（メタデータ） (2023-11-24T08:15:11Z) - Spatio-Temporal Branching for Motion Prediction using Motion Increments [55.68088298632865]
HMP(Human Motion Prediction)はその多種多様な応用により、人気のある研究トピックとして浮上している。
従来の手法は手作りの機能と機械学習技術に依存している。
HMPのためのインクリメンタル情報を用いた時空間分岐ネットワークを提案する。
論文 参考訳（メタデータ） (2023-08-02T12:04:28Z) - Gait Recognition in the Wild with Multi-hop Temporal Switch [81.35245014397759]
野生での歩行認識は、より実践的な問題であり、マルチメディアとコンピュータビジョンのコミュニティの注目を集めています。
本稿では,現実のシーンにおける歩行パターンの効果的な時間的モデリングを実現するために,新しいマルチホップ時間スイッチ方式を提案する。
論文 参考訳（メタデータ） (2022-09-01T10:46:09Z) - An Adaptive Federated Relevance Framework for Spatial Temporal Graph
Learning [14.353798949041698]
本稿では,空間時間グラフ学習のための適応型フェデレーション関連フレームワークであるFedRelを提案する。
フレームワークのコアとなるDynamic Inter-Intra Graph (DIIG)モジュールは、これらの機能を使用して空間時間グラフを生成することができる。
局所的なデータプライバシーを維持しながらモデルの一般化能力と性能を向上させるため、関連性駆動型フェデレーション学習モジュールを設計する。
論文 参考訳（メタデータ） (2022-06-07T16:12:17Z) - Temporal Relevance Analysis for Video Action Models [70.39411261685963]
まず,CNNに基づく行動モデルにより捉えたフレーム間の時間的関係を定量化する手法を提案する。
次に、時間的モデリングがどのように影響を受けるかをよりよく理解するために、包括的な実験と詳細な分析を行います。
論文 参考訳（メタデータ） (2022-04-25T19:06:48Z) - Self-Attention Neural Bag-of-Features [103.70855797025689]
我々は最近導入された2D-Attentionの上に構築し、注意学習方法論を再構築する。
本稿では,関連情報を強調した2次元目視マスクを学習する機能・時間的アテンション機構を提案する。
論文 参考訳（メタデータ） (2022-01-26T17:54:14Z) - Temporal Memory Relation Network for Workflow Recognition from Surgical
Video [53.20825496640025]
本研究では, 長期および多スケールの時間パターンを関連づける, エンドツーエンドの時間メモリ関係ネットワーク (TMNet) を提案する。
我々はこのアプローチを2つのベンチマーク手術ビデオデータセットで広範囲に検証した。
論文 参考訳（メタデータ） (2021-03-30T13:20:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。