論文の概要: Spatio-Temporal Analysis of Facial Actions using Lifecycle-Aware Capsule Networks

• arxiv url: http://arxiv.org/abs/2011.08819v2
• Date: Thu, 4 Mar 2021 02:41:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-24 16:11:17.962449
• Title: Spatio-Temporal Analysis of Facial Actions using Lifecycle-Aware Capsule Networks
• Title（参考訳）: ライフサイクルアウェアカプセルネットワークを用いた顔行動の時空間的解析
• Authors: Nikhil Churamani, Sinan Kalkan and Hatice Gunes
• Abstract要約: AULA-Capsは、シーケンス内の関連する時間的セグメントに注目して、連続したフレーム間で学習する。 学習した特徴カプセルは、AUライフサイクルに応じて、空間的または時間的情報に選択的に集中するようにルーティングされる。 提案モデルはBP4DおよびGFTベンチマークデータセットを用いて評価する。
• 参考スコア（独自算出の注目度）: 12.552355581481994
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most state-of-the-art approaches for Facial Action Unit (AU) detection rely upon evaluating facial expressions from static frames, encoding a snapshot of heightened facial activity. In real-world interactions, however, facial expressions are usually more subtle and evolve in a temporal manner requiring AU detection models to learn spatial as well as temporal information. In this paper, we focus on both spatial and spatio-temporal features encoding the temporal evolution of facial AU activation. For this purpose, we propose the Action Unit Lifecycle-Aware Capsule Network (AULA-Caps) that performs AU detection using both frame and sequence-level features. While at the frame-level the capsule layers of AULA-Caps learn spatial feature primitives to determine AU activations, at the sequence-level, it learns temporal dependencies between contiguous frames by focusing on relevant spatio-temporal segments in the sequence. The learnt feature capsules are routed together such that the model learns to selectively focus more on spatial or spatio-temporal information depending upon the AU lifecycle. The proposed model is evaluated on the commonly used BP4D and GFT benchmark datasets obtaining state-of-the-art results on both the datasets.
• Abstract（参考訳）: 顔活動単位(au)検出のための最先端のアプローチのほとんどは、静的フレームからの表情の評価に依存しており、顔活動の高度化のスナップショットをエンコードしている。 しかし、現実世界の相互作用では、表情はより微妙で、時間的方法で進化し、時間的情報と同様に空間的および時間的情報を学ぶ必要がある。 本稿では,顔AUアクティベーションの時間的変化を符号化する空間的特徴と時空間的特徴の両方に焦点をあてる。 そこで本研究では,フレームとシーケンスレベルの両方の機能を用いてau検出を行うアクションユニットライフサイクルアウェアカプセルネットワーク(aula-caps)を提案する。 フレームレベルでは、AULA-Capsのカプセル層が空間的特徴プリミティブを学習し、AUのアクティベーションを決定する一方で、シーケンスレベルでは、シーケンス内の関連する時空間セグメントに焦点を当てることで、連続フレーム間の時間的依存関係を学習する。 学習された特徴カプセルは、AUライフサイクルに応じて、空間的あるいは時空間的な情報に選択的に集中するようにルーティングされる。 提案手法はBP4D と GFT のベンチマークデータセットで評価され,両データセットの最先端結果が得られた。

関連論文リスト

• Multi-Scale Spatial-Temporal Self-Attention Graph Convolutional Networks for Skeleton-based Action Recognition [0.0]
  本稿では,マルチスケール空間時間自己注意(MSST)-GCNという自己注意型GCNハイブリッドモデルを提案する。 適応トポロジを持つ空間自己保持モジュールを用いて、異なる身体部分間のフレーム内相互作用を理解するとともに、時間的自己保持モジュールを用いてノードのフレーム間の相関関係を調べる。
  論文  参考訳（メタデータ） (2024-04-03T10:25:45Z)
• Spatio-Temporal Branching for Motion Prediction using Motion Increments [55.68088298632865]
  HMP(Human Motion Prediction)はその多種多様な応用により、人気のある研究トピックとして浮上している。 従来の手法は手作りの機能と機械学習技術に依存している。 HMPのためのインクリメンタル情報を用いた時空間分岐ネットワークを提案する。
  論文  参考訳（メタデータ） (2023-08-02T12:04:28Z)
• Spatial-Temporal Attention Network for Open-Set Fine-Grained Image Recognition [14.450381668547259]
  空間的自己注意機構を持つ視覚変換器は、細粒度の異なる画像のカテゴリを識別するために正確な注意マップを学習できなかった。 本稿では,STANと呼ばれる細粒度特徴表現を学習するための時空間アテンションネットワークを提案する。 提案したSTAN-OSFGRは,9つの最先端のオープンセット認識法に優れる。
  論文  参考訳（メタデータ） (2022-11-25T07:46:42Z)
• Spatio-Temporal Transformer for Dynamic Facial Expression Recognition in the Wild [19.5702895176141]
  本稿では,各フレームモデル内の異種特徴を抽出する手法を提案する。 我々はCNNを用いて各フレームを視覚的特徴系列に変換する。 実験の結果,本手法は空間的および時間的依存を効果的に活用できることが示された。
  論文  参考訳（メタデータ） (2022-05-10T08:47:15Z)
• A Spatio-Temporal Multilayer Perceptron for Gesture Recognition [70.34489104710366]
  自律走行車におけるジェスチャー認識のための多層状態重み付きパーセプトロンを提案する。 提案手法の有望な性能を示すため,TCGおよびDrive&Actデータセットの評価を行った。 私たちは、そのリアルタイム能力と安定した実行を示すために、モデルを自動運転車にデプロイします。
  論文  参考訳（メタデータ） (2022-04-25T08:42:47Z)
• Spatial-Temporal Correlation and Topology Learning for Person Re-Identification in Videos [78.45050529204701]
  クロススケール空間時空間相関をモデル化し, 識別的, 堅牢な表現を追求する新しい枠組みを提案する。 CTLはCNNバックボーンとキーポイント推定器を使用して人体から意味的局所的特徴を抽出する。 グローバルな文脈情報と人体の物理的接続の両方を考慮して、多スケールグラフを構築するためのコンテキスト強化トポロジーを探求する。
  論文  参考訳（メタデータ） (2021-04-15T14:32:12Z)
• DS-Net: Dynamic Spatiotemporal Network for Video Salient Object Detection [78.04869214450963]
  時間情報と空間情報のより効果的な融合のための新しい動的時空間ネットワーク(DSNet)を提案する。 提案手法は最先端アルゴリズムよりも優れた性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-12-09T06:42:30Z)
• CaSPR: Learning Canonical Spatiotemporal Point Cloud Representations [72.4716073597902]
  本研究では,動的あるいは動いた物体の標準点クラウド表現を学習する手法を提案する。 本稿では, 形状再構成, カメラポーズ推定, 連続時間列再構成, 対応推定など, 様々な応用における本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2020-08-06T17:58:48Z)
• Human Activity Recognition from Wearable Sensor Data Using Self-Attention [2.9023633922848586]
  本稿では,身体のセンサデータから行動認識のための自己認識型ニューラルネットワークモデルを提案する。 一般に公開されている4つのHARデータセット、PAMAP2、Opportunity、Skoda、USC-HADについて実験を行った。 ベンチマークテスト対象とLeave-out-subject評価の両方において,最近の最先端モデルよりも高い性能向上を実現している。
  論文  参考訳（メタデータ） (2020-03-17T14:16:57Z)
• A Spatial-Temporal Attentive Network with Spatial Continuity for Trajectory Prediction [74.00750936752418]
  空間連続性をもつ空間時間減衰ネットワーク(STAN-SC)という新しいモデルを提案する。 まず、最も有用かつ重要な情報を探るために、空間的時間的注意機構を提示する。 第2に、生成軌道の空間的連続性を維持するために、シーケンスと瞬間状態情報に基づく共同特徴系列を実行する。
  論文  参考訳（メタデータ） (2020-03-13T04:35:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。