Fugu-MT 論文翻訳(概要): Spatio-Temporal AU Relational Graph Representation Learning For Facial Action Units Detection

論文の概要: Spatio-Temporal AU Relational Graph Representation Learning For Facial Action Units Detection

arxiv url: http://arxiv.org/abs/2303.10644v3
Date: Mon, 5 Jun 2023 04:49:34 GMT
ステータス: 処理完了
システム内更新日: 2023-06-07 02:16:39.926997
Title: Spatio-Temporal AU Relational Graph Representation Learning For Facial Action Units Detection
Title（参考訳）: 顔行動単位検出のための時空間AU関係グラフ表現学習
Authors: Zihan Wang, Siyang Song, Cheng Luo, Yuzhi Zhou, Shiling Wu, Weicheng Xie, Linlin Shen
Abstract要約: 私たちのアプローチは3つの主要なモジュールで構成されています。グラフ表現は、すべてのフレームに含まれるAUを記述する。私たちのモデルは、第5回ABAWコンペティションのAU認識トラックで4位にランクインしています。
参考スコア（独自算出の注目度）: 30.480103923317536
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This paper presents our Facial Action Units (AUs) detection submission to the fifth Affective Behavior Analysis in-the-wild Competition (ABAW). Our approach consists of three main modules: (i) a pre-trained facial representation encoder which produce a strong facial representation from each input face image in the input sequence; (ii) an AU-specific feature generator that specifically learns a set of AU features from each facial representation; and (iii) a spatio-temporal graph learning module that constructs a spatio-temporal graph representation. This graph representation describes AUs contained in all frames and predicts the occurrence of each AU based on both the modeled spatial information within the corresponding face and the learned temporal dynamics among frames. The experimental results show that our approach outperformed the baseline and the spatio-temporal graph representation learning allows our model to generate the best results among all ablated systems. Our model ranks at the 4th place in the AU recognition track at the 5th ABAW Competition. Our code is publicly available at https://github.com/wzh125/ABAW-5.
Abstract（参考訳）: 本稿では,第5回ABAW(Affective Behavior Analysis in-the-wild Competition)へのAU(Facial Action Units)検出提案について述べる。私たちのアプローチは3つの主要なモジュールで構成されています。 (i)入力シーケンスの各入力顔画像から強い顔表現を生成する予め訓練された顔表現エンコーダ (ii)顔表現からAU特徴の集合を特に学習するAU特有特徴生成装置、及び (iii)時空間グラフ表現を構成する時空間グラフ学習モジュール。このグラフ表現は、すべてのフレームに含まれるAUを記述し、対応する顔内のモデル化された空間情報とフレーム間の学習時間ダイナミクスの両方に基づいて、各AUの発生を予測する。実験の結果,提案手法がベースラインを上回り,時空間グラフ表現学習により,すべてのアブレーションシステムにおいて最良結果を生成することができた。私たちのモデルは、第5回ABAWコンペティションのAU認識トラックで4位です。私たちのコードはhttps://github.com/wzh125/abaw-5で公開されています。

関連論文リスト

Dynamic Graph Representation with Knowledge-aware Attention for Histopathology Whole Slide Image Analysis [11.353826466710398]
本稿では,知識グラフ構造の形式としてWSIを概念化する新しい動的グラフ表現アルゴリズムを提案する。具体的には、インスタンス間の頭と尾の関係に基づいて、隣人や方向のエッジの埋め込みを動的に構築する。我々のエンドツーエンドグラフ表現学習アプローチは、TCGAベンチマーク3つのデータセットと社内テストセットにおける最先端のWSI分析手法よりも優れています。
論文参考訳（メタデータ） (2024-03-12T14:58:51Z)
Contrastive Learning of Person-independent Representations for Facial Action Unit Detection [70.60587475492065]
自己教師型AU表現学習信号を2次元で定式化する。ビデオクリップ内でAU表現を学習し、個人に依存しない表現を学習するためのクロスアイデンティティ再構築機構を考案する。提案手法は,他のコントラスト学習手法よりも優れており,自己教師と教師付きAU検出手法間の性能ギャップを著しく短縮する。
論文参考訳（メタデータ） (2024-03-06T01:49:28Z)
Cohere3D: Exploiting Temporal Coherence for Unsupervised Representation Learning of Vision-based Autonomous Driving [73.3702076688159]
本稿では,コヒーレントなインスタンス表現を長期入力シーケンスで学習するための,新しいコントラスト学習アルゴリズムであるCohere3Dを提案する。我々は,様々な下流認識,予測,計画タスクにおいて,事前学習したモデルを微調整することにより,アルゴリズムを評価する。
論文参考訳（メタデータ） (2024-02-23T19:43:01Z)
Early Action Recognition with Action Prototypes [62.826125870298306]
本稿では,各クラスに対するフルアクションのプロトタイプ表現を学習する新しいモデルを提案する。映像を短いクリップに分解し、視覚エンコーダがそれぞれのクリップから特徴を独立して抽出する。その後、デコーダは、最終クラスの予測のために、すべてのクリップからオンラインのファッション機能として集約される。
論文参考訳（メタデータ） (2023-12-11T18:31:13Z)
A Generative Framework for Self-Supervised Facial Representation Learning [18.094262972295702]
自己教師付き表現学習は、ペア化されたデータセットに頼ることなく、強力な一般化能力に注目されるようになった。自己監督型顔表現学習は、顔のアイデンティティ、表情、ポーズや光といった外部要因の結合により未解決のままである。自己教師型顔表現のための新しい生成フレームワークであるLatentFaceを提案する。
論文参考訳（メタデータ） (2023-09-15T09:34:05Z)
Learning Multi-dimensional Edge Feature-based AU Relation Graph for Facial Action Unit Recognition [27.34564955127377]
顔行動ユニット(AU)の活性化は相互に影響を及ぼす。既存のアプローチでは、顔ディスプレイの各ペアのAUに対して、明確にかつ明示的にそのようなキューを表現できない。本稿では,AU間の関係を明確に記述するために,一意のグラフを深く学習するAU関係モデリング手法を提案する。
論文参考訳（メタデータ） (2022-05-02T03:38:00Z)
MGRR-Net: Multi-level Graph Relational Reasoning Network for Facial Action Units Detection [16.261362598190807]
FACS(Facial Action Coding System)は、顔画像中のアクションユニット(AU)を符号化する。我々は、AU特徴の符号化は、地域的特徴とグローバルな特徴の間のリッチな文脈情報を捉えないかもしれないと論じる。顔AU検出のためのマルチレベルグラフ推論ネットワーク(MGRR-Net)を提案する。
論文参考訳（メタデータ） (2022-04-04T09:47:22Z)
Representing Videos as Discriminative Sub-graphs for Action Recognition [165.54738402505194]
ビデオ中の各アクションの識別パターンを表現およびエンコードするためのサブグラフの新たな設計を提案する。時空グラフとクラスタを各スケールでコンパクトなサブグラフに新たに構築するMUlti-scale Sub-Earn Ling (MUSLE) フレームワークを提案する。
論文参考訳（メタデータ） (2022-01-11T16:15:25Z)
Multi-Branch Deep Radial Basis Function Networks for Facial Emotion Recognition [80.35852245488043]
放射状基底関数(RBF)ユニットによって形成された複数の分岐で拡張されたCNNベースのアーキテクチャを提案する。 RBFユニットは、中間表現を用いて類似のインスタンスで共有される局所パターンをキャプチャする。提案手法は,提案手法の競争力を高めるためのローカル情報の導入であることを示す。
論文参考訳（メタデータ） (2021-09-07T21:05:56Z)
Semi-supervised Facial Action Unit Intensity Estimation with Contrastive Learning [54.90704746573636]
提案手法では,手動でキーフレームを選択する必要はなく,2%の注釈付きフレームで最先端の結果を生成できる。提案手法は, ランダムに選択したデータに対してわずか2%の費用で作業した場合に, 既存の手法よりも優れていることを実験的に検証した。
論文参考訳（メタデータ） (2020-11-03T17:35:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。