論文の概要: Learning Multi-dimensional Edge Feature-based AU Relation Graph for
Facial Action Unit Recognition
- arxiv url: http://arxiv.org/abs/2205.01782v1
- Date: Mon, 2 May 2022 03:38:00 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-05 13:34:59.003669
- Title: Learning Multi-dimensional Edge Feature-based AU Relation Graph for
Facial Action Unit Recognition
- Title（参考訳）: 顔行動単位認識のための多次元エッジ特徴量に基づくAU関係グラフの学習
- Authors: Cheng Luo, Siyang Song, Weicheng Xie, Linlin Shen, Hatice Gunes
- Abstract要約: 顔行動ユニット(AU)の活性化は相互に影響を及ぼす。
既存のアプローチでは、顔ディスプレイの各ペアのAUに対して、明確にかつ明示的にそのようなキューを表現できない。
本稿では,AU間の関係を明確に記述するために,一意のグラフを深く学習するAU関係モデリング手法を提案する。
- 参考スコア（独自算出の注目度）: 27.34564955127377
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The activations of Facial Action Units (AUs) mutually influence one another.
While the relationship between a pair of AUs can be complex and unique,
existing approaches fail to specifically and explicitly represent such cues for
each pair of AUs in each facial display. This paper proposes an AU relationship
modelling approach that deep learns a unique graph to explicitly describe the
relationship between each pair of AUs of the target facial display. Our
approach first encodes each AU's activation status and its association with
other AUs into a node feature. Then, it learns a pair of multi-dimensional edge
features to describe multiple task-specific relationship cues between each pair
of AUs. During both node and edge feature learning, our approach also considers
the influence of the unique facial display on AUs' relationship by taking the
full face representation as an input. Experimental results on BP4D and DISFA
datasets show that both node and edge feature learning modules provide large
performance improvements for CNN and transformer-based backbones, with our best
systems achieving the state-of-the-art AU recognition results. Our approach not
only has a strong capability in modelling relationship cues for AU recognition
but also can be easily incorporated into various backbones. Our PyTorch code is
made available.
- Abstract（参考訳）: 顔行動ユニット(AU)の活性化は相互に影響を及ぼす。
ausのペア間の関係は複雑かつ一意であるが、既存のアプローチでは、顔のディスプレイのそれぞれのausのペアに対して、そのキューを具体的に明示的に表現できない。
本稿では,ターゲット顔ディスプレイのAU間の関係を明確に記述するために,独自のグラフを深く学習するAU関係モデリング手法を提案する。
提案手法はまず,各AUのアクティベーション状態と他のAUとの関連性をノード機能にエンコードする。
次に、各 aus のペア間の複数のタスク固有の関係を記述するために、複数の多次元エッジ特徴を学習する。
ノード機能学習とエッジ機能学習の両方において,本手法では,一意な顔表示がausの関係に与える影響を,全顔表現を入力として検討する。
BP4DおよびDIFAデータセットによる実験結果から,ノード特徴学習モジュールとエッジ特徴学習モジュールはCNNとトランスフォーマーベースバックボーンに大きな性能向上をもたらすことが示された。
私たちのアプローチは、au認識のための関係の手がかりをモデル化する能力を持つだけでなく、様々なバックボーンに容易に組み込むことができます。
私たちのPyTorchコードは利用可能です。
関連論文リスト
- Multi-scale Dynamic and Hierarchical Relationship Modeling for Facial Action Units Recognition [38.62221940006509]
ヒューマン・フェイス・アクション・ユニット(AU)は階層的な方法で相互に関連している。
同じ/クローズな顔領域に位置するAUは、異なる顔領域よりも強い関係を示す。
本稿では,出現認識のための新しいマルチスケールAUモデルを提案する。
論文 参考訳（メタデータ） (2024-04-09T16:45:34Z) - Contrastive Learning of Person-independent Representations for Facial
Action Unit Detection [70.60587475492065]
自己教師型AU表現学習信号を2次元で定式化する。
ビデオクリップ内でAU表現を学習し、個人に依存しない表現を学習するためのクロスアイデンティティ再構築機構を考案する。
提案手法は,他のコントラスト学習手法よりも優れており,自己教師と教師付きAU検出手法間の性能ギャップを著しく短縮する。
論文 参考訳（メタデータ） (2024-03-06T01:49:28Z) - Disentangled Interaction Representation for One-Stage Human-Object
Interaction Detection [70.96299509159981]
ヒューマン・オブジェクト・インタラクション(HOI)検出は、人間中心の画像理解のコアタスクである。
最近のワンステージ手法では、対話予測に有用な画像ワイドキューの収集にトランスフォーマーデコーダを採用している。
従来の2段階の手法は、非絡み合いで説明可能な方法で相互作用特徴を構成する能力から大きな恩恵を受ける。
論文 参考訳（メタデータ） (2023-12-04T08:02:59Z) - Attention Based Relation Network for Facial Action Units Recognition [8.522262699196412]
本稿では,AU認識のための新しいアテンションベース関係ネットワーク(ABRNet)を提案する。
ABRNetは複数の関係学習レイヤを使用して、異なるAU関係を自動的にキャプチャする。
提案手法は,disFAとdisFA+データセットの最先端性能を実現する。
論文 参考訳（メタデータ） (2022-10-23T11:26:53Z) - TransFA: Transformer-based Representation for Face Attribute Evaluation [87.09529826340304]
我々はtextbfTransFA を用いたtextbfattribute 評価のための新しい textbf Transformer 表現を提案する。
提案するTransFAは,最先端手法と比較して優れた性能を示す。
論文 参考訳（メタデータ） (2022-07-12T10:58:06Z) - MGRR-Net: Multi-level Graph Relational Reasoning Network for Facial Action Units Detection [16.261362598190807]
FACS(Facial Action Coding System)は、顔画像中のアクションユニット(AU)を符号化する。
我々は、AU特徴の符号化は、地域的特徴とグローバルな特徴の間のリッチな文脈情報を捉えないかもしれないと論じる。
顔AU検出のためのマルチレベルグラフ推論ネットワーク(MGRR-Net)を提案する。
論文 参考訳（メタデータ） (2022-04-04T09:47:22Z) - AU-Expression Knowledge Constrained Representation Learning for Facial
Expression Recognition [79.8779790682205]
本稿では,auアノテーションを使わずにau表現を学習し,表情認識を容易にするau表現知識制約表現学習(aue-crl)フレームワークを提案する。
課題のある非制御データセットの実験を行い,提案されたフレームワークが現状の手法よりも優れていることを実証する。
論文 参考訳（メタデータ） (2020-12-29T03:42:04Z) - Facial Action Unit Intensity Estimation via Semantic Correspondence
Learning with Dynamic Graph Convolution [27.48620879003556]
本稿では,特徴マップ間の意味的対応を確立することによって,AUの潜伏関係を自動的に学習する学習フレームワークを提案する。
熱マップ回帰に基づくネットワークでは、特徴写像はAU強度と位置に関連する豊富な意味情報を保存する。
これはAU強度レベルの共起関係を暗黙的に表す特徴チャネル間の相関をモデル化する動機となっている。
論文 参考訳（メタデータ） (2020-04-20T23:55:30Z) - Multi-Granularity Reference-Aided Attentive Feature Aggregation for
Video-based Person Re-identification [98.7585431239291]
ビデオベースの人物再識別は、同じ人物をビデオクリップ間でマッチングすることを目的としている。
本稿では,マルチグラニュラリティ参照属性集約モジュールMG-RAFAを提案する。
本フレームワークは,3つのベンチマークデータセット上での最先端のアブレーション性能を実現する。
論文 参考訳（メタデータ） (2020-03-27T03:49:21Z) - Deep Multi-task Multi-label CNN for Effective Facial Attribute
Classification [53.58763562421771]
DMM-CNN(ディープ・マルチタスク・マルチラベル・CNN)による効果的な顔属性分類(FAC)を提案する。
具体的には、DMM-CNNは、2つの密接に関連するタスク(顔のランドマーク検出とFAC)を共同で最適化し、マルチタスク学習を活用することにより、FACの性能を向上させる。
2つの異なるネットワークアーキテクチャは2つの属性のグループの特徴を抽出するために設計され、トレーニング中に各顔属性に損失重みを自動的に割り当てる新しい動的重み付け方式が提案されている。
論文 参考訳（メタデータ） (2020-02-10T12:34:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。