論文の概要: Multi-Level Adaptive Region of Interest and Graph Learning for Facial
Action Unit Recognition
- arxiv url: http://arxiv.org/abs/2102.12154v1
- Date: Wed, 24 Feb 2021 09:22:45 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-25 13:29:53.944427
- Title: Multi-Level Adaptive Region of Interest and Graph Learning for Facial
Action Unit Recognition
- Title(参考訳): 顔行動単位認識のための興味とグラフ学習の多レベル適応領域
- Authors: Jingwei Yan, Boyuan Jiang, Jingjing Wang, Qiang Li, Chunmao Wang,
Shiliang Pu
- Abstract要約: 本稿では,この問題に対処するための多段階適応ROIとグラフ学習(MARGL)フレームワークを提案する。
レベル内AU関係とレベル間AU地域関連を同時に組み込むために、マルチレベルAU関係グラフを構築する。
BP4D と DISFA の実験では,提案した MARGL が従来の最先端手法よりも優れていたことが示されている。
- 参考スコア(独自算出の注目度): 30.129452080084224
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: In facial action unit (AU) recognition tasks, regional feature learning and
AU relation modeling are two effective aspects which are worth exploring.
However, the limited representation capacity of regional features makes it
difficult for relation models to embed AU relationship knowledge. In this
paper, we propose a novel multi-level adaptive ROI and graph learning (MARGL)
framework to tackle this problem. Specifically, an adaptive ROI learning module
is designed to automatically adjust the location and size of the predefined AU
regions. Meanwhile, besides relationship between AUs, there exists strong
relevance between regional features across multiple levels of the backbone
network as level-wise features focus on different aspects of representation. In
order to incorporate the intra-level AU relation and inter-level AU regional
relevance simultaneously, a multi-level AU relation graph is constructed and
graph convolution is performed to further enhance AU regional features of each
level. Experiments on BP4D and DISFA demonstrate the proposed MARGL
significantly outperforms the previous state-of-the-art methods.
- Abstract(参考訳): 顔行動単位(AU)認識タスクでは、地域特徴学習とAU関係モデリングは、探索する価値のある2つの効果的な側面である。
しかし,地域特徴の限られた表現能力は,関係モデルがAU関係知識を組み込むのを困難にしている。
本稿では,この問題に対処するためのマルチレベル適応型ROIとグラフ学習(MARGL)フレームワークを提案する。
具体的には、事前定義されたAU領域の位置とサイズを自動的に調整する適応ROI学習モジュールを設計する。
一方、AU間の関係に加えて、レベルワイズな特徴が表現の異なる側面に焦点を当てているため、バックボーンネットワークの複数のレベルにわたる地域的特徴間の強い関連性が存在する。
レベル内AU関係とレベル間AU地域関連を同時に組み込むために、マルチレベルAU関係グラフを構築し、各レベルのAU地域特性をさらに強化するためにグラフ畳み込みを行います。
BP4D と DISFA の実験では,提案した MARGL が従来の最先端手法よりも優れていたことが示されている。
関連論文リスト
- Towards End-to-End Explainable Facial Action Unit Recognition via Vision-Language Joint Learning [48.70249675019288]
本稿では,AU認識のためのエンドツーエンドのビジョン・ランゲージ共同学習ネットワークを提案する。
提案手法は,ほとんどのメトリクスにおける最先端手法よりも優れた性能を実現する。
論文 参考訳(メタデータ) (2024-08-01T15:35:44Z) - Multi-scale Dynamic and Hierarchical Relationship Modeling for Facial Action Units Recognition [38.62221940006509]
ヒューマン・フェイス・アクション・ユニット(AU)は階層的な方法で相互に関連している。
同じ/クローズな顔領域に位置するAUは、異なる顔領域よりも強い関係を示す。
本稿では,出現認識のための新しいマルチスケールAUモデルを提案する。
論文 参考訳(メタデータ) (2024-04-09T16:45:34Z) - Local Region Perception and Relationship Learning Combined with Feature
Fusion for Facial Action Unit Detection [12.677143408225167]
ABAW(Affective Behavior Analysis in the-wild)に関するCVPR 2023コンペティションについて紹介する。
具体的には、AU検出に関連する顔の局所的特徴を効果的に抽出するために、局所的知覚モジュールを用いる。
また、グラフニューラルネットワークに基づくリレーショナル学習モジュールを使用して、AU間の関係をキャプチャする。
論文 参考訳(メタデータ) (2023-03-15T11:59:24Z) - MGRR-Net: Multi-level Graph Relational Reasoning Network for Facial Action Units Detection [16.261362598190807]
FACS(Facial Action Coding System)は、顔画像中のアクションユニット(AU)を符号化する。
我々は、AU特徴の符号化は、地域的特徴とグローバルな特徴の間のリッチな文脈情報を捉えないかもしれないと論じる。
顔AU検出のためのマルチレベルグラフ推論ネットワーク(MGRR-Net)を提案する。
論文 参考訳(メタデータ) (2022-04-04T09:47:22Z) - Weakly Supervised Regional and Temporal Learning for Facial Action Unit
Recognition [36.350407471391065]
限定アノテーションとモデル性能のギャップを埋めるための補助的AU関連タスクを2つ提案する。
顔の筋肉の動的変化を利用するために,単一画像に基づく光フロー推定タスクを提案する。
半教師付き学習を取り入れることで、弱い教師付き地域学習と時間学習というエンド・ツー・エンドのトレーニング可能なフレームワークを提案する。
論文 参考訳(メタデータ) (2022-04-01T12:02:01Z) - PRA-Net: Point Relation-Aware Network for 3D Point Cloud Analysis [56.91758845045371]
我々はポイント関係認識ネットワーク(PRA-Net)という新しいフレームワークを提案する。
領域内構造学習(ISL)モジュールと領域間関係学習(IRL)モジュールで構成されている。
形状分類,キーポイント推定,部分セグメンテーションを含む複数の3次元ベンチマーク実験により,PRA-Netの有効性と性能が検証された。
論文 参考訳(メタデータ) (2021-12-09T13:24:43Z) - Self-Supervised Regional and Temporal Auxiliary Tasks for Facial Action
Unit Recognition [29.664359264758495]
限定アノテーションとモデル性能のギャップを埋めるための補助的AU関連タスクを2つ提案する。
AU関係埋め込みによる地域特徴の識別を強化するため、ランダムに収穫されたAUパッチを復元するRoI塗装タスクを設計する。
顔の筋肉の動的変化を利用するために,単一画像に基づく光フロー推定タスクを提案する。
これら2つの自己監督型補助課題に基づき、AUの局所的特徴、相互関係、動きの手がかりをバックボーンネットワークでよりよく捉えた。
論文 参考訳(メタデータ) (2021-07-30T02:39:45Z) - Multi-Level Graph Convolutional Network with Automatic Graph Learning
for Hyperspectral Image Classification [63.56018768401328]
HSI分類のための自動グラフ学習法(MGCN-AGL)を用いたマルチレベルグラフ畳み込みネットワーク(GCN)を提案する。
空間的に隣接する領域における重要度を特徴付けるために注意機構を利用することで、最も関連性の高い情報を適応的に組み込んで意思決定を行うことができる。
MGCN-AGLは局所的に生成した表現表現に基づいて画像領域間の長距離依存性を符号化する。
論文 参考訳(メタデータ) (2020-09-19T09:26:20Z) - Adversarial Graph Representation Adaptation for Cross-Domain Facial
Expression Recognition [86.25926461936412]
本稿では,グラフ表現の伝播と逆学習を両立させる新しいAdrialversa Graph Representation Adaptation (AGRA) フレームワークを提案する。
提案するAGRAフレームワークは,従来の最先端手法よりも優れた性能を発揮することを示す。
論文 参考訳(メタデータ) (2020-08-03T13:27:24Z) - J$\hat{\text{A}}$A-Net: Joint Facial Action Unit Detection and Face
Alignment via Adaptive Attention [57.51255553918323]
本稿では,共同AU検出と顔アライメントのための新しいエンドツーエンドディープラーニングフレームワークを提案する。
我々のフレームワークは、BP4D, DISFA, GFT, BP4D+ベンチマークにおいて、最先端のAU検出方法よりも大幅に優れています。
論文 参考訳(メタデータ) (2020-03-18T12:50:19Z) - Global Context-Aware Progressive Aggregation Network for Salient Object
Detection [117.943116761278]
我々は,低レベルな外観特徴,高レベルな意味特徴,グローバルな文脈特徴を統合化するための新しいネットワークGCPANetを提案する。
提案手法は, 定量的かつ定性的に, 最先端の手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2020-03-02T04:26:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。