論文の概要: Weakly Supervised Regional and Temporal Learning for Facial Action Unit Recognition

• arxiv url: http://arxiv.org/abs/2204.00379v1
• Date: Fri, 1 Apr 2022 12:02:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-04 14:40:15.344529
• Title: Weakly Supervised Regional and Temporal Learning for Facial Action Unit Recognition
• Title（参考訳）: 顔行動単位認識のための局所的・時間的学習の弱化
• Authors: Jingwei Yan, Jingjing Wang, Qiang Li, Chunmao Wang, Shiliang Pu
• Abstract要約: 限定アノテーションとモデル性能のギャップを埋めるための補助的AU関連タスクを2つ提案する。 顔の筋肉の動的変化を利用するために,単一画像に基づく光フロー推定タスクを提案する。 半教師付き学習を取り入れることで、弱い教師付き地域学習と時間学習というエンド・ツー・エンドのトレーニング可能なフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 36.350407471391065
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automatic facial action unit (AU) recognition is a challenging task due to the scarcity of manual annotations. To alleviate this problem, a large amount of efforts has been dedicated to exploiting various weakly supervised methods which leverage numerous unlabeled data. However, many aspects with regard to some unique properties of AUs, such as the regional and relational characteristics, are not sufficiently explored in previous works. Motivated by this, we take the AU properties into consideration and propose two auxiliary AU related tasks to bridge the gap between limited annotations and the model performance in a self-supervised manner via the unlabeled data. Specifically, to enhance the discrimination of regional features with AU relation embedding, we design a task of RoI inpainting to recover the randomly cropped AU patches. Meanwhile, a single image based optical flow estimation task is proposed to leverage the dynamic change of facial muscles and encode the motion information into the global feature representation. Based on these two self-supervised auxiliary tasks, local features, mutual relation and motion cues of AUs are better captured in the backbone network. Furthermore, by incorporating semi-supervised learning, we propose an end-to-end trainable framework named weakly supervised regional and temporal learning (WSRTL) for AU recognition. Extensive experiments on BP4D and DISFA demonstrate the superiority of our method and new state-of-the-art performances are achieved.
• Abstract（参考訳）: 自動顔動作ユニット(AU)認識は手動アノテーションが不足しているため難しい課題である。 この問題を軽減するために、多数の未ラベルデータを活用する弱い教師付き手法の活用に多くの努力が注がれている。 しかし、地域特性や関係特性など、AUの特異性に関する多くの側面は、以前の研究では十分に解明されていない。 そこで我々は,AUプロパティを考慮し,制限付きアノテーションとモデル性能のギャップをラベルなしデータを介して自己管理的に埋める2つの補助的AU関連タスクを提案する。 具体的には、AU関係埋め込みによる地域特徴の識別を強化するために、ランダムに収穫されたAUパッチを復元するRoIの塗装タスクを設計する。 一方, 顔筋の動的変化を活用し, 運動情報を大域的特徴表現にエンコードするために, 単一画像に基づく光フロー推定タスクが提案されている。 これら2つの自己監督型補助課題に基づき、AUの局所的特徴、相互関係、動きの手がかりをバックボーンネットワークでよりよく捉えた。 さらに,半教師付き学習を組み込むことにより,au認識のためのweakly supervised regional and temporal learning (wsrtl) というエンドツーエンド学習フレームワークを提案する。 BP4D と DISFA の大規模実験により,本手法の優位性を実証し,新しい最先端性能を実現する。

関連論文リスト

• Facial Action Unit Detection by Adaptively Constraining Self-Attention and Causally Deconfounding Sample [53.23474626420103]
  顔行動単位(AU)検出は、AUの微妙さ、ダイナミクス、多様性のため、依然として困難な課題である。 本稿では,自己注意重み分布を適応的に制限することで,AC2Dと呼ばれる新しいAU検出フレームワークを提案する。 提案手法は,最先端のAU検出手法と比較して,挑戦的なベンチマークによる競合性能を実現する。
  論文  参考訳（メタデータ） (2024-10-02T05:51:24Z)
• MASA: Motion-aware Masked Autoencoder with Semantic Alignment for Sign Language Recognition [94.56755080185732]
  本研究では,リッチモーションキューとグローバルセマンティック情報を統合したセマンティックアライメント(MASA)を用いたMotion-Awareマスク付きオートエンコーダを提案する。 我々のフレームワークは,包括的手話表現のための局所的な動きの手がかりとグローバルな意味的特徴を同時に学習することができる。
  論文  参考訳（メタデータ） (2024-05-31T08:06:05Z)
• Contrastive Learning of Person-independent Representations for Facial Action Unit Detection [70.60587475492065]
  自己教師型AU表現学習信号を2次元で定式化する。 ビデオクリップ内でAU表現を学習し、個人に依存しない表現を学習するためのクロスアイデンティティ再構築機構を考案する。 提案手法は,他のコントラスト学習手法よりも優れており,自己教師と教師付きAU検出手法間の性能ギャップを著しく短縮する。
  論文  参考訳（メタデータ） (2024-03-06T01:49:28Z)
• Self-supervised Facial Action Unit Detection with Region and Relation Learning [5.182661263082065]
  地域と関係学習を用いたAU検出のための新しい自己教師型フレームワークを提案する。 改良された最適輸送(OT)アルゴリズムを導入し,AU間の相関特性を利用した。 Swin Transformerは、機能学習中に各AU領域内の長距離依存関係をモデル化するために利用される。
  論文  参考訳（メタデータ） (2023-03-10T05:22:45Z)
• MGRR-Net: Multi-level Graph Relational Reasoning Network for Facial Action Units Detection [16.261362598190807]
  FACS(Facial Action Coding System)は、顔画像中のアクションユニット(AU)を符号化する。 我々は、AU特徴の符号化は、地域的特徴とグローバルな特徴の間のリッチな文脈情報を捉えないかもしれないと論じる。 顔AU検出のためのマルチレベルグラフ推論ネットワーク(MGRR-Net)を提案する。
  論文  参考訳（メタデータ） (2022-04-04T09:47:22Z)
• On Exploring Pose Estimation as an Auxiliary Learning Task for Visible-Infrared Person Re-identification [66.58450185833479]
  本稿では,Pose Estimationを補助学習タスクとして活用して,エンドツーエンドフレームワークにおけるVI-ReIDタスクを支援する。 これら2つのタスクを相互に有利な方法で共同でトレーニングすることにより、高品質なモダリティ共有とID関連の特徴を学習する。 2つのベンチマークVI-ReIDデータセットの実験結果から,提案手法は一定のマージンで最先端の手法を継続的に改善することが示された。
  論文  参考訳（メタデータ） (2022-01-11T09:44:00Z)
• Self-Supervised Regional and Temporal Auxiliary Tasks for Facial Action Unit Recognition [29.664359264758495]
  限定アノテーションとモデル性能のギャップを埋めるための補助的AU関連タスクを2つ提案する。 AU関係埋め込みによる地域特徴の識別を強化するため、ランダムに収穫されたAUパッチを復元するRoI塗装タスクを設計する。 顔の筋肉の動的変化を利用するために,単一画像に基づく光フロー推定タスクを提案する。 これら2つの自己監督型補助課題に基づき、AUの局所的特徴、相互関係、動きの手がかりをバックボーンネットワークでよりよく捉えた。
  論文  参考訳（メタデータ） (2021-07-30T02:39:45Z)
• Multi-Level Adaptive Region of Interest and Graph Learning for Facial Action Unit Recognition [30.129452080084224]
  本稿では,この問題に対処するための多段階適応ROIとグラフ学習(MARGL)フレームワークを提案する。 レベル内AU関係とレベル間AU地域関連を同時に組み込むために、マルチレベルAU関係グラフを構築する。 BP4D と DISFA の実験では,提案した MARGL が従来の最先端手法よりも優れていたことが示されている。
  論文  参考訳（メタデータ） (2021-02-24T09:22:45Z)
• J$\hat{\text{A}}$A-Net: Joint Facial Action Unit Detection and Face Alignment via Adaptive Attention [57.51255553918323]
  本稿では,共同AU検出と顔アライメントのための新しいエンドツーエンドディープラーニングフレームワークを提案する。 我々のフレームワークは、BP4D, DISFA, GFT, BP4D+ベンチマークにおいて、最先端のAU検出方法よりも大幅に優れています。
  論文  参考訳（メタデータ） (2020-03-18T12:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。