論文の概要: Self-Supervised Regional and Temporal Auxiliary Tasks for Facial Action Unit Recognition

• arxiv url: http://arxiv.org/abs/2107.14399v1
• Date: Fri, 30 Jul 2021 02:39:45 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-02 13:02:32.784013
• Title: Self-Supervised Regional and Temporal Auxiliary Tasks for Facial Action Unit Recognition
• Title（参考訳）: 顔行動単位認識のための自己監督型地域・時間補助課題
• Authors: Jingwei Yan and Jingjing Wang and Qiang Li and Chunmao Wang and Shiliang Pu
• Abstract要約: 限定アノテーションとモデル性能のギャップを埋めるための補助的AU関連タスクを2つ提案する。 AU関係埋め込みによる地域特徴の識別を強化するため、ランダムに収穫されたAUパッチを復元するRoI塗装タスクを設計する。 顔の筋肉の動的変化を利用するために,単一画像に基づく光フロー推定タスクを提案する。 これら2つの自己監督型補助課題に基づき、AUの局所的特徴、相互関係、動きの手がかりをバックボーンネットワークでよりよく捉えた。
• 参考スコア（独自算出の注目度）: 29.664359264758495
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automatic facial action unit (AU) recognition is a challenging task due to the scarcity of manual annotations. To alleviate this problem, a large amount of efforts has been dedicated to exploiting various methods which leverage numerous unlabeled data. However, many aspects with regard to some unique properties of AUs, such as the regional and relational characteristics, are not sufficiently explored in previous works. Motivated by this, we take the AU properties into consideration and propose two auxiliary AU related tasks to bridge the gap between limited annotations and the model performance in a self-supervised manner via the unlabeled data. Specifically, to enhance the discrimination of regional features with AU relation embedding, we design a task of RoI inpainting to recover the randomly cropped AU patches. Meanwhile, a single image based optical flow estimation task is proposed to leverage the dynamic change of facial muscles and encode the motion information into the global feature representation. Based on these two self-supervised auxiliary tasks, local features, mutual relation and motion cues of AUs are better captured in the backbone network with the proposed regional and temporal based auxiliary task learning (RTATL) framework. Extensive experiments on BP4D and DISFA demonstrate the superiority of our method and new state-of-the-art performances are achieved.
• Abstract（参考訳）: 自動顔動作ユニット(AU)認識は手動アノテーションが不足しているため難しい課題である。 この問題を軽減するため、多数の未ラベルデータを活用する様々な手法の活用に多くの努力が注がれている。 しかし、地域特性や関係特性など、AUの特異性に関する多くの側面は、以前の研究では十分に解明されていない。 そこで我々は,AUプロパティを考慮し,制限付きアノテーションとモデル性能のギャップをラベルなしデータを介して自己管理的に埋める2つの補助的AU関連タスクを提案する。 具体的には、AU関係埋め込みによる地域特徴の識別を強化するために、ランダムに収穫されたAUパッチを復元するRoIの塗装タスクを設計する。 一方, 顔筋の動的変化を活用し, 運動情報を大域的特徴表現にエンコードするために, 単一画像に基づく光フロー推定タスクが提案されている。 これら2つの自己教師付き補助タスクに基づいて, 局所的特徴, 相互関係, 運動手がかりをバックボーンネットワークにおいて, 提案する局所的および時間的補助タスク学習(rtatl)フレームワークを用いてよりよく捉えることができる。 BP4D と DISFA の大規模実験により,本手法の優位性を実証し,新しい最先端性能を実現する。

関連論文リスト

• Facial Action Unit Detection by Adaptively Constraining Self-Attention and Causally Deconfounding Sample [53.23474626420103]
  顔行動単位(AU)検出は、AUの微妙さ、ダイナミクス、多様性のため、依然として困難な課題である。 本稿では,自己注意重み分布を適応的に制限することで,AC2Dと呼ばれる新しいAU検出フレームワークを提案する。 提案手法は,最先端のAU検出手法と比較して,挑戦的なベンチマークによる競合性能を実現する。
  論文  参考訳（メタデータ） (2024-10-02T05:51:24Z)
• Contrastive Learning of Person-independent Representations for Facial Action Unit Detection [70.60587475492065]
  自己教師型AU表現学習信号を2次元で定式化する。 ビデオクリップ内でAU表現を学習し、個人に依存しない表現を学習するためのクロスアイデンティティ再構築機構を考案する。 提案手法は,他のコントラスト学習手法よりも優れており,自己教師と教師付きAU検出手法間の性能ギャップを著しく短縮する。
  論文  参考訳（メタデータ） (2024-03-06T01:49:28Z)
• Self-supervised Facial Action Unit Detection with Region and Relation Learning [5.182661263082065]
  地域と関係学習を用いたAU検出のための新しい自己教師型フレームワークを提案する。 改良された最適輸送(OT)アルゴリズムを導入し,AU間の相関特性を利用した。 Swin Transformerは、機能学習中に各AU領域内の長距離依存関係をモデル化するために利用される。
  論文  参考訳（メタデータ） (2023-03-10T05:22:45Z)
• Weakly Supervised Regional and Temporal Learning for Facial Action Unit Recognition [36.350407471391065]
  限定アノテーションとモデル性能のギャップを埋めるための補助的AU関連タスクを2つ提案する。 顔の筋肉の動的変化を利用するために,単一画像に基づく光フロー推定タスクを提案する。 半教師付き学習を取り入れることで、弱い教師付き地域学習と時間学習というエンド・ツー・エンドのトレーニング可能なフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-04-01T12:02:01Z)
• Adaptive Local-Global Relational Network for Facial Action Units Recognition and Facial Paralysis Estimation [22.85506776477092]
  本稿では, 顔認識のための新しい適応局所グラフネットワーク (ALGRNet) を提案し, 顔の麻痺推定に応用する。 ALGRNetは3つの新しい構造、すなわち、検出されたランドマークに基づいて適応的な筋肉領域を学習する適応的な領域学習モジュールで構成されている。 BP4データセットとdisFA AUデータセットの実験では、提案手法が最先端の手法よりも大きなマージンで優れていることが示されている。
  論文  参考訳（メタデータ） (2022-03-03T16:14:49Z)
• On Exploring Pose Estimation as an Auxiliary Learning Task for Visible-Infrared Person Re-identification [66.58450185833479]
  本稿では,Pose Estimationを補助学習タスクとして活用して,エンドツーエンドフレームワークにおけるVI-ReIDタスクを支援する。 これら2つのタスクを相互に有利な方法で共同でトレーニングすることにより、高品質なモダリティ共有とID関連の特徴を学習する。 2つのベンチマークVI-ReIDデータセットの実験結果から,提案手法は一定のマージンで最先端の手法を継続的に改善することが示された。
  論文  参考訳（メタデータ） (2022-01-11T09:44:00Z)
• Multi-Level Adaptive Region of Interest and Graph Learning for Facial Action Unit Recognition [30.129452080084224]
  本稿では,この問題に対処するための多段階適応ROIとグラフ学習(MARGL)フレームワークを提案する。 レベル内AU関係とレベル間AU地域関連を同時に組み込むために、マルチレベルAU関係グラフを構築する。 BP4D と DISFA の実験では,提案した MARGL が従来の最先端手法よりも優れていたことが示されている。
  論文  参考訳（メタデータ） (2021-02-24T09:22:45Z)
• AU-Guided Unsupervised Domain Adaptive Facial Expression Recognition [21.126514122636966]
  本稿では、異なるFERデータセット間のアノテーションバイアスを軽減するためのAUガイド付き非監視ドメイン適応FERフレームワークを提案する。 ドメイン不変のコンパクトな機能を実現するために、AUを用いた両ドメインのアンカー正負の三つ子をランダムに収集するAUガイドトリプルトトレーニングを利用します。
  論文  参考訳（メタデータ） (2020-12-18T07:17:30Z)
• A Transfer Learning approach to Heatmap Regression for Action Unit intensity estimation [50.261472059743845]
  アクション・ユニット(英: Action Units、AUs)は、幾何学に基づく原子性顔面筋運動である。 本稿では,その位置と強度を共同で推定する新しいAUモデリング問題を提案する。 ヒートマップは、所定の空間的位置でAUが発生するか否かをモデル化する。
  論文  参考訳（メタデータ） (2020-04-14T16:51:13Z)
• J$\hat{\text{A}}$A-Net: Joint Facial Action Unit Detection and Face Alignment via Adaptive Attention [57.51255553918323]
  本稿では,共同AU検出と顔アライメントのための新しいエンドツーエンドディープラーニングフレームワークを提案する。 我々のフレームワークは、BP4D, DISFA, GFT, BP4D+ベンチマークにおいて、最先端のAU検出方法よりも大幅に優れています。
  論文  参考訳（メタデータ） (2020-03-18T12:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。