論文の概要: Spatio-Temporal Relation and Attention Learning for Facial Action Unit Detection

• arxiv url: http://arxiv.org/abs/2001.01168v1
• Date: Sun, 5 Jan 2020 05:14:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-14 08:02:55.385970
• Title: Spatio-Temporal Relation and Attention Learning for Facial Action Unit Detection
• Title（参考訳）: 顔行動単位検出のための時空間関係と注意学習
• Authors: Zhiwen Shao, Lixin Zou, Jianfei Cai, Yunsheng Wu, Lizhuang Ma
• Abstract要約: 動的顔行動単位(AUs)から空間的・時間的関係を捉えるグラフ時間畳み込みネットワークを導入する。 本研究では,AUのダイナミズムと形状の不規則性を考慮したアテンション正規化手法を提案する。 実験により,BP4D,特にdisFAベンチマークにおける最先端のAU検出法に対して,本手法が大幅に改善されていることが示された。
• 参考スコア（独自算出の注目度）: 58.32307309666648
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spatio-temporal relations among facial action units (AUs) convey significant information for AU detection yet have not been thoroughly exploited. The main reasons are the limited capability of current AU detection works in simultaneously learning spatial and temporal relations, and the lack of precise localization information for AU feature learning. To tackle these limitations, we propose a novel spatio-temporal relation and attention learning framework for AU detection. Specifically, we introduce a spatio-temporal graph convolutional network to capture both spatial and temporal relations from dynamic AUs, in which the AU relations are formulated as a spatio-temporal graph with adaptively learned instead of predefined edge weights. Moreover, the learning of spatio-temporal relations among AUs requires individual AU features. Considering the dynamism and shape irregularity of AUs, we propose an attention regularization method to adaptively learn regional attentions that capture highly relevant regions and suppress irrelevant regions so as to extract a complete feature for each AU. Extensive experiments show that our approach achieves substantial improvements over the state-of-the-art AU detection methods on BP4D and especially DISFA benchmarks.
• Abstract（参考訳）: 顔行動単位(AU)間の時空間関係は、AU検出のための重要な情報を十分に活用していない。 主な理由は、空間的および時間的関係を同時に学習する現在のAU検出作業の限られた能力と、AU特徴学習のための正確な位置情報の欠如である。 そこで本研究では,au検出のための時空間関係と注意学習の枠組みを提案する。 具体的には,au関係を時空間グラフとして定式化し,事前定義されたエッジ重みではなく適応的に学習する動的オースから空間的・時間的関係を捉える時空間グラフ畳み込みネットワークを提案する。 さらに、AU間の時空間関係の学習には個々のAUの特徴が必要である。 本研究では,AUのダイナミズムと形状の不規則性を考慮したアテンション正規化手法を提案する。 BP4Dおよび特にdisFAベンチマークにおける最先端のAU検出法に対して,本手法が大幅に改善されていることを示す。

関連論文リスト

• Facial Action Unit Detection by Adaptively Constraining Self-Attention and Causally Deconfounding Sample [53.23474626420103]
  顔行動単位(AU)検出は、AUの微妙さ、ダイナミクス、多様性のため、依然として困難な課題である。 本稿では,自己注意重み分布を適応的に制限することで,AC2Dと呼ばれる新しいAU検出フレームワークを提案する。 提案手法は,最先端のAU検出手法と比較して,挑戦的なベンチマークによる競合性能を実現する。
  論文  参考訳（メタデータ） (2024-10-02T05:51:24Z)
• Self-supervised Facial Action Unit Detection with Region and Relation Learning [5.182661263082065]
  地域と関係学習を用いたAU検出のための新しい自己教師型フレームワークを提案する。 改良された最適輸送(OT)アルゴリズムを導入し,AU間の相関特性を利用した。 Swin Transformerは、機能学習中に各AU領域内の長距離依存関係をモデル化するために利用される。
  論文  参考訳（メタデータ） (2023-03-10T05:22:45Z)
• PS-ARM: An End-to-End Attention-aware Relation Mixer Network for Person Search [56.02761592710612]
  モジュール・パーソン・サーチのための新しいアテンション・アウェア・リレーション・ミキサー(ARM)を提案する。 私たちのARMモジュールはネイティブで、きめ細かい監督やトポロジカルな仮定に依存していません。 我々のPS-ARMは、両方のデータセットで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-10-07T10:04:12Z)
• Relation Matters: Foreground-aware Graph-based Relational Reasoning for Domain Adaptive Object Detection [81.07378219410182]
  我々は、FGRR(Fearground-aware Graph-based Reasoning)というドメインDのための新しい汎用フレームワークを提案する。 FGRRはグラフ構造を検出パイプラインに組み込んで、ドメイン内およびドメイン間フォアグラウンドオブジェクト関係を明示的にモデル化する。 実験の結果、提案したFGRRは4つのDomainDベンチマークの最先端よりも優れていることが示された。
  論文  参考訳（メタデータ） (2022-06-06T05:12:48Z)
• Weakly Supervised Regional and Temporal Learning for Facial Action Unit Recognition [36.350407471391065]
  限定アノテーションとモデル性能のギャップを埋めるための補助的AU関連タスクを2つ提案する。 顔の筋肉の動的変化を利用するために,単一画像に基づく光フロー推定タスクを提案する。 半教師付き学習を取り入れることで、弱い教師付き地域学習と時間学習というエンド・ツー・エンドのトレーニング可能なフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-04-01T12:02:01Z)
• Self-Supervised Regional and Temporal Auxiliary Tasks for Facial Action Unit Recognition [29.664359264758495]
  限定アノテーションとモデル性能のギャップを埋めるための補助的AU関連タスクを2つ提案する。 AU関係埋め込みによる地域特徴の識別を強化するため、ランダムに収穫されたAUパッチを復元するRoI塗装タスクを設計する。 顔の筋肉の動的変化を利用するために,単一画像に基づく光フロー推定タスクを提案する。 これら2つの自己監督型補助課題に基づき、AUの局所的特徴、相互関係、動きの手がかりをバックボーンネットワークでよりよく捉えた。
  論文  参考訳（メタデータ） (2021-07-30T02:39:45Z)
• Local Relation Learning for Face Forgery Detection [73.73130683091154]
  局所的関係学習による顔の偽造検出の新たな視点を提案する。 具体的には,局所的な特徴間の類似度を測定するMPSM(Multi-scale Patch similarity Module)を提案する。 また、より包括的な局所特徴表現のために、RGBおよび周波数領域の情報を融合するRGB-Frequency Attention Module (RFAM)を提案する。
  論文  参考訳（メタデータ） (2021-05-06T10:44:32Z)
• Multi-Level Adaptive Region of Interest and Graph Learning for Facial Action Unit Recognition [30.129452080084224]
  本稿では,この問題に対処するための多段階適応ROIとグラフ学習(MARGL)フレームワークを提案する。 レベル内AU関係とレベル間AU地域関連を同時に組み込むために、マルチレベルAU関係グラフを構築する。 BP4D と DISFA の実験では,提案した MARGL が従来の最先端手法よりも優れていたことが示されている。
  論文  参考訳（メタデータ） (2021-02-24T09:22:45Z)
• J$\hat{\text{A}}$A-Net: Joint Facial Action Unit Detection and Face Alignment via Adaptive Attention [57.51255553918323]
  本稿では,共同AU検出と顔アライメントのための新しいエンドツーエンドディープラーニングフレームワークを提案する。 我々のフレームワークは、BP4D, DISFA, GFT, BP4D+ベンチマークにおいて、最先端のAU検出方法よりも大幅に優れています。
  論文  参考訳（メタデータ） (2020-03-18T12:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。