論文の概要: AUFormer: Vision Transformers are Parameter-Efficient Facial Action Unit Detectors

• arxiv url: http://arxiv.org/abs/2403.04697v1
• Date: Thu, 7 Mar 2024 17:46:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-08 13:16:06.126165
• Title: AUFormer: Vision Transformers are Parameter-Efficient Facial Action Unit Detectors
• Title（参考訳）: AUFormer:視覚変換器はパラメータ効率の良い顔アクションユニット検出器
• Authors: Kaishen Yuan, Zitong Yu, Xin Liu, Weicheng Xie, Huanjing Yue, Jingyu Yang
• Abstract要約: 既存の手法は、多くの学習可能なパラメータの利用によって過度に適合する問題に悩まされる。 PETLはこれらの課題に対処するための有望なパラダイムを提供する。 そこで我々は,Mixture-of-Knowledge Expert (MoKE) のコラボレーション機構を提案する。
• 参考スコア（独自算出の注目度）: 33.428362205087545
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Facial Action Units (AU) is a vital concept in the realm of affective computing, and AU detection has always been a hot research topic. Existing methods suffer from overfitting issues due to the utilization of a large number of learnable parameters on scarce AU-annotated datasets or heavy reliance on substantial additional relevant data. Parameter-Efficient Transfer Learning (PETL) provides a promising paradigm to address these challenges, whereas its existing methods lack design for AU characteristics. Therefore, we innovatively investigate PETL paradigm to AU detection, introducing AUFormer and proposing a novel Mixture-of-Knowledge Expert (MoKE) collaboration mechanism. An individual MoKE specific to a certain AU with minimal learnable parameters first integrates personalized multi-scale and correlation knowledge. Then the MoKE collaborates with other MoKEs in the expert group to obtain aggregated information and inject it into the frozen Vision Transformer (ViT) to achieve parameter-efficient AU detection. Additionally, we design a Margin-truncated Difficulty-aware Weighted Asymmetric Loss (MDWA-Loss), which can encourage the model to focus more on activated AUs, differentiate the difficulty of unactivated AUs, and discard potential mislabeled samples. Extensive experiments from various perspectives, including within-domain, cross-domain, data efficiency, and micro-expression domain, demonstrate AUFormer's state-of-the-art performance and robust generalization abilities without relying on additional relevant data. The code for AUFormer is available at https://github.com/yuankaishen2001/AUFormer.
• Abstract（参考訳）: AU(Facial Action Units)は、感情コンピューティングの領域において重要な概念であり、AU検出は常にホットな研究トピックである。 既存の方法は、少ないau注釈付きデータセットで多くの学習可能なパラメータを利用するか、実質的な追加関連データに依存するため、過剰に適合する問題に苦しんでいる。 パラメータ効率の高い転送学習(petl)は、これらの課題に対処するための有望なパラダイムを提供するが、既存の手法にはau特性の設計が欠けている。 そこで本研究では,AUFormerを導入し,新しいMixture-of-Knowledge Expert(MoKE)コラボレーション機構を提案する。 最小限の学習可能なパラメータを持つ特定のAUに固有の個々のMoKEは、まずパーソナライズされたマルチスケールおよび相関知識を統合する。 その後、MoKEは専門家グループ内の他のMoKEと協力して集約された情報を取得し、凍結したビジョントランス(ViT)に注入し、パラメータ効率の良いAU検出を実現する。 さらに,モデルがより活性化されたausに焦点を合わせ,未活性化のausの難易度を区別し,潜在的なラベル付きサンプルを破棄するよう促す,マージンマーク付き難易度重み付き非対称損失(mdwa-loss)を設計した。 ドメイン内、クロスドメイン、データ効率、マイクロ圧縮ドメインなど、さまざまな観点からの広範な実験は、AUFormerの最先端性能と堅牢な一般化能力を、追加の関連データに頼ることなく実証している。 AUFormerのコードはhttps://github.com/yuankaishen2001/AUFormerで入手できる。

関連論文リスト

• Verifying Machine Unlearning with Explainable AI [46.7583989202789]
  港の前面監視における機械学習(MU)の検証における説明可能なAI(XAI)の有効性について検討する。 私たちの概念実証は、従来のメトリクスを超えて拡張されたMUの革新的な検証ステップとして属性機能を導入しています。 本稿では,これらの手法の有効性を評価するために,熱マップカバレッジ(HC)とアテンションシフト(AS)の2つの新しいXAI指標を提案する。
  論文  参考訳（メタデータ） (2024-11-20T13:57:32Z)
• Facial Action Unit Detection by Adaptively Constraining Self-Attention and Causally Deconfounding Sample [53.23474626420103]
  顔行動単位(AU)検出は、AUの微妙さ、ダイナミクス、多様性のため、依然として困難な課題である。 本稿では,自己注意重み分布を適応的に制限することで,AC2Dと呼ばれる新しいAU検出フレームワークを提案する。 提案手法は,最先端のAU検出手法と比較して,挑戦的なベンチマークによる競合性能を実現する。
  論文  参考訳（メタデータ） (2024-10-02T05:51:24Z)
• Learning Contrastive Feature Representations for Facial Action Unit Detection [13.834540490373818]
  顔アクションユニット(AU)検出は、AUが活性化する際の微妙な特徴差を検出するという課題に長年遭遇してきた。 本稿では、自己教師付き信号と教師付き信号の両方を組み込んだAU検出を目的とした、新しいコントラスト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-09T03:48:20Z)
• Seeking Neural Nuggets: Knowledge Transfer in Large Language Models from a Parametric Perspective [106.92016199403042]
  パラメトリック・パースペクティブを用いて,大規模モデルから小規模モデルへの知識伝達を実証的に検討する。 感性に基づく手法を用いて、異なる大言語モデル間で知識固有のパラメータを抽出・調整する。 本研究は,パラメトリックな知識伝達の過程に寄与する重要な要因を明らかにする。
  論文  参考訳（メタデータ） (2023-10-17T17:58:34Z)
• Physics Inspired Hybrid Attention for SAR Target Recognition [61.01086031364307]
  本稿では,物理にヒントを得たハイブリットアテンション(PIHA)機構と,この問題に対処するためのOFA評価プロトコルを提案する。 PIHAは、物理的情報の高レベルなセマンティクスを活用して、ターゲットの局所的なセマンティクスを認識した特徴群を活性化し、誘導する。 提案手法は,ASCパラメータが同じ12のテストシナリオにおいて,他の最先端手法よりも優れている。
  論文  参考訳（メタデータ） (2023-09-27T14:39:41Z)
• Multi-scale Promoted Self-adjusting Correlation Learning for Facial Action Unit Detection [37.841035367349434]
  AU(Facial Action Unit)検出は、感情コンピューティングと社会ロボティクスにおいて重要なタスクである。 以前の方法では、専門家の経験や特定のベンチマークの統計規則に基づいて、固定されたAU相関を用いた。 本稿では,自己調整型AU相関学習(SACL)手法を提案する。
  論文  参考訳（メタデータ） (2023-08-15T13:43:48Z)
• FAN-Trans: Online Knowledge Distillation for Facial Action Unit Detection [45.688712067285536]
  オンライン知識蒸留フレームワークを活用し,AU検出のための「FANTrans」手法を提案する。 我々のモデルは、AU毎の特徴を学習し、AU共起をモデル化するための、畳み込みと変圧器ブロックのハイブリッドネットワークで構成されている。
  論文  参考訳（メタデータ） (2022-11-11T11:35:33Z)
• Discover, Explanation, Improvement: An Automatic Slice Detection Framework for Natural Language Processing [72.14557106085284]
  スライス検出モデル(SDM)は、データポイントの低パフォーマンスなグループを自動的に識別する。 本稿では,NLPタスクの分類のための "Discover, Explain, improve (DEIM)" というベンチマークを提案する。 評価の結果,Edisaは情報的セマンティックな特徴を持つ誤り発生データポイントを正確に選択できることがわかった。
  論文  参考訳（メタデータ） (2022-11-08T19:00:00Z)
• Meta Auxiliary Learning for Facial Action Unit Detection [84.22521265124806]
  マルチタスク方式でAU検出と表情認識を学習することを検討する。 マルチタスクシナリオにおける負の転送のため、AU検出タスクの性能を常に向上することはできない。 トレーニングFEサンプルの適応重みをメタラーニング方式で学習し,高相関なFEサンプルを自動的に選択するメタラーニング法(MAL)を提案する。
  論文  参考訳（メタデータ） (2021-05-14T02:28:40Z)
• Active Feature Acquisition with Generative Surrogate Models [11.655069211977464]
  本研究では,アクティブ機能獲得(AFA)を行うモデルについて検討し,未観測機能に対する環境問合せを行う。 我々の研究は、AFA問題を生成的モデリングタスクとして根底にあるマルコフ決定プロセス(MDP)を再構築する。 本稿では,入力特徴間の依存関係を捕捉し,取得から得られる潜在的な情報を評価する生成代理モデル(GSM)の学習を提案する。
  論文  参考訳（メタデータ） (2020-10-06T02:10:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。