論文の概要: AU-TTT: Vision Test-Time Training model for Facial Action Unit Detection

• arxiv url: http://arxiv.org/abs/2503.23450v1
• Date: Sun, 30 Mar 2025 14:09:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-01 19:35:57.126822
• Title: AU-TTT: Vision Test-Time Training model for Facial Action Unit Detection
• Title（参考訳）: AU-TTT:顔行動単位検出のための視力試験時間訓練モデル
• Authors: Bohao Xing, Kaishen Yuan, Zitong Yu, Xin Liu, Heikki Kälviäinen,
• Abstract要約: 顔行動ユニット(英: Facial Action Units, AUs)の検出は、客観的な表情分析の基盤であり、感情コンピューティングにおける重要な焦点である。 AU検出は、AUアノテーションの高コストやデータセットの可用性の制限など、大きな課題に直面している。 本稿では、AU検出に適した新しい視覚バックボーンを提案し、AU-TTTと呼ばれる双方向TTTブロックを組み込んだ。
• 参考スコア（独自算出の注目度）: 18.523909610800757
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Facial Action Units (AUs) detection is a cornerstone of objective facial expression analysis and a critical focus in affective computing. Despite its importance, AU detection faces significant challenges, such as the high cost of AU annotation and the limited availability of datasets. These constraints often lead to overfitting in existing methods, resulting in substantial performance degradation when applied across diverse datasets. Addressing these issues is essential for improving the reliability and generalizability of AU detection methods. Moreover, many current approaches leverage Transformers for their effectiveness in long-context modeling, but they are hindered by the quadratic complexity of self-attention. Recently, Test-Time Training (TTT) layers have emerged as a promising solution for long-sequence modeling. Additionally, TTT applies self-supervised learning for iterative updates during both training and inference, offering a potential pathway to mitigate the generalization challenges inherent in AU detection tasks. In this paper, we propose a novel vision backbone tailored for AU detection, incorporating bidirectional TTT blocks, named AU-TTT. Our approach introduces TTT Linear to the AU detection task and optimizes image scanning mechanisms for enhanced performance. Additionally, we design an AU-specific Region of Interest (RoI) scanning mechanism to capture fine-grained facial features critical for AU detection. Experimental results demonstrate that our method achieves competitive performance in both within-domain and cross-domain scenarios.
• Abstract（参考訳）: 顔行動ユニット(英: Facial Action Units, AUs)の検出は、客観的な表情分析の基盤であり、感情コンピューティングにおける重要な焦点である。 AU検出の重要性にもかかわらず、AUアノテーションの高コストやデータセットの可用性の制限など、重大な課題に直面している。 これらの制約は、しばしば既存のメソッドに過度に適合し、多様なデータセットに適用した場合、パフォーマンスが大幅に低下する。 これらの問題に対処することは、AU検出法の信頼性と一般化性を向上させるために不可欠である。 さらに、多くの現在のアプローチでは、トランスフォーマーを長期コンテキストモデリングの有効性に活用しているが、それらは自己注意の二次的な複雑さによって妨げられている。 近年,テストタイムトレーニング (TTT) 層が長期的モデリングのための有望なソリューションとして出現している。 さらに、TTTはトレーニングと推論の両方の繰り返し更新に自己教師付き学習を適用し、AU検出タスクに固有の一般化課題を軽減する潜在的な経路を提供する。 本稿では、AU検出に適した新しい視覚バックボーンを提案し、AU-TTTと呼ばれる双方向TTTブロックを組み込んだ。 提案手法では,ATTリニアをAU検出タスクに導入し,画像スキャン機構を最適化して性能を向上する。 さらに、AU検出に必須なきめ細かい顔の特徴を捉えるために、AU固有の関心領域(RoI)スキャン機構を設計する。 実験結果から,本手法はドメイン内シナリオとクロスドメインシナリオの両方において競合性能を発揮することが示された。

関連論文リスト

• Decoupled Doubly Contrastive Learning for Cross Domain Facial Action Unit Detection [66.80386429324196]
  そこで本稿では,AU 表現を2つに分離した2つのコントラスト適応 (D$2$CA) 手法を提案する。 D$2$CAは、合成顔の質を評価することにより、AUとドメイン因子を乱すように訓練される。 最先端のクロスドメインAU検出アプローチよりも一貫して優れています。
  論文  参考訳（メタデータ） (2025-03-12T00:42:17Z)
• Facial Action Unit Detection by Adaptively Constraining Self-Attention and Causally Deconfounding Sample [53.23474626420103]
  顔行動単位(AU)検出は、AUの微妙さ、ダイナミクス、多様性のため、依然として困難な課題である。 本稿では,自己注意重み分布を適応的に制限することで,AC2Dと呼ばれる新しいAU検出フレームワークを提案する。 提案手法は,最先端のAU検出手法と比較して,挑戦的なベンチマークによる競合性能を実現する。
  論文  参考訳（メタデータ） (2024-10-02T05:51:24Z)
• Feature Attenuation of Defective Representation Can Resolve Incomplete Masking on Anomaly Detection [1.0358639819750703]
  教師なし異常検出(UAD)研究では、計算効率が高くスケーラブルなソリューションを開発する必要がある。 再建・塗り替えのアプローチを再考し、強みと弱みを分析して改善する。 異常再構成の特徴情報を減衰させる2つの層のみを用いるFADeR(Feature Attenuation of Defective Representation)を提案する。
  論文  参考訳（メタデータ） (2024-07-05T15:44:53Z)
• AUFormer: Vision Transformers are Parameter-Efficient Facial Action Unit Detectors [31.547624650827395]
  既存の手法は、多くの学習可能なパラメータの利用によって過度に適合する問題に悩まされる。 PETLはこれらの課題に対処するための有望なパラダイムを提供する。 そこで我々は,Mixture-of-Knowledge Expert (MoKE) のコラボレーション機構を提案する。
  論文  参考訳（メタデータ） (2024-03-07T17:46:50Z)
• Occlusion-Aware Detection and Re-ID Calibrated Network for Multi-Object Tracking [38.36872739816151]
  検出器内のOAA(Occlusion-Aware Attention)モジュールは、隠蔽された背景領域を抑えながらオブジェクトの特徴を強調する。 OAAは、隠蔽される可能性のある物体の検出器を強化する変調器として機能する。 最適輸送問題に基づくRe-ID埋め込みマッチングブロックを設計する。
  論文  参考訳（メタデータ） (2023-08-30T06:56:53Z)
• Self-supervised Facial Action Unit Detection with Region and Relation Learning [5.182661263082065]
  地域と関係学習を用いたAU検出のための新しい自己教師型フレームワークを提案する。 改良された最適輸送(OT)アルゴリズムを導入し,AU間の相関特性を利用した。 Swin Transformerは、機能学習中に各AU領域内の長距離依存関係をモデル化するために利用される。
  論文  参考訳（メタデータ） (2023-03-10T05:22:45Z)
• Weakly Supervised Regional and Temporal Learning for Facial Action Unit Recognition [36.350407471391065]
  限定アノテーションとモデル性能のギャップを埋めるための補助的AU関連タスクを2つ提案する。 顔の筋肉の動的変化を利用するために,単一画像に基づく光フロー推定タスクを提案する。 半教師付き学習を取り入れることで、弱い教師付き地域学習と時間学習というエンド・ツー・エンドのトレーニング可能なフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-04-01T12:02:01Z)
• Test-time Adaptation with Slot-Centric Models [63.981055778098444]
  Slot-TTAは、半教師付きシーン分解モデルであり、シーンごとのテスト時間は、再構成やクロスビュー合成の目的に対する勾配降下を通じて適用される。 我々は、最先端の監視フィードフォワード検出器と代替テスト時間適応法に対して、配電性能が大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2022-03-21T17:59:50Z)
• Robust and Precise Facial Landmark Detection by Self-Calibrated Pose Attention Network [73.56802915291917]
  より堅牢で正確な顔のランドマーク検出を実現するための半教師付きフレームワークを提案する。 より効果的な顔形状制約をモデル化するために,境界対応ランドマーク強度(BALI)フィールドを提案する。 自己キャリブレーション・ポース・アテンション(SCPA)モデルは、中間的監督を強制する自己学習型目標関数を提供するように設計されている。
  論文  参考訳（メタデータ） (2021-12-23T02:51:08Z)
• Meta Auxiliary Learning for Facial Action Unit Detection [84.22521265124806]
  マルチタスク方式でAU検出と表情認識を学習することを検討する。 マルチタスクシナリオにおける負の転送のため、AU検出タスクの性能を常に向上することはできない。 トレーニングFEサンプルの適応重みをメタラーニング方式で学習し,高相関なFEサンプルを自動的に選択するメタラーニング法(MAL)を提案する。
  論文  参考訳（メタデータ） (2021-05-14T02:28:40Z)
• J$\hat{\text{A}}$A-Net: Joint Facial Action Unit Detection and Face Alignment via Adaptive Attention [57.51255553918323]
  本稿では,共同AU検出と顔アライメントのための新しいエンドツーエンドディープラーニングフレームワークを提案する。 我々のフレームワークは、BP4D, DISFA, GFT, BP4D+ベンチマークにおいて、最先端のAU検出方法よりも大幅に優れています。
  論文  参考訳（メタデータ） (2020-03-18T12:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。