論文の概要: AUEditNet: Dual-Branch Facial Action Unit Intensity Manipulation with Implicit Disentanglement
- arxiv url: http://arxiv.org/abs/2404.05063v2
- Date: Wed, 10 Apr 2024 07:44:40 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-11 11:44:40.220089
- Title: AUEditNet: Dual-Branch Facial Action Unit Intensity Manipulation with Implicit Disentanglement
- Title（参考訳）: AUEditNet: 意図しない絡み合いを伴うデュアルブランチ・ファシアル・アクション・ユニット・インテンシティ・マニピュレーション
- Authors: Shiwei Jin, Zhen Wang, Lei Wang, Peng Liu, Ning Bi, Truong Nguyen,
- Abstract要約: 本稿では,顔画像の強度操作モデルであるAUEditNetを紹介する。
提案したモデルでは, 被験者18名に対して, 12AUに対して印象的な強度操作が可能であった。
我々の実験は、AUの強度を編集する際のAUEditNetの優れた精度を実証し、顔の特徴やアイデンティティを識別する能力を確認した。
- 参考スコア（独自算出の注目度）: 12.233365159961668
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Facial action unit (AU) intensity plays a pivotal role in quantifying fine-grained expression behaviors, which is an effective condition for facial expression manipulation. However, publicly available datasets containing intensity annotations for multiple AUs remain severely limited, often featuring a restricted number of subjects. This limitation places challenges to the AU intensity manipulation in images due to disentanglement issues, leading researchers to resort to other large datasets with pretrained AU intensity estimators for pseudo labels. In addressing this constraint and fully leveraging manual annotations of AU intensities for precise manipulation, we introduce AUEditNet. Our proposed model achieves impressive intensity manipulation across 12 AUs, trained effectively with only 18 subjects. Utilizing a dual-branch architecture, our approach achieves comprehensive disentanglement of facial attributes and identity without necessitating additional loss functions or implementing with large batch sizes. This approach offers a potential solution to achieve desired facial attribute editing despite the dataset's limited subject count. Our experiments demonstrate AUEditNet's superior accuracy in editing AU intensities, affirming its capability in disentangling facial attributes and identity within a limited subject pool. AUEditNet allows conditioning by either intensity values or target images, eliminating the need for constructing AU combinations for specific facial expression synthesis. Moreover, AU intensity estimation, as a downstream task, validates the consistency between real and edited images, confirming the effectiveness of our proposed AU intensity manipulation method.
- Abstract（参考訳）: 顔面動作単位(AU)強度は、表情操作の有効な条件であるきめ細かい表情行動の定量化において重要な役割を担っている。
しかし、複数のAUに対する強度アノテーションを含む公開データセットは、しばしば限られた数の被験者を特徴とする、非常に制限されたままである。
この制限は、歪み問題による画像のAU強度の操作に課題を与え、研究者は擬似ラベルのための事前訓練されたAU強度推定器を備えた他の大きなデータセットを利用するようになった。
この制約に対処し、正確な操作のためにAUインテンシティのマニュアルアノテーションを完全に活用する際、AUEditNetを紹介します。
提案したモデルでは, 被験者18名に対して, 12AUに対して印象的な強度操作が可能であった。
両ブランチアーキテクチャを用いることで、損失関数の追加や大規模なバッチサイズの実装を必要とせず、顔の属性とアイデンティティの包括的切り離しを実現する。
このアプローチは、データセットの被写体数に制限があるにもかかわらず、望ましい顔属性の編集を実現する潜在的なソリューションを提供する。
実験では、AUEditNetがAU強度の編集に優れていることを実証し、限られた被写体プール内で顔の特徴やアイデンティティを識別する能力を確認した。
AUEditNetは、強度値またはターゲット画像による条件付けを可能にし、特定の表情合成のためにAUの組み合わせを構築する必要がなくなる。
さらに、下流タスクとしてのAU強度推定は、実際の画像と編集された画像との整合性を検証し、提案手法の有効性を確認する。
関連論文リスト
- Latent Diffusion Models for Attribute-Preserving Image Anonymization [4.080920304681247]
本稿では,遅延拡散モデル(LDM)に基づく画像匿名化への最初のアプローチを提案する。
CAFLaGE-Baseは、事前訓練された制御ネットと、実画像と匿名画像との距離を増やすために設計された新しい制御機構を組み合わせた2つのLCMを提案する。
論文 参考訳（メタデータ） (2024-03-21T19:09:21Z) - Open-Vocabulary Segmentation with Unpaired Mask-Text Supervision [87.15580604023555]
Unpair-Segは、弱制御されたオープン語彙セグメンテーションフレームワークである。
未ペア画像マスクと画像テキストペアから学習し、独立して効率的に収集することができる。
ADE-847とPASCAL Context-459データセットで14.6%と19.5%のmIoUを達成した。
論文 参考訳（メタデータ） (2024-02-14T06:01:44Z) - Facial Action Unit Detection and Intensity Estimation from
Self-supervised Representation [24.688377990272738]
本稿では,AU解析のための頑健な顔表現モデルMAE-Faceを提案する。
MAE-Faceは、マスク付きオートエンコーディングを自己教師付き事前学習手法として利用し、まず顔画像のコレクションから高容量モデルを学習する。
AUデータセットを微調整した後、MAE-FaceはAU検出とAU強度推定の両方で説得力のある性能を示す。
論文 参考訳（メタデータ） (2022-10-28T03:55:09Z) - Weakly Supervised Regional and Temporal Learning for Facial Action Unit
Recognition [36.350407471391065]
限定アノテーションとモデル性能のギャップを埋めるための補助的AU関連タスクを2つ提案する。
顔の筋肉の動的変化を利用するために,単一画像に基づく光フロー推定タスクを提案する。
半教師付き学習を取り入れることで、弱い教師付き地域学習と時間学習というエンド・ツー・エンドのトレーニング可能なフレームワークを提案する。
論文 参考訳（メタデータ） (2022-04-01T12:02:01Z) - Robust and Precise Facial Landmark Detection by Self-Calibrated Pose
Attention Network [73.56802915291917]
より堅牢で正確な顔のランドマーク検出を実現するための半教師付きフレームワークを提案する。
より効果的な顔形状制約をモデル化するために,境界対応ランドマーク強度(BALI)フィールドを提案する。
自己キャリブレーション・ポース・アテンション(SCPA)モデルは、中間的監督を強制する自己学習型目標関数を提供するように設計されている。
論文 参考訳（メタデータ） (2021-12-23T02:51:08Z) - Predict, Prevent, and Evaluate: Disentangled Text-Driven Image
Manipulation Empowered by Pre-Trained Vision-Language Model [168.04947140367258]
本稿では,テキスト駆動型画像操作のための新しいフレームワーク,すなわち予測,予防,評価(PPE)を提案する。
提案手法は,大規模事前学習型視覚言語モデルCLIPのパワーを利用して,ターゲットにアプローチする。
大規模な実験により,提案したPEPフレームワークは,最新のStyleCLIPベースラインよりもはるかに定量的かつ定性的な結果が得られることが示された。
論文 参考訳（メタデータ） (2021-11-26T06:49:26Z) - Self-Supervised Regional and Temporal Auxiliary Tasks for Facial Action
Unit Recognition [29.664359264758495]
限定アノテーションとモデル性能のギャップを埋めるための補助的AU関連タスクを2つ提案する。
AU関係埋め込みによる地域特徴の識別を強化するため、ランダムに収穫されたAUパッチを復元するRoI塗装タスクを設計する。
顔の筋肉の動的変化を利用するために,単一画像に基づく光フロー推定タスクを提案する。
これら2つの自己監督型補助課題に基づき、AUの局所的特徴、相互関係、動きの手がかりをバックボーンネットワークでよりよく捉えた。
論文 参考訳（メタデータ） (2021-07-30T02:39:45Z) - AU-Expression Knowledge Constrained Representation Learning for Facial
Expression Recognition [79.8779790682205]
本稿では,auアノテーションを使わずにau表現を学習し,表情認識を容易にするau表現知識制約表現学習(aue-crl)フレームワークを提案する。
課題のある非制御データセットの実験を行い,提案されたフレームワークが現状の手法よりも優れていることを実証する。
論文 参考訳（メタデータ） (2020-12-29T03:42:04Z) - Unsupervised Facial Action Unit Intensity Estimation via Differentiable
Optimization [45.07851622835555]
顔画像からの顔AU強度推定のための教師なしフレームワークGE-Netを提案する。
本フレームワークは,入力画像に一致するように顔パラメータを反復的に更新する,微分可能な最適化を行う。
実験により,本手法は既存手法と比較して最先端の結果が得られることが示された。
論文 参考訳（メタデータ） (2020-04-13T12:56:28Z) - Suppressing Uncertainties for Large-Scale Facial Expression Recognition [81.51495681011404]
本稿では,不確実性を効果的に抑制し,深層ネットワークが不確実な顔画像に過度に収まらないような,シンプルで効率的なセルフキュアネットワーク(SCN)を提案する。
公開ベンチマークの結果、我々のSCNは現在の最先端メソッドよりも、RAF-DBで textbf88.14%、AffectNetで textbf60.23%、FERPlusで textbf89.35% を上回りました。
論文 参考訳（メタデータ） (2020-02-24T17:24:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。