論文の概要: Decoupled Multi-task Learning with Cyclical Self-Regulation for Face
Parsing
- arxiv url: http://arxiv.org/abs/2203.14448v1
- Date: Mon, 28 Mar 2022 02:12:30 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-29 15:36:28.414838
- Title: Decoupled Multi-task Learning with Cyclical Self-Regulation for Face
Parsing
- Title(参考訳): 顔解析のための周期的自己制御型マルチタスク学習
- Authors: Qingping Zheng, Jiankang Deng, Zheng Zhu, Ying Li, Stefanos Zafeiriou
- Abstract要約: 顔解析のための周期的自己統制型デカップリング型マルチタスク学習を提案する。
具体的には、DML-CSRは、顔解析、バイナリエッジ、カテゴリエッジ検出を含むマルチタスクモデルを設計する。
提案手法は,Helen,CelebA-HQ,LapaMaskのデータセット上での最先端性能を実現する。
- 参考スコア(独自算出の注目度): 71.19528222206088
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper probes intrinsic factors behind typical failure cases (e.g.
spatial inconsistency and boundary confusion) produced by the existing
state-of-the-art method in face parsing. To tackle these problems, we propose a
novel Decoupled Multi-task Learning with Cyclical Self-Regulation (DML-CSR) for
face parsing. Specifically, DML-CSR designs a multi-task model which comprises
face parsing, binary edge, and category edge detection. These tasks only share
low-level encoder weights without high-level interactions between each other,
enabling to decouple auxiliary modules from the whole network at the inference
stage. To address spatial inconsistency, we develop a dynamic dual graph
convolutional network to capture global contextual information without using
any extra pooling operation. To handle boundary confusion in both single and
multiple face scenarios, we exploit binary and category edge detection to
jointly obtain generic geometric structure and fine-grained semantic clues of
human faces. Besides, to prevent noisy labels from degrading model
generalization during training, cyclical self-regulation is proposed to
self-ensemble several model instances to get a new model and the resulting
model then is used to self-distill subsequent models, through alternating
iterations. Experiments show that our method achieves the new state-of-the-art
performance on the Helen, CelebAMask-HQ, and Lapa datasets. The source code is
available at
https://github.com/deepinsight/insightface/tree/master/parsing/dml_csr.
- Abstract(参考訳): 本稿では,既存の顔解析における最先端手法が生み出す典型的な障害(例えば,空間的不整合や境界混乱)の背後にある本質的な要因について検討する。
これらの問題に対処するために,顔解析のためのDML-CSR(Decoupled Multi-task Learning with Cyclical Self-Regulation)を提案する。
具体的には、DML-CSRは、顔解析、バイナリエッジ、カテゴリエッジ検出を含むマルチタスクモデルを設計する。
これらのタスクは、互いに高レベルな相互作用なしに低レベルエンコーダ重みを共有するだけで、推論段階で補助モジュールをネットワーク全体から切り離すことができる。
空間的不整合に対処するため,余分なプール操作を使わずにグローバルな文脈情報をキャプチャする動的二重グラフ畳み込みネットワークを開発した。
単一面と複数面の両方における境界の混乱に対処するために,二項エッジ検出とカテゴリエッジ検出を併用して,人間の顔の汎用幾何学的構造と詳細な意味的手がかりを得る。
さらに、学習中にノイズラベルがモデル一般化を損なうのを防ぐために、複数のモデルインスタンスを自己アンサンブルして新しいモデルを得るための循環自己規制を提案し、その結果、繰り返しを交互に繰り返して後続モデルに自己拡散させる。
実験により,本手法がHelen,CelebAMask-HQ,Lapaデータセット上での最先端性能を実現することを示す。
ソースコードはhttps://github.com/deepinsight/insightface/tree/master/parsing/dml_csrで入手できる。
関連論文リスト
- Truncated Consistency Models [57.50243901368328]
トレーニング一貫性モデルは、PF ODE 軌道に沿ったすべての中間点を対応するエンドポイントにマッピングする学習を必要とする。
このトレーニングパラダイムが一貫性モデルの1ステップ生成性能を制限することを実証的に見出した。
整合性関数の新しいパラメータ化と2段階の訓練手順を提案し,時間外学習が崩壊することを防ぐ。
論文 参考訳(メタデータ) (2024-10-18T22:38:08Z) - Comprehensive Generative Replay for Task-Incremental Segmentation with Concurrent Appearance and Semantic Forgetting [49.87694319431288]
一般的なセグメンテーションモデルは、異なる画像ソースからの様々なオブジェクトを含む様々なタスクに対して、ますます好まれている。
画像とマスクのペアを合成することで外観と意味の知識を復元する包括的生成(CGR)フレームワークを提案する。
漸進的タスク(心身、基礎、前立腺のセグメンテーション)の実験は、同時出現と意味的忘れを緩和する上で、明らかな優位性を示している。
論文 参考訳(メタデータ) (2024-06-28T10:05:58Z) - Scale Attention for Learning Deep Face Representation: A Study Against
Visual Scale Variation [69.45176408639483]
我々はスケール空間理論に頼って凸層を再構築する。
我々はSCale AttentioN Conv Neural Network(textbfSCAN-CNN)という新しいスタイルを構築した。
単発方式として、推論はマルチショット融合よりも効率的である。
論文 参考訳(メタデータ) (2022-09-19T06:35:04Z) - Semi-Supervised Manifold Learning with Complexity Decoupled Chart Autoencoders [45.29194877564103]
本研究は、クラスラベルなどの半教師付き情報を付加できる非対称符号化復号プロセスを備えたチャートオートエンコーダを導入する。
このようなネットワークの近似力を議論し、周囲空間の次元ではなく、本質的にデータ多様体の内在次元に依存する境界を導出する。
論文 参考訳(メタデータ) (2022-08-22T19:58:03Z) - Dynamic Prototype Mask for Occluded Person Re-Identification [88.7782299372656]
既存の手法では、目に見える部分を識別するために、余分なネットワークによって提供される身体の手がかりを利用することで、この問題に対処している。
2つの自己明快な事前知識に基づく新しい動的プロトタイプマスク(DPM)を提案する。
この条件下では、隠蔽された表現は、選択された部分空間において自然にうまく整列することができる。
論文 参考訳(メタデータ) (2022-07-19T03:31:13Z) - Pre-Trained Models for Heterogeneous Information Networks [57.78194356302626]
異種情報ネットワークの特徴を捉えるための自己教師付き事前学習・微調整フレームワークPF-HINを提案する。
PF-HINは4つのデータセットにおいて、各タスクにおける最先端の代替よりも一貫して、大幅に優れています。
論文 参考訳(メタデータ) (2020-07-07T03:36:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。