論文の概要: To fit or not to fit: Model-based Face Reconstruction and Occlusion Segmentation from Weak Supervision

• arxiv url: http://arxiv.org/abs/2106.09614v1
• Date: Thu, 17 Jun 2021 15:52:19 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-18 15:49:12.963240
• Title: To fit or not to fit: Model-based Face Reconstruction and Occlusion Segmentation from Weak Supervision
• Title（参考訳）: 適合するか否か:Weak Supervisionのモデルベース顔再構成と咬合分割
• Authors: Chunlu Li, Andreas Morel-Forster, Thomas Vetter, Bernhard Egger, Adam Kortylewski
• Abstract要約: 単一画像からの3D顔の復元は、その不適切な性質のため困難である。 モデルベースフェースオートエンコーダは、ターゲット画像にフェースモデルを弱教師付きで適合させることにより、この問題に効果的に対処する。 本研究では,モデルベースの顔オートエンコーダにより,追加の監視を必要とせず,オクローダを正確にセグメント化することができる。
• 参考スコア（独自算出の注目度）: 20.388975728431433
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: 3D face reconstruction from a single image is challenging due to its ill-posed nature. Model-based face autoencoders address this issue effectively by fitting a face model to the target image in a weakly supervised manner. However, in unconstrained environments occlusions distort the face reconstruction because the model often erroneously tries to adapt to occluded face regions. Supervised occlusion segmentation is a viable solution to avoid the fitting of occluded face regions, but it requires a large amount of annotated training data. In this work, we enable model-based face autoencoders to segment occluders accurately without requiring any additional supervision during training, and this separates regions where the model will be fitted from those where it will not be fitted. To achieve this, we extend face autoencoders with a segmentation network. The segmentation network decides which regions the model should adapt to by reaching balances in a trade-off between including pixels and adapting the model to them, and excluding pixels so that the model fitting is not negatively affected and reaches higher overall reconstruction accuracy on pixels showing the face. This leads to a synergistic effect, in which the occlusion segmentation guides the training of the face autoencoder to constrain the fitting in the non-occluded regions, while the improved fitting enables the segmentation model to better predict the occluded face regions. Qualitative and quantitative experiments on the CelebA-HQ database and the AR database verify the effectiveness of our model in improving 3D face reconstruction under occlusions and in enabling accurate occlusion segmentation from weak supervision only. Code available at https://github.com/unibas-gravis/Occlusion-Robust-MoFA.
• Abstract（参考訳）: 単一画像からの3D顔の復元は、その不適切な性質のため困難である。 モデルベースフェイスオートエンコーダは、ターゲット画像にフェースモデルを弱教師付きで適合させることにより、この問題に効果的に対処する。 しかし、制約のない環境では、モデルはしばしば隠蔽された顔領域に適応しようとするため、顔再構成を歪ませる。 修正オクルージョン・セグメンテーションは、隠蔽面領域の嵌合を避けるための有効なソリューションであるが、大量の注釈付きトレーニングデータを必要とする。 本研究では,モデルに基づく顔オートエンコーダが,訓練中に追加の監督を必要とせず,オクルーダを正確にセグメント化することを可能にし,モデルに適合しない領域とを分離する。 これを実現するために、セグメンテーションネットワークで顔自動エンコーダを拡張する。 セグメンテーションネットワークは、画素を含むトレードオフのバランスに達してモデルを適用することにより、どの領域に適応すべきかを決定し、モデルフィッティングが負の影響を及ぼさないように画素を除外し、顔を示す画素の全体的な再構成精度を高くする。 これにより、オクルージョンセグメンテーションが顔オートエンコーダのトレーニングを誘導し、非オクルード領域のフィッティングを拘束し、改良されたフィッティングにより、オクルードされた顔領域をより正確に予測できる相乗効果が得られる。 CelebA-HQデータベースとARデータベースの質的,定量的実験により, 咬合下での3次元顔再構成の改善と, 弱監督下での正確な閉塞セグメンテーションの実現に, モデルの有効性が検証された。 コードはhttps://github.com/unibas-gravis/occlusion-robust-mofa。

関連論文リスト

• A Likelihood Ratio-Based Approach to Segmenting Unknown Objects [4.000869978312742]
  外部監視は、既存のセグメンテーションネットワークのOoD検出を改善するために広く利用されている戦略である。 外部監視のための適応的で軽量な未知推定モジュール(UEM)を提案する。 提案手法は,複数のデータセットにまたがる新たな最先端性を実現し,従来のベストメソッドよりも平均精度5.74%向上した。
  論文  参考訳（メタデータ） (2024-09-10T11:10:32Z)
• DICE: End-to-end Deformation Capture of Hand-Face Interactions from a Single Image [98.29284902879652]
  DICEは1枚の画像から変形認識による手と顔のインタラクションを再現する最初のエンドツーエンド手法である。 ローカルな変形場とグローバルなメッシュ位置の回帰を2つのネットワークブランチに切り離すことが特徴である。 標準的なベンチマークと、精度と物理的妥当性の点から見れば、最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-06-26T00:08:29Z)
• 3D Face Modeling via Weakly-supervised Disentanglement Network joint Identity-consistency Prior [62.80458034704989]
  切り離された制御因子を特徴とする3次元顔モデルの生成は、コンピュータビジョンやコンピュータグラフィックスの多様な応用において大きな可能性を秘めている。 従来の3D顔モデリング手法は、これらの要因を効果的に解消するために特定のラベルを要求するため、課題に直面している。 本稿では,WSDF(Wakly Supervised Disentanglement Framework)を導入し,過度に拘束的なラベル付けを必要とせず,制御可能な3次元顔モデルのトレーニングを容易にする。
  論文  参考訳（メタデータ） (2024-04-25T11:50:47Z)
• Robust Ensemble Person Re-Identification via Orthogonal Fusion with Occlusion Handling [4.431087385310259]
  排除は、個人再識別(ReID)における大きな課題の1つとして残されている。 本稿では,CNN と Transformer アーキテクチャを併用し,ロバストな特徴表現を生成する深層アンサンブルモデルを提案する。
  論文  参考訳（メタデータ） (2024-03-29T18:38:59Z)
• 3D Adversarial Augmentations for Robust Out-of-Domain Predictions [115.74319739738571]
  ドメイン外データへの一般化の改善に注力する。 対象を逆向きに変形させるベクトルの集合を学習する。 本研究では,学習したサンプル非依存ベクトルをモデルトレーニング時に利用可能なオブジェクトに適用することにより,対数拡大を行う。
  論文  参考訳（メタデータ） (2023-08-29T17:58:55Z)
• Learning to Generate Training Datasets for Robust Semantic Segmentation [37.9308918593436]
  セマンティックセグメンテーション手法の堅牢性を改善するための新しい手法を提案する。 我々は,現実的で可視な摂動画像を生成するために,新しい条件付き生成対向ネットワークであるRobustaを設計した。 我々の結果は、このアプローチが安全クリティカルなアプリケーションに有用である可能性を示唆している。
  論文  参考訳（メタデータ） (2023-08-01T10:02:26Z)
• Robust Outlier Rejection for 3D Registration with Variational Bayes [70.98659381852787]
  我々は、ロバストアライメントのための新しい変分非局所ネットワークベース外乱除去フレームワークを開発した。 そこで本稿では, 投票に基づく不整合探索手法を提案し, 変換推定のための高品質な仮説的不整合をクラスタリングする。
  論文  参考訳（メタデータ） (2023-04-04T03:48:56Z)
• Part-Based Models Improve Adversarial Robustness [57.699029966800644]
  人間の事前知識とエンドツーエンドの学習を組み合わせることで、ディープニューラルネットワークの堅牢性を向上させることができることを示す。 我々のモデルは、部分分割モデルと小さな分類器を組み合わせて、オブジェクトを同時に部品に分割するようにエンドツーエンドに訓練されている。 実験の結果,これらのモデルによりテクスチャバイアスが低減され,一般的な汚職に対する堅牢性が向上し,相関が急上昇することが示唆された。
  論文  参考訳（メタデータ） (2022-09-15T15:41:47Z)
• Translation Consistent Semi-supervised Segmentation for 3D Medical Images [25.575275962514898]
  3次元医用画像分割法は成功したが, 大量のボクセルレベルのデータへの依存は不利である。 半教師付き学習(SSL)は、大きなラベル付きデータセットと小さなラベル付きデータセットでモデルをトレーニングすることで、この問題を解決する。 本稿では,一貫性学習型SSL手法であるTranslation Consistent Co-training (TraCoCo)を紹介する。
  論文  参考訳（メタデータ） (2022-03-28T06:31:39Z)
• Monocular Human Pose and Shape Reconstruction using Part Differentiable Rendering [53.16864661460889]
  近年の研究では、3次元基底真理によって教師されるディープニューラルネットワークを介してパラメトリックモデルを直接推定する回帰に基づく手法が成功している。 本稿では,ボディセグメンテーションを重要な監視対象として紹介する。 部分分割による再構成を改善するために,部分分割により部分ベースモデルを制御可能な部分レベル微分可能部を提案する。
  論文  参考訳（メタデータ） (2020-03-24T14:25:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。