論文の概要: Robust Model-based Face Reconstruction through Weakly-Supervised Outlier
Segmentation
- arxiv url: http://arxiv.org/abs/2106.09614v3
- Date: Tue, 21 Mar 2023 15:25:02 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-24 08:31:06.491348
- Title: Robust Model-based Face Reconstruction through Weakly-Supervised Outlier
Segmentation
- Title(参考訳): 弱修正外乱分割によるロバストモデルに基づく顔再構成
- Authors: Chunlu Li, Andreas Morel-Forster, Thomas Vetter, Bernhard Egger, Adam
Kortylewski
- Abstract要約: フェース・オートエンコーダとアウター・セグメンテーション・アプローチ(FOCUS)を導入する。
フェースモデルでは外周がうまく収まらないため、高品質なモデルフィッティングを前提として、局所化が可能であるという事実を生かしている。
特に, フェースモデルでは外周がうまく収まらないため, 高品質なモデルフィッティングを前提として, 局所化が可能であるという事実を生かしている。
- 参考スコア(独自算出の注目度): 18.446201519042496
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this work, we aim to enhance model-based face reconstruction by avoiding
fitting the model to outliers, i.e. regions that cannot be well-expressed by
the model such as occluders or make-up. The core challenge for localizing
outliers is that they are highly variable and difficult to annotate. To
overcome this challenging problem, we introduce a joint Face-autoencoder and
outlier segmentation approach (FOCUS).In particular, we exploit the fact that
the outliers cannot be fitted well by the face model and hence can be localized
well given a high-quality model fitting. The main challenge is that the model
fitting and the outlier segmentation are mutually dependent on each other, and
need to be inferred jointly. We resolve this chicken-and-egg problem with an
EM-type training strategy, where a face autoencoder is trained jointly with an
outlier segmentation network. This leads to a synergistic effect, in which the
segmentation network prevents the face encoder from fitting to the outliers,
enhancing the reconstruction quality. The improved 3D face reconstruction, in
turn, enables the segmentation network to better predict the outliers. To
resolve the ambiguity between outliers and regions that are difficult to fit,
such as eyebrows, we build a statistical prior from synthetic data that
measures the systematic bias in model fitting. Experiments on the NoW testset
demonstrate that FOCUS achieves SOTA 3D face reconstruction performance among
all baselines that are trained without 3D annotation. Moreover, our results on
CelebA-HQ and the AR database show that the segmentation network can localize
occluders accurately despite being trained without any segmentation annotation.
- Abstract(参考訳): 本研究では,オクルーダやメークアップなどのモデルでは表現できない領域を異常値に適合させることを回避し,モデルに基づく顔再建の促進を目指す。
例外をローカライズする上での最大の課題は、非常に可変で注釈が難しいことだ。
この課題を克服するために,顔自動コーダと外部セグメンテーション手法(FOCUS)を共同で導入する。
特に, フェースモデルでは外周がうまく収まらないため, 高品質なモデルフィッティングを前提として, 局所化が可能であるという事実を生かしている。
主な課題は、モデルフィッティングと外れ値セグメンテーションが互いに依存しており、共同で推論する必要があることである。
顔オートエンコーダを外部セグメンテーションネットワークと共同で訓練するEM型トレーニング戦略により,このニワトリと卵の問題を解消する。
これにより、セグメンテーションネットワークにより、顔エンコーダが異常値に適合することを防止し、再構成品質を向上させる相乗効果が生じる。
改良された3D顔再構成により、セグメンテーションネットワークはアウトリーチをより正確に予測できる。
眼窩などの適合が難しい領域とのあいまいさを解決するために, モデルフィッティングにおける系統的バイアスを測定する合成データから, 統計的先行データを構築した。
NoWテストセットの実験では、FOCUSは3Dアノテーションなしでトレーニングされた全てのベースラインでSOTA 3D顔再構成性能を達成している。
さらに,celeba-hqとarデータベースを用いた結果から,セグメンテーションネットワークはセグメンテーションアノテーションを使わずに,オクルーダを正確にローカライズできることがわかった。
関連論文リスト
- 3D Adversarial Augmentations for Robust Out-of-Domain Predictions [115.74319739738571]
ドメイン外データへの一般化の改善に注力する。
対象を逆向きに変形させるベクトルの集合を学習する。
本研究では,学習したサンプル非依存ベクトルをモデルトレーニング時に利用可能なオブジェクトに適用することにより,対数拡大を行う。
論文 参考訳(メタデータ) (2023-08-29T17:58:55Z) - Learning to Generate Training Datasets for Robust Semantic Segmentation [37.9308918593436]
セマンティックセグメンテーション手法の堅牢性を改善するための新しい手法を提案する。
我々は,現実的で可視な摂動画像を生成するために,新しい条件付き生成対向ネットワークであるRobustaを設計した。
我々の結果は、このアプローチが安全クリティカルなアプリケーションに有用である可能性を示唆している。
論文 参考訳(メタデータ) (2023-08-01T10:02:26Z) - A Probabilistic Attention Model with Occlusion-aware Texture Regression
for 3D Hand Reconstruction from a Single RGB Image [5.725477071353354]
深層学習のアプローチは、1枚のRGB画像から3Dの手の再構築に有望な結果を示している。
本稿では,モデルに基づくアプローチの堅牢性を実現するための新しい確率モデルを提案する。
本稿では,教師付きシナリオと弱教師付きシナリオの両方において,提案する確率モデルの柔軟性を実証する。
論文 参考訳(メタデータ) (2023-04-27T16:02:32Z) - Robust Outlier Rejection for 3D Registration with Variational Bayes [70.98659381852787]
我々は、ロバストアライメントのための新しい変分非局所ネットワークベース外乱除去フレームワークを開発した。
そこで本稿では, 投票に基づく不整合探索手法を提案し, 変換推定のための高品質な仮説的不整合をクラスタリングする。
論文 参考訳(メタデータ) (2023-04-04T03:48:56Z) - Part-Based Models Improve Adversarial Robustness [57.699029966800644]
人間の事前知識とエンドツーエンドの学習を組み合わせることで、ディープニューラルネットワークの堅牢性を向上させることができることを示す。
我々のモデルは、部分分割モデルと小さな分類器を組み合わせて、オブジェクトを同時に部品に分割するようにエンドツーエンドに訓練されている。
実験の結果,これらのモデルによりテクスチャバイアスが低減され,一般的な汚職に対する堅牢性が向上し,相関が急上昇することが示唆された。
論文 参考訳(メタデータ) (2022-09-15T15:41:47Z) - Global and Local Features through Gaussian Mixture Models on Image
Semantic Segmentation [0.38073142980732994]
本稿では,前者をサポートするグローバル表現を抽出しながら特徴表現の内部構造を提案する。
トレーニング中、データからガウス混合モデルを予測し、スキップ接続と復号ステージにマージすることで、誤った帰納バイアスを回避する。
この結果から,クラスタリングの動作を学習表現(言語とローカル)と組み合わせることで,セマンティックセマンティックセマンティクスを向上できることが示唆された。
論文 参考訳(メタデータ) (2022-07-19T10:10:49Z) - Uncertainty-Aware Adaptation for Self-Supervised 3D Human Pose
Estimation [70.32536356351706]
本稿では、2つの出力ヘッドを2つの異なる構成にサブスクライブする共通のディープネットワークバックボーンを構成するMPP-Netを紹介する。
ポーズと関節のレベルで予測の不確実性を定量化するための適切な尺度を導出する。
本稿では,提案手法の総合評価を行い,ベンチマークデータセット上での最先端性能を示す。
論文 参考訳(メタデータ) (2022-03-29T07:14:58Z) - Translation Consistent Semi-supervised Segmentation for 3D Medical
Images [25.575275962514898]
3次元医用画像分割法は成功したが, 大量のボクセルレベルのデータへの依存は不利である。
半教師付き学習(SSL)は、大きなラベル付きデータセットと小さなラベル付きデータセットでモデルをトレーニングすることで、この問題を解決する。
本稿では,一貫性学習型SSL手法であるTranslation Consistent Co-training (TraCoCo)を紹介する。
論文 参考訳(メタデータ) (2022-03-28T06:31:39Z) - Adjoint Rigid Transform Network: Task-conditioned Alignment of 3D Shapes [86.2129580231191]
Adjoint Rigid Transform (ART) Networkは、さまざまな3Dネットワークと統合可能なニューラルネットワークモジュールである。
ARTは入力の形状を学習した標準方向に回転させることを学び、多くのタスクに欠かせない。
さらなる研究のために、コードと事前訓練されたモデルをリリースします。
論文 参考訳(メタデータ) (2021-02-01T20:58:45Z) - Monocular Human Pose and Shape Reconstruction using Part Differentiable
Rendering [53.16864661460889]
近年の研究では、3次元基底真理によって教師されるディープニューラルネットワークを介してパラメトリックモデルを直接推定する回帰に基づく手法が成功している。
本稿では,ボディセグメンテーションを重要な監視対象として紹介する。
部分分割による再構成を改善するために,部分分割により部分ベースモデルを制御可能な部分レベル微分可能部を提案する。
論文 参考訳(メタデータ) (2020-03-24T14:25:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。