論文の概要: Robust Model-based Face Reconstruction through Weakly-Supervised Outlier Segmentation

• arxiv url: http://arxiv.org/abs/2106.09614v3
• Date: Tue, 21 Mar 2023 15:25:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-24 08:31:06.491348
• Title: Robust Model-based Face Reconstruction through Weakly-Supervised Outlier Segmentation
• Title（参考訳）: 弱修正外乱分割によるロバストモデルに基づく顔再構成
• Authors: Chunlu Li, Andreas Morel-Forster, Thomas Vetter, Bernhard Egger, Adam Kortylewski
• Abstract要約: フェース・オートエンコーダとアウター・セグメンテーション・アプローチ(FOCUS)を導入する。 フェースモデルでは外周がうまく収まらないため、高品質なモデルフィッティングを前提として、局所化が可能であるという事実を生かしている。 特に, フェースモデルでは外周がうまく収まらないため, 高品質なモデルフィッティングを前提として, 局所化が可能であるという事実を生かしている。
• 参考スコア（独自算出の注目度）: 18.446201519042496
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we aim to enhance model-based face reconstruction by avoiding fitting the model to outliers, i.e. regions that cannot be well-expressed by the model such as occluders or make-up. The core challenge for localizing outliers is that they are highly variable and difficult to annotate. To overcome this challenging problem, we introduce a joint Face-autoencoder and outlier segmentation approach (FOCUS).In particular, we exploit the fact that the outliers cannot be fitted well by the face model and hence can be localized well given a high-quality model fitting. The main challenge is that the model fitting and the outlier segmentation are mutually dependent on each other, and need to be inferred jointly. We resolve this chicken-and-egg problem with an EM-type training strategy, where a face autoencoder is trained jointly with an outlier segmentation network. This leads to a synergistic effect, in which the segmentation network prevents the face encoder from fitting to the outliers, enhancing the reconstruction quality. The improved 3D face reconstruction, in turn, enables the segmentation network to better predict the outliers. To resolve the ambiguity between outliers and regions that are difficult to fit, such as eyebrows, we build a statistical prior from synthetic data that measures the systematic bias in model fitting. Experiments on the NoW testset demonstrate that FOCUS achieves SOTA 3D face reconstruction performance among all baselines that are trained without 3D annotation. Moreover, our results on CelebA-HQ and the AR database show that the segmentation network can localize occluders accurately despite being trained without any segmentation annotation.
• Abstract（参考訳）: 本研究では,オクルーダやメークアップなどのモデルでは表現できない領域を異常値に適合させることを回避し,モデルに基づく顔再建の促進を目指す。 例外をローカライズする上での最大の課題は、非常に可変で注釈が難しいことだ。 この課題を克服するために,顔自動コーダと外部セグメンテーション手法(FOCUS)を共同で導入する。 特に, フェースモデルでは外周がうまく収まらないため, 高品質なモデルフィッティングを前提として, 局所化が可能であるという事実を生かしている。 主な課題は、モデルフィッティングと外れ値セグメンテーションが互いに依存しており、共同で推論する必要があることである。 顔オートエンコーダを外部セグメンテーションネットワークと共同で訓練するEM型トレーニング戦略により,このニワトリと卵の問題を解消する。 これにより、セグメンテーションネットワークにより、顔エンコーダが異常値に適合することを防止し、再構成品質を向上させる相乗効果が生じる。 改良された3D顔再構成により、セグメンテーションネットワークはアウトリーチをより正確に予測できる。 眼窩などの適合が難しい領域とのあいまいさを解決するために, モデルフィッティングにおける系統的バイアスを測定する合成データから, 統計的先行データを構築した。 NoWテストセットの実験では、FOCUSは3Dアノテーションなしでトレーニングされた全てのベースラインでSOTA 3D顔再構成性能を達成している。 さらに,celeba-hqとarデータベースを用いた結果から,セグメンテーションネットワークはセグメンテーションアノテーションを使わずに,オクルーダを正確にローカライズできることがわかった。

関連論文リスト

• A Likelihood Ratio-Based Approach to Segmenting Unknown Objects [4.000869978312742]
  外部監視は、既存のセグメンテーションネットワークのOoD検出を改善するために広く利用されている戦略である。 外部監視のための適応的で軽量な未知推定モジュール(UEM)を提案する。 提案手法は,複数のデータセットにまたがる新たな最先端性を実現し,従来のベストメソッドよりも平均精度5.74%向上した。
  論文  参考訳（メタデータ） (2024-09-10T11:10:32Z)
• DICE: End-to-end Deformation Capture of Hand-Face Interactions from a Single Image [98.29284902879652]
  DICEは1枚の画像から変形認識による手と顔のインタラクションを再現する最初のエンドツーエンド手法である。 ローカルな変形場とグローバルなメッシュ位置の回帰を2つのネットワークブランチに切り離すことが特徴である。 標準的なベンチマークと、精度と物理的妥当性の点から見れば、最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-06-26T00:08:29Z)
• 3D Face Modeling via Weakly-supervised Disentanglement Network joint Identity-consistency Prior [62.80458034704989]
  切り離された制御因子を特徴とする3次元顔モデルの生成は、コンピュータビジョンやコンピュータグラフィックスの多様な応用において大きな可能性を秘めている。 従来の3D顔モデリング手法は、これらの要因を効果的に解消するために特定のラベルを要求するため、課題に直面している。 本稿では,WSDF(Wakly Supervised Disentanglement Framework)を導入し,過度に拘束的なラベル付けを必要とせず,制御可能な3次元顔モデルのトレーニングを容易にする。
  論文  参考訳（メタデータ） (2024-04-25T11:50:47Z)
• Robust Ensemble Person Re-Identification via Orthogonal Fusion with Occlusion Handling [4.431087385310259]
  排除は、個人再識別(ReID)における大きな課題の1つとして残されている。 本稿では,CNN と Transformer アーキテクチャを併用し,ロバストな特徴表現を生成する深層アンサンブルモデルを提案する。
  論文  参考訳（メタデータ） (2024-03-29T18:38:59Z)
• 3D Adversarial Augmentations for Robust Out-of-Domain Predictions [115.74319739738571]
  ドメイン外データへの一般化の改善に注力する。 対象を逆向きに変形させるベクトルの集合を学習する。 本研究では,学習したサンプル非依存ベクトルをモデルトレーニング時に利用可能なオブジェクトに適用することにより,対数拡大を行う。
  論文  参考訳（メタデータ） (2023-08-29T17:58:55Z)
• Learning to Generate Training Datasets for Robust Semantic Segmentation [37.9308918593436]
  セマンティックセグメンテーション手法の堅牢性を改善するための新しい手法を提案する。 我々は,現実的で可視な摂動画像を生成するために,新しい条件付き生成対向ネットワークであるRobustaを設計した。 我々の結果は、このアプローチが安全クリティカルなアプリケーションに有用である可能性を示唆している。
  論文  参考訳（メタデータ） (2023-08-01T10:02:26Z)
• Robust Outlier Rejection for 3D Registration with Variational Bayes [70.98659381852787]
  我々は、ロバストアライメントのための新しい変分非局所ネットワークベース外乱除去フレームワークを開発した。 そこで本稿では, 投票に基づく不整合探索手法を提案し, 変換推定のための高品質な仮説的不整合をクラスタリングする。
  論文  参考訳（メタデータ） (2023-04-04T03:48:56Z)
• Part-Based Models Improve Adversarial Robustness [57.699029966800644]
  人間の事前知識とエンドツーエンドの学習を組み合わせることで、ディープニューラルネットワークの堅牢性を向上させることができることを示す。 我々のモデルは、部分分割モデルと小さな分類器を組み合わせて、オブジェクトを同時に部品に分割するようにエンドツーエンドに訓練されている。 実験の結果,これらのモデルによりテクスチャバイアスが低減され,一般的な汚職に対する堅牢性が向上し,相関が急上昇することが示唆された。
  論文  参考訳（メタデータ） (2022-09-15T15:41:47Z)
• Translation Consistent Semi-supervised Segmentation for 3D Medical Images [25.575275962514898]
  3次元医用画像分割法は成功したが, 大量のボクセルレベルのデータへの依存は不利である。 半教師付き学習(SSL)は、大きなラベル付きデータセットと小さなラベル付きデータセットでモデルをトレーニングすることで、この問題を解決する。 本稿では,一貫性学習型SSL手法であるTranslation Consistent Co-training (TraCoCo)を紹介する。
  論文  参考訳（メタデータ） (2022-03-28T06:31:39Z)
• Monocular Human Pose and Shape Reconstruction using Part Differentiable Rendering [53.16864661460889]
  近年の研究では、3次元基底真理によって教師されるディープニューラルネットワークを介してパラメトリックモデルを直接推定する回帰に基づく手法が成功している。 本稿では,ボディセグメンテーションを重要な監視対象として紹介する。 部分分割による再構成を改善するために,部分分割により部分ベースモデルを制御可能な部分レベル微分可能部を提案する。
  論文  参考訳（メタデータ） (2020-03-24T14:25:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。