論文の概要: OFER: Occluded Face Expression Reconstruction

• arxiv url: http://arxiv.org/abs/2410.21629v1
• Date: Tue, 29 Oct 2024 00:21:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-30 13:40:42.512534
• Title: OFER: Occluded Face Expression Reconstruction
• Title（参考訳）: OFER:Occluded Face Expression Reconstruction
• Authors: Pratheba Selvaraju, Victoria Fernandez Abrevaya, Timo Bolkart, Rick Akkerman, Tianyu Ding, Faezeh Amjadi, Ilya Zharkov,
• Abstract要約: OFERは,多彩で表現力に富んだ3次元顔を生成することのできる,単一画像の3次元顔再構成のための新しいアプローチである。 本稿では,予測された形状精度スコアに基づいて形状拡散ネットワークの出力をソートし,最適マッチングを選択する新しいランキング機構を提案する。
• 参考スコア（独自算出の注目度）: 16.06622406877353
• License:
• Abstract: Reconstructing 3D face models from a single image is an inherently ill-posed problem, which becomes even more challenging in the presence of occlusions. In addition to fewer available observations, occlusions introduce an extra source of ambiguity, where multiple reconstructions can be equally valid. Despite the ubiquity of the problem, very few methods address its multi-hypothesis nature. In this paper we introduce OFER, a novel approach for single image 3D face reconstruction that can generate plausible, diverse, and expressive 3D faces, even under strong occlusions. Specifically, we train two diffusion models to generate the shape and expression coefficients of a face parametric model, conditioned on the input image. This approach captures the multi-modal nature of the problem, generating a distribution of solutions as output. Although this addresses the ambiguity problem, the challenge remains to pick the best matching shape to ensure consistency across diverse expressions. To achieve this, we propose a novel ranking mechanism that sorts the outputs of the shape diffusion network based on the predicted shape accuracy scores to select the best match. We evaluate our method using standard benchmarks and introduce CO-545, a new protocol and dataset designed to assess the accuracy of expressive faces under occlusion. Our results show improved performance over occlusion-based methods, with added ability to generate multiple expressions for a given image.
• Abstract（参考訳）: 一つの画像から3D顔モデルを再構築することは本質的に不適切な問題であり、オクルージョンの存在下でさらに困難になる。 利用可能な観測が少ないことに加えて、オクルージョンは、複数の再構成が等しく有効であるような曖昧さの余分な源を導入する。 問題の普遍性にもかかわらず、その多仮説の性質に対処する手法はほとんどない。 本稿では, 強閉塞下であっても, 可塑性, 多様性, 表現力のある3次元顔を生成することのできる, 単一画像の3次元顔再構成のための新しいアプローチOFERを紹介する。 具体的には、2つの拡散モデルを訓練し、入力画像に条件付き顔パラメトリックモデルの形状と表現係数を生成する。 このアプローチは問題のマルチモーダルな性質を捉え、解の分布を出力として生成する。 これはあいまいさの問題に対処するが、様々な表現の一貫性を確保するために最適な整合形を選択することが課題である。 これを実現するために,予測された形状精度スコアに基づいて形状拡散ネットワークの出力をソートし,最適なマッチングを選択する新しいランキング機構を提案する。 提案手法を標準ベンチマークを用いて評価し, 隠蔽下での表現的顔の精度を評価するための新しいプロトコルとデータセットであるCO-545を導入する。 その結果,オクルージョンに基づく手法よりも性能が向上し,与えられた画像に対して複数の表現を生成する能力が追加された。

関連論文リスト

• Multistable Shape from Shading Emerges from Patch Diffusion [17.090405682103167]
  単一シェーディング画像から形状のマルチモーダル分布を再構成するモデルを提案する。 このモデルから,人間がマルチスタブルであるとして経験するあいまいなテスト画像に対して,マルチスタブルな形状説明が現れることを示す。 これは、3D形状の知覚のための新しいアーキテクチャを刺激し、より効率的で、人間の体験に合わせたものになるかもしれない。
  論文  参考訳（メタデータ） (2024-05-23T13:15:24Z)
• $PC^2$: Projection-Conditioned Point Cloud Diffusion for Single-Image 3D Reconstruction [97.06927852165464]
  単一のRGB画像から物体の3次元形状を再構築することは、コンピュータビジョンにおける長年の課題である。 条件付き偏光拡散プロセスによりスパース点雲を生成する単一像3次元再構成法を提案する。
  論文  参考訳（メタデータ） (2023-02-21T13:37:07Z)
• HandFlow: Quantifying View-Dependent 3D Ambiguity in Two-Hand Reconstruction with Normalizing Flow [73.7895717883622]
  条件付き正規化フローフレームワークにおける可塑性再構成の分布を明示的にモデル化する。 この課題に対して,明示的な曖昧さモデリングが適していることを示す。
  論文  参考訳（メタデータ） (2022-10-04T15:42:22Z)
• Image Generation with Multimodal Priors using Denoising Diffusion Probabilistic Models [54.1843419649895]
  このタスクを達成するために生成モデルを使用する際の大きな課題は、すべてのモダリティと対応する出力を含むペアデータの欠如である。 本稿では,拡散確率的合成モデルに基づく多モデル先行画像生成手法を提案する。
  論文  参考訳（メタデータ） (2022-06-10T12:23:05Z)
• Deblurring via Stochastic Refinement [85.42730934561101]
  条件付き拡散モデルに基づくブラインドデブロアリングのための代替フレームワークを提案する。 提案手法は,PSNRなどの歪み指標の点で競合する。
  論文  参考訳（メタデータ） (2021-12-05T04:36:09Z)
• Generating Diverse 3D Reconstructions from a Single Occluded Face Image [18.073864874996534]
  本研究では,1つの隠蔽顔画像から多彩で現実的な3D再構成を同時に生成するDiverse3DFaceを提案する。 Diverse3DFaceは、マスク、メガネ、その他のランダムな物体に隠蔽された顔画像に対して、ベースラインと比較して、隠蔽領域に50%の多様性を有する3D形状の分布を生成する。
  論文  参考訳（メタデータ） (2021-12-01T23:13:49Z)
• Probabilistic Modeling for Human Mesh Recovery [73.11532990173441]
  本稿では,2次元の証拠から3次元の人体復元の問題に焦点を当てた。 我々は,この問題を,入力から3Dポーズの分布へのマッピング学習として再考した。
  論文  参考訳（メタデータ） (2021-08-26T17:55:11Z)
• Masked Linear Regression for Learning Local Receptive Fields for Facial Expression Synthesis [10.28711904929932]
  本稿では,表情の局所的およびスパース的構造を利用したリッジ回帰の制約付きバージョンを提案する。 既存のアプローチとは対照的に,提案手法はより大きな画像サイズで効率的に訓練することができる。 提案アルゴリズムは、Pix2Pix, CycleGAN, StarGAN, GANimationなどの最先端のGANと比較される。
  論文  参考訳（メタデータ） (2020-11-18T06:04:24Z)
• PaMIR: Parametric Model-Conditioned Implicit Representation for Image-based Human Reconstruction [67.08350202974434]
  本研究では,パラメトリックボディモデルと自由形深部暗黙関数を組み合わせたパラメトリックモデル記述型暗黙表現(PaMIR)を提案する。 本手法は, 挑戦的なポーズや衣料品のタイプにおいて, 画像に基づく3次元再構築のための最先端性能を実現する。
  論文  参考訳（メタデータ） (2020-07-08T02:26:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。