論文の概要: OFER: Occluded Face Expression Reconstruction

• arxiv url: http://arxiv.org/abs/2410.21629v2
• Date: Fri, 28 Feb 2025 19:16:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-04 16:09:34.372390
• Title: OFER: Occluded Face Expression Reconstruction
• Title（参考訳）: OFER:Occluded Face Expression Reconstruction
• Authors: Pratheba Selvaraju, Victoria Fernandez Abrevaya, Timo Bolkart, Rick Akkerman, Tianyu Ding, Faezeh Amjadi, Ilya Zharkov,
• Abstract要約: OFERはシングルイメージの3次元顔再構成のための新しいアプローチであり、可塑性、多様性、表現力のある3次元顔を生成することができる。 多様な表現間の整合性を維持するため,予測された形状精度スコアに基づいて,形状拡散ネットワークの出力をソートする新しいランキング機構を提案する。
• 参考スコア（独自算出の注目度）: 16.06622406877353
• License:
• Abstract: Reconstructing 3D face models from a single image is an inherently ill-posed problem, which becomes even more challenging in the presence of occlusions. In addition to fewer available observations, occlusions introduce an extra source of ambiguity where multiple reconstructions can be equally valid. Despite the ubiquity of the problem, very few methods address its multi-hypothesis nature. In this paper we introduce OFER, a novel approach for single-image 3D face reconstruction that can generate plausible, diverse, and expressive 3D faces, even under strong occlusions. Specifically, we train two diffusion models to generate the shape and expression coefficients of a face parametric model, conditioned on the input image. This approach captures the multi-modal nature of the problem, generating a distribution of solutions as output. However, to maintain consistency across diverse expressions, the challenge is to select the best matching shape. To achieve this, we propose a novel ranking mechanism that sorts the outputs of the shape diffusion network based on predicted shape accuracy scores. We evaluate our method using standard benchmarks and introduce CO-545, a new protocol and dataset designed to assess the accuracy of expressive faces under occlusion. Our results show improved performance over occlusion-based methods, while also enabling the generation of diverse expressions for a given image.
• Abstract（参考訳）: 一つの画像から3D顔モデルを再構築することは本質的に不適切な問題であり、オクルージョンの存在下でさらに困難になる。 少ない可観測量に加えて、オクルージョンは複数の再構成が等しく有効であるような曖昧さの余分な源を導入する。 問題の普遍性にもかかわらず、その多仮説の性質に対処する手法はほとんどない。 本稿では, 強閉塞下でも, 可塑性, 多様性, 表現力のある3次元顔を生成することのできる, 単一像の3次元顔再構成のための新しいアプローチOFERを紹介する。 具体的には、2つの拡散モデルを訓練し、入力画像に条件付き顔パラメトリックモデルの形状と表現係数を生成する。 このアプローチは問題のマルチモーダルな性質を捉え、解の分布を出力として生成する。 しかし、多様な表現をまたいだ一貫性を維持するためには、最適な整合形を選択することが課題である。 そこで本研究では,予測された形状精度スコアに基づいて,形状拡散ネットワークの出力をソートする新しいランキング機構を提案する。 提案手法を標準ベンチマークを用いて評価し, 隠蔽下での表現的顔の精度を評価するための新しいプロトコルとデータセットであるCO-545を導入する。 その結果,オクルージョンに基づく手法よりも性能が向上し,与えられた画像に対する多様な表現の生成が可能となった。

関連論文リスト

• Multistable Shape from Shading Emerges from Patch Diffusion [17.090405682103167]
  単一シェーディング画像から形状のマルチモーダル分布を再構成するモデルを提案する。 このモデルから,人間がマルチスタブルであるとして経験するあいまいなテスト画像に対して,マルチスタブルな形状説明が現れることを示す。 これは、3D形状の知覚のための新しいアーキテクチャを刺激し、より効率的で、人間の体験に合わせたものになるかもしれない。
  論文  参考訳（メタデータ） (2024-05-23T13:15:24Z)
• $PC^2$: Projection-Conditioned Point Cloud Diffusion for Single-Image 3D Reconstruction [97.06927852165464]
  単一のRGB画像から物体の3次元形状を再構築することは、コンピュータビジョンにおける長年の課題である。 条件付き偏光拡散プロセスによりスパース点雲を生成する単一像3次元再構成法を提案する。
  論文  参考訳（メタデータ） (2023-02-21T13:37:07Z)
• HandFlow: Quantifying View-Dependent 3D Ambiguity in Two-Hand Reconstruction with Normalizing Flow [73.7895717883622]
  条件付き正規化フローフレームワークにおける可塑性再構成の分布を明示的にモデル化する。 この課題に対して,明示的な曖昧さモデリングが適していることを示す。
  論文  参考訳（メタデータ） (2022-10-04T15:42:22Z)
• Image Generation with Multimodal Priors using Denoising Diffusion Probabilistic Models [54.1843419649895]
  このタスクを達成するために生成モデルを使用する際の大きな課題は、すべてのモダリティと対応する出力を含むペアデータの欠如である。 本稿では,拡散確率的合成モデルに基づく多モデル先行画像生成手法を提案する。
  論文  参考訳（メタデータ） (2022-06-10T12:23:05Z)
• Deblurring via Stochastic Refinement [85.42730934561101]
  条件付き拡散モデルに基づくブラインドデブロアリングのための代替フレームワークを提案する。 提案手法は,PSNRなどの歪み指標の点で競合する。
  論文  参考訳（メタデータ） (2021-12-05T04:36:09Z)
• Generating Diverse 3D Reconstructions from a Single Occluded Face Image [18.073864874996534]
  本研究では,1つの隠蔽顔画像から多彩で現実的な3D再構成を同時に生成するDiverse3DFaceを提案する。 Diverse3DFaceは、マスク、メガネ、その他のランダムな物体に隠蔽された顔画像に対して、ベースラインと比較して、隠蔽領域に50%の多様性を有する3D形状の分布を生成する。
  論文  参考訳（メタデータ） (2021-12-01T23:13:49Z)
• Probabilistic Modeling for Human Mesh Recovery [73.11532990173441]
  本稿では,2次元の証拠から3次元の人体復元の問題に焦点を当てた。 我々は,この問題を,入力から3Dポーズの分布へのマッピング学習として再考した。
  論文  参考訳（メタデータ） (2021-08-26T17:55:11Z)
• Masked Linear Regression for Learning Local Receptive Fields for Facial Expression Synthesis [10.28711904929932]
  本稿では,表情の局所的およびスパース的構造を利用したリッジ回帰の制約付きバージョンを提案する。 既存のアプローチとは対照的に,提案手法はより大きな画像サイズで効率的に訓練することができる。 提案アルゴリズムは、Pix2Pix, CycleGAN, StarGAN, GANimationなどの最先端のGANと比較される。
  論文  参考訳（メタデータ） (2020-11-18T06:04:24Z)
• PaMIR: Parametric Model-Conditioned Implicit Representation for Image-based Human Reconstruction [67.08350202974434]
  本研究では,パラメトリックボディモデルと自由形深部暗黙関数を組み合わせたパラメトリックモデル記述型暗黙表現(PaMIR)を提案する。 本手法は, 挑戦的なポーズや衣料品のタイプにおいて, 画像に基づく3次元再構築のための最先端性能を実現する。
  論文  参考訳（メタデータ） (2020-07-08T02:26:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。