論文の概要: GRAPE: Generalizable and Robust Multi-view Facial Capture

• arxiv url: http://arxiv.org/abs/2407.10193v1
• Date: Sun, 14 Jul 2024 13:24:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-16 19:09:07.150692
• Title: GRAPE: Generalizable and Robust Multi-view Facial Capture
• Title（参考訳）: GRAPE: 汎用的でロバストな多視点顔画像キャプチャ
• Authors: Jing Li, Di Kang, Zhenyu He,
• Abstract要約: ディープラーニングベースのマルチビュー顔キャプチャ手法は、従来のメッシュ登録パイプラインよりも数桁高速で、印象的な精度を示している。 本研究では,異なるカメラアレイ上での推論(すなわち,新しいデータをキャプチャする)に訓練されたモデルを容易に利用できるように,一般化能力を向上させることを目的とする。 FaMoSデータセットとFaceScapeデータセットの実験により,提案手法の有効性が示された。
• 参考スコア（独自算出の注目度）: 12.255610707737548
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning-based multi-view facial capture methods have shown impressive accuracy while being several orders of magnitude faster than a traditional mesh registration pipeline. However, the existing systems (e.g. TEMPEH) are strictly restricted to inference on the data captured by the same camera array used to capture their training data. In this study, we aim to improve the generalization ability so that a trained model can be readily used for inference (i.e. capture new data) on a different camera array. To this end, we propose a more generalizable initialization module to extract the camera array-agnostic 3D feature, including a visual hull-based head localization and a visibility-aware 3D feature aggregation module enabled by the visual hull. In addition, we propose an ``update-by-disagreement'' learning strategy to better handle data noise (e.g. inaccurate registration, scan noise) by discarding potentially inaccurate supervision signals during training. The resultant generalizable and robust topologically consistent multi-view facial capture system (GRAPE) can be readily used to capture data on a different camera array, reducing great effort on data collection and processing. Experiments on the FaMoS and FaceScape datasets demonstrate the effectiveness of the proposed method.
• Abstract（参考訳）: ディープラーニングベースのマルチビュー顔キャプチャ手法は、従来のメッシュ登録パイプラインよりも数桁高速で、印象的な精度を示している。 しかしながら、既存のシステム(例えばTEMPEH)は、トレーニングデータを取得するのに使用される同じカメラアレイによってキャプチャされたデータに対する推測に厳格に制限されている。 本研究では,異なるカメラアレイ上での推論(すなわち,新しいデータをキャプチャする)に訓練されたモデルを容易に利用できるように,一般化能力を向上させることを目的とする。 そこで本研究では,視覚的包絡による頭部位置推定と視覚的包絡によって可能となる視認性を考慮した3D特徴集約モジュールを含む,カメラアレイ非依存の3D特徴を抽出する,より一般化可能な初期化モジュールを提案する。 また,データノイズ(例えば,不正確な登録,スキャンノイズ)をトレーニング中の潜在的に不正確な監視信号を排除し,より優れた処理を行うための'update-by-disagreement'学習戦略を提案する。 結果として、一般化可能で堅牢な多視点顔撮影システム(GRAPE)は、異なるカメラアレイ上のデータを容易に取得することができ、データ収集と処理に多大な労力を費やすことができる。 FaMoSデータセットとFaceScapeデータセットの実験により,提案手法の有効性が示された。

関連論文リスト

• DiffCalib: Reformulating Monocular Camera Calibration as Diffusion-Based Dense Incident Map Generation [13.772897737616649]
  我々は、事前学習した拡散モデルに埋め込まれた包括的視覚知識を活用し、より堅牢で正確な単眼カメラ固有の推定を可能にする。 本モデルでは, 予測誤差を最大40%低減し, 最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-05-24T15:05:04Z)
• Reconstructing Close Human Interactions from Multiple Views [38.924950289788804]
  本稿では,複数のキャリブレーションカメラで捉えた密接なインタラクションを行う複数の個人のポーズを再構築する上での課題について述べる。 これらの課題に対処する新しいシステムを導入する。 本システムは,学習に基づくポーズ推定コンポーネントと,それに対応するトレーニングと推論戦略を統合する。
  論文  参考訳（メタデータ） (2024-01-29T14:08:02Z)
• FoVA-Depth: Field-of-View Agnostic Depth Estimation for Cross-Dataset Generalization [57.98448472585241]
  本研究では,広く利用可能なピンホールデータに基づいてステレオ深度推定モデルを訓練する手法を提案する。 屋内および屋外の両方のデータセットに対するアプローチの強力な一般化能力を示す。
  論文  参考訳（メタデータ） (2024-01-24T20:07:59Z)
• Instant Multi-View Head Capture through Learnable Registration [62.70443641907766]
  3次元頭部のデータセットを密接なセマンティック通信でキャプチャする既存の手法は遅い。 キャリブレーションされたマルチビュー画像から3Dヘッドを直接推定するためにTEMPEHを導入する。 1つの頭部の予測には0.3秒かかるが、中央値の復元誤差は0.26mmで、現在の最先端よりも64%低い。
  論文  参考訳（メタデータ） (2023-06-12T21:45:18Z)
• Multi-View Object Pose Refinement With Differentiable Renderer [22.040014384283378]
  本稿では,合成データの学習方法の改善に焦点をあてた,新しい多視点6 DoFオブジェクトポーズ改善手法を提案する。 これはDPOD検出器に基づいており、各フレーム内のモデル頂点と画像画素との間の密度の高い2D-3D対応を生成する。 合成および実データに基づいて訓練された最先端の手法と比較して優れた性能を報告した。
  論文  参考訳（メタデータ） (2022-07-06T17:02:22Z)
• A High-Accuracy Unsupervised Person Re-identification Method Using Auxiliary Information Mined from Datasets [53.047542904329866]
  マルチモーダルな特徴学習のためのデータセットから抽出した補助情報を利用する。 本稿では,Restricted Label Smoothing Cross Entropy Loss (RLSCE), Weight Adaptive Triplet Loss (WATL), Dynamic Training Iterations (DTI)の3つの効果的なトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2022-05-06T10:16:18Z)
• DeepMultiCap: Performance Capture of Multiple Characters Using Sparse Multiview Cameras [63.186486240525554]
  deep multicapは、スパースマルチビューカメラを用いたマルチパーソンパフォーマンスキャプチャのための新しい手法である。 本手法では,事前走査型テンプレートモデルを用いることなく,時間変化した表面の詳細をキャプチャできる。
  論文  参考訳（メタデータ） (2021-05-01T14:32:13Z)
• Learning Monocular Dense Depth from Events [53.078665310545745]
  イベントカメラは、強度フレームではなく、非同期イベントのストリームの形式で輝度を変化させる。 最近の学習に基づくアプローチは、単眼深度予測のようなイベントベースのデータに適用されている。 本稿では,この課題を解決するための繰り返しアーキテクチャを提案し,標準フィードフォワード法よりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-10-16T12:36:23Z)
• Lightweight Multi-View 3D Pose Estimation through Camera-Disentangled Representation [57.11299763566534]
  空間校正カメラで撮影した多視点画像から3次元ポーズを復元する手法を提案する。 我々は3次元形状を利用して、入力画像をカメラ視点から切り離したポーズの潜在表現に融合する。 アーキテクチャは、カメラプロジェクション演算子に学習した表現を条件付け、ビュー当たりの正確な2次元検出を生成する。
  論文  参考訳（メタデータ） (2020-04-05T12:52:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。