論文の概要: A Deeper Look into DeepCap

• arxiv url: http://arxiv.org/abs/2111.10563v1
• Date: Sat, 20 Nov 2021 11:34:33 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-26 03:40:41.029081
• Title: A Deeper Look into DeepCap
• Title（参考訳）: DeepCapをもっと深く見てみよう
• Authors: Marc Habermann, Weipeng Xu, Michael Zollhoefer, Gerard Pons-Moll, Christian Theobalt
• Abstract要約: そこで本研究では,単分子密集型人間のパフォーマンスキャプチャのための新しい深層学習手法を提案する。 本手法は,多視点監視に基づく弱教師付き方式で訓練されている。 我々のアプローチは、品質と堅牢性の観点から、芸術の状態を上回ります。
• 参考スコア（独自算出の注目度）: 96.67706102518238
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Human performance capture is a highly important computer vision problem with many applications in movie production and virtual/augmented reality. Many previous performance capture approaches either required expensive multi-view setups or did not recover dense space-time coherent geometry with frame-to-frame correspondences. We propose a novel deep learning approach for monocular dense human performance capture. Our method is trained in a weakly supervised manner based on multi-view supervision completely removing the need for training data with 3D ground truth annotations. The network architecture is based on two separate networks that disentangle the task into a pose estimation and a non-rigid surface deformation step. Extensive qualitative and quantitative evaluations show that our approach outperforms the state of the art in terms of quality and robustness. This work is an extended version of DeepCap where we provide more detailed explanations, comparisons and results as well as applications.
• Abstract（参考訳）: 人間のパフォーマンスキャプチャは、映画制作やバーチャル/拡張現実における多くの応用において、非常に重要なコンピュータビジョン問題である。 以前の多くのパフォーマンスキャプチャアプローチでは、高価なマルチビューの設定が必要か、フレーム間対応で密集した時空コヒーレント形状を回復しなかった。 本稿では,単眼高密度ヒトパフォーマンスキャプチャのための新しい深層学習手法を提案する。 提案手法は,3次元基底真理アノテーションを用いたトレーニングデータを完全に除去する多視点監視に基づいて,弱教師付きで訓練される。 ネットワークアーキテクチャは、タスクをポーズ推定と非剛性表面変形ステップに切り離す2つの別々のネットワークに基づいている。 広範な質的・定量的評価は,我々のアプローチが品質と堅牢性の観点から,芸術の状態を上回っていることを示している。 この作業はDeepCapの拡張バージョンで、アプリケーションだけでなく、より詳細な説明、比較、結果を提供します。

関連論文リスト

• Self-Supervised Depth Completion Guided by 3D Perception and Geometry Consistency [17.68427514090938]
  本稿では,3次元の知覚的特徴と多視点幾何整合性を利用して,高精度な自己監督深度補完法を提案する。 NYU-Depthv2 と VOID のベンチマークデータセットを用いた実験により,提案モデルが最先端の深度補完性能を実現することを示す。
  論文  参考訳（メタデータ） (2023-12-23T14:19:56Z)
• SwinDepth: Unsupervised Depth Estimation using Monocular Sequences via Swin Transformer and Densely Cascaded Network [29.798579906253696]
  教師付きトレーニングのための深層地下深度ラベルの取得は困難であり,単分子配列を用いた教師なし深度推定が有望な代替手段として出現する。 本稿では,画像特徴抽出器としてコンボリューションフリーのSwin Transformerを用い,局所的幾何学的特徴と大域的意味的特徴の両方を網羅して深度推定を行う。 また,Densely Cascaded Multi-scale Network (DCMNet)を提案する。
  論文  参考訳（メタデータ） (2023-01-17T06:01:46Z)
• SC-DepthV3: Robust Self-supervised Monocular Depth Estimation for Dynamic Scenes [58.89295356901823]
  自己監督型単眼深度推定は静的な場面で顕著な結果を示した。 トレーニングネットワークのマルチビュー整合性の仮定に依存するが、動的オブジェクト領域に違反する。 単一画像の深度を事前に生成するための,外部トレーニング付き単眼深度推定モデルを提案する。 我々のモデルは、高度にダイナミックなシーンのモノクロビデオからトレーニングしても、シャープで正確な深度マップを予測できる。
  論文  参考訳（メタデータ） (2022-11-07T16:17:47Z)
• DeepMultiCap: Performance Capture of Multiple Characters Using Sparse Multiview Cameras [63.186486240525554]
  deep multicapは、スパースマルチビューカメラを用いたマルチパーソンパフォーマンスキャプチャのための新しい手法である。 本手法では,事前走査型テンプレートモデルを用いることなく,時間変化した表面の詳細をキャプチャできる。
  論文  参考訳（メタデータ） (2021-05-01T14:32:13Z)
• Multi-view Depth Estimation using Epipolar Spatio-Temporal Networks [87.50632573601283]
  一つのビデオから多視点深度を推定する新しい手法を提案する。 提案手法は,新しいEpipolar Spatio-Temporal Transformer(EST)を用いて時間的コヒーレントな深度推定を行う。 最近のMixture-of-Expertsモデルにインスパイアされた計算コストを削減するため、我々はコンパクトなハイブリッドネットワークを設計する。
  論文  参考訳（メタデータ） (2020-11-26T04:04:21Z)
• SPCNet:Spatial Preserve and Content-aware Network for Human Pose Estimation [3.2540745519652434]
  Dilated Hourglass Module(DHM)とSelective Information Module(SIM)の2つの有効モジュールを含む新しい空間保存・コンテンツ認識ネットワーク(SPCNet)を提案する。 特に,従来の手法を超越して,3つのベンチマークデータセットの最先端性能を実現している。
  論文  参考訳（メタデータ） (2020-04-13T09:14:00Z)
• Distilled Semantics for Comprehensive Scene Understanding from Videos [53.49501208503774]
  本稿では,一眼レフカメラによる全体像の理解に向けて,セマンティクスとともに深度や動きを学習し,さらなる一歩を踏み出した。 これら3つの課題を,知識蒸留と自己監督に基づく新たなトレーニングプロトコルによって共同で解決する。 その結果, 単眼深度推定, 光流, モーションセグメンテーションの最先端結果が得られた。
  論文  参考訳（メタデータ） (2020-03-31T08:52:13Z)
• DeepCap: Monocular Human Performance Capture Using Weak Supervision [106.50649929342576]
  そこで本研究では,単分子密集型人間のパフォーマンスキャプチャのための新しい深層学習手法を提案する。 本手法は,多視点監視に基づく弱教師付き方式で訓練されている。 我々のアプローチは、品質と堅牢性の観点から、芸術の状態を上回ります。
  論文  参考訳（メタデータ） (2020-03-18T16:39:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。