論文の概要: Temporal Consistency Loss for High Resolution Textured and Clothed
3DHuman Reconstruction from Monocular Video
- arxiv url: http://arxiv.org/abs/2104.09259v1
- Date: Mon, 19 Apr 2021 13:04:29 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-20 13:48:48.064103
- Title: Temporal Consistency Loss for High Resolution Textured and Clothed
3DHuman Reconstruction from Monocular Video
- Title(参考訳): モノクルビデオからの高分解能テクスチャと3次元Human再構成のための時間的整合性損失
- Authors: Akin Caliskan, Armin Mustafa, Adrian Hilton
- Abstract要約: 本研究では,単眼映像から着衣者の時間的整合性3次元再構成を学習する新しい手法を提案する。
提案手法は,モノクロ映像からの3次元再構成とテクスチャ予測の時間的一貫性と精度を向上させる。
- 参考スコア(独自算出の注目度): 35.42021156572568
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present a novel method to learn temporally consistent 3D reconstruction of
clothed people from a monocular video. Recent methods for 3D human
reconstruction from monocular video using volumetric, implicit or parametric
human shape models, produce per frame reconstructions giving temporally
inconsistent output and limited performance when applied to video. In this
paper, we introduce an approach to learn temporally consistent features for
textured reconstruction of clothed 3D human sequences from monocular video by
proposing two advances: a novel temporal consistency loss function; and hybrid
representation learning for implicit 3D reconstruction from 2D images and
coarse 3D geometry. The proposed advances improve the temporal consistency and
accuracy of both the 3D reconstruction and texture prediction from a monocular
video. Comprehensive comparative performance evaluation on images of people
demonstrates that the proposed method significantly outperforms the
state-of-the-art learning-based single image 3D human shape estimation
approaches achieving significant improvement of reconstruction accuracy,
completeness, quality and temporal consistency.
- Abstract(参考訳): 本稿では,単眼映像から着衣者の時間的一貫性のある3次元再構成を学習する新しい手法を提案する。
音量, 暗黙的, パラメトリックの形状モデルを用いた単眼映像からの3次元再構成手法は, 時間的に不整合な出力を与え, 映像に適用した場合の性能を制限したフレーム単位の再構成を実現する。
本稿では,新しい時間的整合性損失関数と2次元画像からの暗黙的3次元再構成と粗い3次元形状のハイブリッド表現学習の2つの進歩を提案することによって,モノクロ映像から3次元人物列をテクスチャ化するための時間的一貫した特徴を学習する手法を提案する。
提案手法は,モノクロ映像からの3次元再構成とテクスチャ予測の時間的一貫性と精度を向上させる。
画像の総合的比較性能評価により,提案手法は,復元精度,完全性,品質,時間的一貫性の大幅な向上を実現するために,最先端学習に基づく3次元人物形状推定手法を著しく上回っていることが示された。
関連論文リスト
- Temporal-Aware Refinement for Video-based Human Pose and Shape Recovery [20.566505924677013]
本研究では,時間認識のグローバルな特徴と局所的な特徴を探索し,正確なポーズと形状回復を実現するための時間認識精細ネットワーク(TAR)を提案する。
我々のTARは,3DPW,MPI-INF-3DHP,Human3.6Mといった,従来の最先端手法よりも正確な結果が得られる。
論文 参考訳(メタデータ) (2023-11-16T03:35:17Z) - Instant3D: Fast Text-to-3D with Sparse-View Generation and Large
Reconstruction Model [68.98311213582949]
テキストプロンプトから高品質で多様な3Dアセットをフィードフォワードで生成する新しい手法であるInstant3Dを提案する。
提案手法は,従来の最適化手法よりも2桁早く,20秒以内に高画質の多種多様な3Dアセットを生成できる。
論文 参考訳(メタデータ) (2023-11-10T18:03:44Z) - HiFi-123: Towards High-fidelity One Image to 3D Content Generation [68.41847860194201]
高速かつ多視点で一貫した3次元生成が可能なHiFi-123を提案する。
コントリビューションはまず,参照誘導型新規ビューエンハンスメント技術を提案する。
第2に, 新規な視点向上に乗じて, 新たな基準誘導型蒸留損失を提示する。
論文 参考訳(メタデータ) (2023-10-10T16:14:20Z) - One-2-3-45: Any Single Image to 3D Mesh in 45 Seconds without Per-Shape
Optimization [30.951405623906258]
単一画像の3D再構成は、我々の自然界に関する広範な知識を必要とする重要な課題であるが、難しい課題である。
本研究では,任意の物体の1つの画像を入力として取り込み,360度3次元テクスチャメッシュを1回のフィードフォワードパスで生成する手法を提案する。
論文 参考訳(メタデータ) (2023-06-29T13:28:16Z) - CVRecon: Rethinking 3D Geometric Feature Learning For Neural
Reconstruction [12.53249207602695]
本稿では,エンドツーエンドの3Dニューラル再構成フレームワークCVReconを提案する。
コストボリュームにリッチな幾何学的埋め込みを利用して、3次元の幾何学的特徴学習を容易にする。
論文 参考訳(メタデータ) (2023-04-28T05:30:19Z) - Farm3D: Learning Articulated 3D Animals by Distilling 2D Diffusion [81.63322697335228]
我々は,「自由」な仮想監督から,音声オブジェクトのカテゴリー別3D再構成を学習するFarm3Dを提案する。
近年のアプローチでは,物体の3次元形状,アルベド,照明,物体発生の視点を予測するための単眼ネットワークである,対象カテゴリの単一視点画像の集合から学習することができる。
本研究では、安定拡散のような画像生成装置を用いて、そのような再構成ネットワークをスクラッチから学習するための仮想トレーニングデータを生成するフレームワークを提案する。
論文 参考訳(メタデータ) (2023-04-20T17:59:34Z) - ReFu: Refine and Fuse the Unobserved View for Detail-Preserving
Single-Image 3D Human Reconstruction [31.782985891629448]
シングルイメージの3次元再構成は,1枚の画像から人体の3次元テクスチャ面を再構築することを目的としている。
提案するReFuは、投影された背景像を精細化し、その精細な画像を融合して最終人体を予測するための粗大なアプローチである。
論文 参考訳(メタデータ) (2022-11-09T09:14:11Z) - State of the Art in Dense Monocular Non-Rigid 3D Reconstruction [100.9586977875698]
モノクル2D画像から変形可能なシーン(または非剛体)の3D再構成は、コンピュータビジョンとグラフィックスの長年、活発に研究されてきた領域である。
本研究は,モノクラー映像やモノクラービューの集合から,様々な変形可能な物体や複合シーンを高密度に非剛性で再現するための最先端の手法に焦点を当てる。
論文 参考訳(メタデータ) (2022-10-27T17:59:53Z) - RiCS: A 2D Self-Occlusion Map for Harmonizing Volumetric Objects [68.85305626324694]
カメラ空間における光マーチング (RiCS) は、3次元における前景物体の自己閉塞を2次元の自己閉塞マップに表現する新しい手法である。
表現マップは画像の質を高めるだけでなく,時間的コヒーレントな複雑な影効果をモデル化できることを示す。
論文 参考訳(メタデータ) (2022-05-14T05:35:35Z) - Model-based 3D Hand Reconstruction via Self-Supervised Learning [72.0817813032385]
シングルビューのRGB画像から3Dハンドを再構成することは、様々な手構成と深さのあいまいさのために困難である。
ポーズ, 形状, テクスチャ, カメラ視点を共同で推定できる, 自己教師型3Dハンド再構成ネットワークであるS2HANDを提案する。
初めて手動アノテーションを使わずに、正確な3D手の再構築ネットワークを訓練できることを実証しました。
論文 参考訳(メタデータ) (2021-03-22T10:12:43Z) - Multi-View Consistency Loss for Improved Single-Image 3D Reconstruction
of Clothed People [36.30755368202957]
本稿では,1枚の画像から3次元人物形状復元の精度を向上させるための新しい手法を提案する。
衣服、髪、体の大きさ、ポーズ、カメラの視点などによる形状の変化が大きいため、衣服の復元の正確さと完全性は限られている。
論文 参考訳(メタデータ) (2020-09-29T17:18:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。