論文の概要: DevilSight: Augmenting Monocular Human Avatar Reconstruction through a Virtual Perspective
- arxiv url: http://arxiv.org/abs/2509.00403v1
- Date: Sat, 30 Aug 2025 08:06:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-04 15:17:03.218907
- Title: DevilSight: Augmenting Monocular Human Avatar Reconstruction through a Virtual Perspective
- Title（参考訳）: DevilSight:仮想視点による単眼のアバター再構築
- Authors: Yushuo Chen, Ruizhi Shao, Youxin Pang, Hongwen Zhang, Xinyi Wu, Rihui Wu, Yebin Liu,
- Abstract要約: 本稿では,先進的な映像生成モデルであるHuman4DiTを用いて,代替視点から人間の動きを生成することを提案する。
人間の動きの連続的な再現を確保するため,ビデオの微調整により物理アイデンティティーをモデルに注入する。
より詳細な高精細な出力に対しては、パッチベースの復調アルゴリズムが用いられる。
- 参考スコア（独自算出の注目度）: 46.9104429232199
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present a novel framework to reconstruct human avatars from monocular videos. Recent approaches have struggled either to capture the fine-grained dynamic details from the input or to generate plausible details at novel viewpoints, which mainly stem from the limited representational capacity of the avatar model and insufficient observational data. To overcome these challenges, we propose to leverage the advanced video generative model, Human4DiT, to generate the human motions from alternative perspective as an additional supervision signal. This approach not only enriches the details in previously unseen regions but also effectively regularizes the avatar representation to mitigate artifacts. Furthermore, we introduce two complementary strategies to enhance video generation: To ensure consistent reproduction of human motion, we inject the physical identity into the model through video fine-tuning. For higher-resolution outputs with finer details, a patch-based denoising algorithm is employed. Experimental results demonstrate that our method outperforms recent state-of-the-art approaches and validate the effectiveness of our proposed strategies.
- Abstract（参考訳）: モノクラービデオから人間のアバターを再構築する新しい枠組みを提案する。
近年のアプローチでは、入力からきめ細かなダイナミックな詳細を捉えたり、アバターモデルの限られた表現能力と不十分な観測データから、新しい視点で妥当な詳細を生成するのに苦労している。
これらの課題を克服するために、我々は、高度なビデオ生成モデルであるHuman4DiTを用いて、代替的な視点から人間の動きを生成することを提案する。
このアプローチは、未確認領域の細部を豊かにするだけでなく、アバター表現を効果的に正規化し、アーティファクトを緩和する。
さらに,映像生成を改善するための2つの補完的戦略を紹介した。人間の動きの連続的な再現を保証するため,映像の微調整により,モデルに物理的アイデンティティーを注入する。
より詳細な高精細な出力に対しては、パッチベースの復調アルゴリズムが用いられる。
実験の結果,提案手法は最近の最先端手法よりも優れており,提案手法の有効性が検証された。
関連論文リスト
- AniGaussian: Animatable Gaussian Avatar with Pose-guided Deformation [51.61117351997808]
SMPLポーズガイダンスを用いて動的ガウスアバターを拘束する革新的ポーズ誘導変形戦略を導入する。
我々は、ガウスモデルの動的変換能力を高めるために、以前の研究から厳密な事前を取り入れた。
既存の手法との比較により、AniGaussianは定性的結果と定量的指標の両方において優れた性能を示す。
論文 参考訳（メタデータ） (2025-02-24T06:53:37Z) - WonderHuman: Hallucinating Unseen Parts in Dynamic 3D Human Reconstruction [51.22641018932625]
我々はWonderHumanをモノクラービデオから再構成し、高忠実なノベルビューの合成を行う。
提案手法は,与えられたモノクロ映像からフォトリアリスティックなレンダリングを生成する場合のSOTA性能を実現する。
論文 参考訳（メタデータ） (2025-02-03T04:43:41Z) - GAF: Gaussian Avatar Reconstruction from Monocular Videos via Multi-view Diffusion [5.49003371165534]
記録からの光リアルな3D頭部アバター再構成は、観測が限られているため困難である。
複数視点の頭部拡散モデルを導入し,その先行特性を利用して,欠落した領域を埋め,視界の整合性を確保する。
提案手法をNeRSembleデータセット上で評価し,新しいビュー合成における従来の最先端手法よりも優れていたことを示す。
論文 参考訳（メタデータ） (2024-12-13T15:31:22Z) - High Quality Human Image Animation using Regional Supervision and Motion Blur Condition [97.97432499053966]
我々は、顔と手の忠実度を高めるために、詳細な地域に対する地域監督を活用している。
第二に、動作のぼかしを明示的にモデル化し、外観の質をさらに向上させる。
第3に,高精細な人体アニメーションのための新しいトレーニング戦略を探求し,全体の忠実度を向上する。
論文 参考訳（メタデータ） (2024-09-29T06:46:31Z) - HR Human: Modeling Human Avatars with Triangular Mesh and High-Resolution Textures from Videos [52.23323966700072]
本研究では,モノクロ映像から高精細な物理材料テクスチャとメッシュを付加したアバターの取得のための枠組みを提案する。
本手法では,モノクロ映像からの情報を組み合わせて仮想多視点画像の合成を行う新しい情報融合方式を提案する。
実験により, 提案手法は, 高忠実度で従来の表現よりも優れており, この明示的な結果は共通三角形への展開をサポートすることが示された。
論文 参考訳（メタデータ） (2024-05-18T11:49:09Z) - Diffusion Priors for Dynamic View Synthesis from Monocular Videos [59.42406064983643]
ダイナミックノベルビュー合成は、ビデオ内の視覚的コンテンツの時間的進化を捉えることを目的としている。
まず、ビデオフレーム上に予め訓練されたRGB-D拡散モデルをカスタマイズ手法を用いて微調整する。
動的および静的なニューラルレイディアンス場を含む4次元表現に、微調整されたモデルから知識を蒸留する。
論文 参考訳（メタデータ） (2024-01-10T23:26:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。