論文の概要: Rendering Humans from Object-Occluded Monocular Videos

• arxiv url: http://arxiv.org/abs/2308.04622v1
• Date: Tue, 8 Aug 2023 23:12:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-10 15:40:17.135708
• Title: Rendering Humans from Object-Occluded Monocular Videos
• Title（参考訳）: モノクロ映像から人間をレンダリングする
• Authors: Tiange Xiang, Adam Sun, Jiajun Wu, Ehsan Adeli, Li Fei-Fei
• Abstract要約: モノクロビデオから人間を動かすことの3D理解とレンダリングは、難しい課題だ。 既存の方法は2つの理由からそのような欠陥に対処できない。 OccNeRF(OccNeRF, OccNeRF, OccNeRF, OccNeRF, OccNeRF, OccNeRF, OccNeRF)について述べる。
• 参考スコア（独自算出の注目度）: 32.67336188239284
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: 3D understanding and rendering of moving humans from monocular videos is a challenging task. Despite recent progress, the task remains difficult in real-world scenarios, where obstacles may block the camera view and cause partial occlusions in the captured videos. Existing methods cannot handle such defects due to two reasons. First, the standard rendering strategy relies on point-point mapping, which could lead to dramatic disparities between the visible and occluded areas of the body. Second, the naive direct regression approach does not consider any feasibility criteria (ie, prior information) for rendering under occlusions. To tackle the above drawbacks, we present OccNeRF, a neural rendering method that achieves better rendering of humans in severely occluded scenes. As direct solutions to the two drawbacks, we propose surface-based rendering by integrating geometry and visibility priors. We validate our method on both simulated and real-world occlusions and demonstrate our method's superiority.
• Abstract（参考訳）: モノクロビデオから人間を動かすことの3D理解とレンダリングは難しい課題だ。 近年の進歩にもかかわらず、実際のシナリオでは、障害物がカメラの視界を遮り、キャプチャーされたビデオに部分的閉塞を引き起こすような作業は依然として困難である。 既存のメソッドは2つの理由からこのような欠陥を処理できない。 第一に、標準的なレンダリング戦略は点点マッピングに依存しており、これは身体の可視領域と隠蔽領域の間に劇的な差異をもたらす可能性がある。 第二に、自然な直接回帰アプローチは、閉塞下でのレンダリングの実現可能性基準(つまり事前情報)を考慮しない。 以上の欠点に対処するため,重度の閉鎖シーンにおいて,より優れたレンダリングを実現するニューラルネットワークレンダリング手法であるOccNeRFを提案する。 この2つの欠点に対する直接的な解決策として,形状と可視性の統合による表面レンダリングを提案する。 シミュレーションと実世界のオクルージョンの両方に対して本手法の有効性を検証する。

関連論文リスト

• OccGaussian: 3D Gaussian Splatting for Occluded Human Rendering [55.50438181721271]
  表面レンダリングにNeRFを用いた従来手法では,閉鎖領域の復元には1日以上,閉塞領域のレンダリングには数秒を要していた。 OccGaussianは3D Gaussian Splattingをベースとして6分以内でトレーニングが可能で,最大160FPSまでの高品質な人体レンダリングを実現する。
  論文  参考訳（メタデータ） (2024-04-12T13:00:06Z)
• Wild2Avatar: Rendering Humans Behind Occlusions [18.869570134874365]
  私たちはWild2Avatarを紹介します。 この研究で、我々はWild2Avatarを紹介します。
  論文  参考訳（メタデータ） (2023-12-31T09:01:34Z)
• Decaf: Monocular Deformation Capture for Face and Hand Interactions [77.75726740605748]
  本稿では,単眼のRGBビデオから人間の顔と対話する人間の手を3Dで追跡する手法を提案する。 動作中の非剛性面の変形を誘発する定形物体として手をモデル化する。 本手法は,マーカーレスマルチビューカメラシステムで取得した現実的な顔変形を伴う手動・インタラクションキャプチャーデータセットに頼っている。
  論文  参考訳（メタデータ） (2023-09-28T17:59:51Z)
• Relightable and Animatable Neural Avatar from Sparse-View Video [66.77811288144156]
  本稿では、未知の照明下でのダイナミックな人間のスパースビュー(あるいはモノクラーク)ビデオから、リライザブルでアニマタブルなニューラルアバターを作成するという課題に取り組む。
  論文  参考訳（メタデータ） (2023-08-15T17:42:39Z)
• Differentiable Blocks World: Qualitative 3D Decomposition by Rendering Primitives [70.32817882783608]
  本稿では,3次元プリミティブを用いて,シンプルでコンパクトで動作可能な3次元世界表現を実現する手法を提案する。 既存の3次元入力データに依存するプリミティブ分解法とは異なり,本手法は画像を直接操作する。 得られたテクスチャ化されたプリミティブは入力画像を忠実に再構成し、視覚的な3Dポイントを正確にモデル化する。
  論文  参考訳（メタデータ） (2023-07-11T17:58:31Z)
• Vid2Avatar: 3D Avatar Reconstruction from Videos in the Wild via Self-supervised Scene Decomposition [40.46674919612935]
  Vid2Avatarは、モノクラー・イン・ザ・ワイルドビデオから人間のアバターを学習する手法である。 提案手法は,大規模な人間のスキャンデータから抽出した基礎的監督や先行データを必要としない。 シーンの人間と背景の両方を共同でモデル化することで、シーンの分解と表面の再構築を3Dで直接行う。
  論文  参考訳（メタデータ） (2023-02-22T18:59:17Z)
• PointAvatar: Deformable Point-based Head Avatars from Videos [103.43941945044294]
  PointAvatarは変形可能な点ベースの表現で、原色を固有アルベドと正規依存シェーディングに分解する。 提案手法は,複数の音源からのモノクロビデオを用いて,アニマタブルな3Dアバターを生成することができることを示す。
  論文  参考訳（メタデータ） (2022-12-16T10:05:31Z)
• MonoNHR: Monocular Neural Human Renderer [51.396845817689915]
  モノクラー・ニューラル・ヒューマン・レンダラー(Monocular Neural Human Renderer, モノクラー・ニューラル・ヒューマン・レンダラー: Monocular Neural Human Renderer, モノクラー・ニューラル・ヒューマン・レンダラー: Monocular Neural Human Renderer, モノクラー・ニューラル・ヒューマン・レンダラー)を提案する。 まず,3次元の幾何学的特徴とテクスチャ的特徴を分離し,テクスチャ推論を3次元の幾何学的特徴に適応させることを提案する。 第2に、対称のような人間の構造的先入観を生かした閉塞部を塗布するメッシュ・インパインター・モジュールを導入する。
  論文  参考訳（メタデータ） (2022-10-02T21:01:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。