論文の概要: SOAR: Self-Occluded Avatar Recovery from a Single Video In the Wild

• arxiv url: http://arxiv.org/abs/2410.23800v1
• Date: Thu, 31 Oct 2024 10:35:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-01 17:00:39.481222
• Title: SOAR: Self-Occluded Avatar Recovery from a Single Video In the Wild
• Title（参考訳）: SOAR: 野生の単一ビデオから自己排他的アバターを回収する
• Authors: Zhuoyang Pan, Angjoo Kanazawa, Hang Gao,
• Abstract要約: 自己排除は、パフォーマーが事前に定義された動作スクリプトに従わない野生の人々を捕らえるときによく見られる。 身体の一部が完全に観察されていない部分的な観察から人体を復元する手法であるセルフ・オクルード・アバター・リカバリ(SOAR)を紹介した。
• 参考スコア（独自算出の注目度）: 30.728476070389707
• License:
• Abstract: Self-occlusion is common when capturing people in the wild, where the performer do not follow predefined motion scripts. This challenges existing monocular human reconstruction systems that assume full body visibility. We introduce Self-Occluded Avatar Recovery (SOAR), a method for complete human reconstruction from partial observations where parts of the body are entirely unobserved. SOAR leverages structural normal prior and generative diffusion prior to address such an ill-posed reconstruction problem. For structural normal prior, we model human with an reposable surfel model with well-defined and easily readable shapes. For generative diffusion prior, we perform an initial reconstruction and refine it using score distillation. On various benchmarks, we show that SOAR performs favorably than state-of-the-art reconstruction and generation methods, and on-par comparing to concurrent works. Additional video results and code are available at https://soar-avatar.github.io/.
• Abstract（参考訳）: 自己排除は、パフォーマーが事前に定義された動作スクリプトに従わない野生の人々を捕らえるときによく見られる。 これは、全身の視認性を前提とした既存の単眼の人間の再構築システムに挑戦する。 身体の一部が完全に観察されていない部分的な観察から人体を復元する手法であるセルフ・オクルード・アバター・リカバリ(SOAR)を紹介した。 SOARは、そのような不適切な再構築問題に対処する前に、構造上の正常な事前および生成的拡散を利用する。 構造的な通常の場合、よく定義され、読みやすい形状のリポジブル・サーフモデルで人間をモデル化する。 生成拡散に先立って初期再構成を行い, スコア蒸留を用いて精製する。 様々なベンチマークにおいて、SOARは最先端の再構築および生成方法よりも良好に機能し、並行処理と比較できることを示す。 追加のビデオ結果とコードはhttps://soar-avatar.github.io/.com/で公開されている。

関連論文リスト

• Divide and Fuse: Body Part Mesh Recovery from Partially Visible Human Images [57.479339658504685]
  ディバイドとフューズ」戦略は、人体部分を融合する前に独立して再構築する。 Human Part Parametric Models (HPPM) は、いくつかの形状とグローバルな位置パラメータからメッシュを独立に再構築する。 特別に設計された融合モジュールは、一部しか見えない場合でも、再建された部品をシームレスに統合する。
  論文  参考訳（メタデータ） (2024-07-12T21:29:11Z)
• Stratified Avatar Generation from Sparse Observations [10.291918304187769]
  AR/VRデバイスから3Dフルボディアバターを推定することは、没入感のある体験を生み出す上で不可欠である。 本稿では,Skinned Multi-Person Linear (SMPL)モデルで定義されたキネマティックツリーの性質に着想を得た。 本研究では,従来のフルボディアバター再建パイプラインを2段階に分離する階層化手法を提案する。
  論文  参考訳（メタデータ） (2024-05-30T06:25:42Z)
• SiTH: Single-view Textured Human Reconstruction with Image-Conditioned Diffusion [35.73448283467723]
  SiTHは、イメージ条件付き拡散モデルと3Dメッシュ再構築ワークフローを統合する、新しいパイプラインである。 我々は、入力画像に基づいて、見えないバックビューの外観を幻覚させるために、強力な生成拡散モデルを用いる。 後者では,入力画像とバックビュー画像から全身のテクスチャメッシュを復元するためのガイダンスとして,肌付きボディーメッシュを利用する。
  論文  参考訳（メタデータ） (2023-11-27T14:22:07Z)
• Humans in 4D: Reconstructing and Tracking Humans with Transformers [72.50856500760352]
  我々は、人間を再構築し、時間とともに追跡するアプローチを提案する。 このアプローチの中核として、人間のメッシュリカバリのためのネットワークの完全な"トランスフォーマライズ"バージョンを提案する。 このネットワークであるHMR 2.0は、芸術の状態を前進させ、過去に1枚の画像から再構成することが困難であった異常なポーズを分析する能力を示す。
  論文  参考訳（メタデータ） (2023-05-31T17:59:52Z)
• Vid2Avatar: 3D Avatar Reconstruction from Videos in the Wild via Self-supervised Scene Decomposition [40.46674919612935]
  Vid2Avatarは、モノクラー・イン・ザ・ワイルドビデオから人間のアバターを学習する手法である。 提案手法は,大規模な人間のスキャンデータから抽出した基礎的監督や先行データを必要としない。 シーンの人間と背景の両方を共同でモデル化することで、シーンの分解と表面の再構築を3Dで直接行う。
  論文  参考訳（メタデータ） (2023-02-22T18:59:17Z)
• RealFusion: 360{\deg} Reconstruction of Any Object from a Single Image [98.46318529630109]
  対象物の全360度写真モデルを1枚の画像から再構成する際の問題点を考察する。 拡散に基づく自己条件付き画像生成装置を設計し、オブジェクトの新たなビューを"ドレームアップ"するよう促すプロンプトを設計する。
  論文  参考訳（メタデータ） (2023-02-21T13:25:35Z)
• Making Reconstruction-based Method Great Again for Video Anomaly Detection [64.19326819088563]
  ビデオの異常検出は重要な問題だが、難しい問題だ。 既存の再構成に基づく手法は、昔ながらの畳み込みオートエンコーダに依存している。 連続フレーム再構築のための新しいオートエンコーダモデルを提案する。
  論文  参考訳（メタデータ） (2023-01-28T01:57:57Z)
• SelfRecon: Self Reconstruction Your Digital Avatar from Monocular Video [48.23424267130425]
  SelfReconは、単眼で回転する人間のビデオから、時空のコヒーレントなジオメトリを復元する。 明示的な方法は与えられたシーケンスに対して事前定義されたテンプレートメッシュを必要とするが、テンプレートは特定の対象に対して取得が難しい。 インプリシット法は任意の位相をサポートし、連続的な幾何学的表現により高品質である。
  論文  参考訳（メタデータ） (2022-01-30T11:49:29Z)
• Coherent Reconstruction of Multiple Humans from a Single Image [68.3319089392548]
  本研究では,1枚の画像から多人数の3Dポーズ推定を行う問題に対処する。 この問題のトップダウン設定における典型的な回帰アプローチは、まずすべての人間を検出し、それぞれを独立して再構築する。 我々のゴールは、これらの問題を回避し、現場のすべての人間のコヒーレントな3D再構成を生成するために学習する単一のネットワークをトレーニングすることである。
  論文  参考訳（メタデータ） (2020-06-15T17:51:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。