論文の概要: CrossHuman: Learning Cross-Guidance from Multi-Frame Images for Human Reconstruction

• arxiv url: http://arxiv.org/abs/2207.09735v1
• Date: Wed, 20 Jul 2022 08:25:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-21 13:36:08.528641
• Title: CrossHuman: Learning Cross-Guidance from Multi-Frame Images for Human Reconstruction
• Title（参考訳）: CrossHuman: 人間の再構築のための多フレーム画像からクロスガイドを学ぶ
• Authors: Liliang Chen, Jiaqi Li, Han Huang, Yandong Guo
• Abstract要約: CrossHumanは、パラメトリック人間モデルとマルチフレームRGB画像からクロスガイダンスを学ぶ新しい方法である。 トラッカーベース手法とトラッカーフリー手法を組み合わせた再構成パイプラインを設計する。 これまでの研究と比較すると、CrossHumanは目に見える領域と見えない領域の両方で、高忠実度な幾何学的詳細とテクスチャを可能にする。
• 参考スコア（独自算出の注目度）: 6.450579406495884
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose CrossHuman, a novel method that learns cross-guidance from parametric human model and multi-frame RGB images to achieve high-quality 3D human reconstruction. To recover geometry details and texture even in invisible regions, we design a reconstruction pipeline combined with tracking-based methods and tracking-free methods. Given a monocular RGB sequence, we track the parametric human model in the whole sequence, the points (voxels) corresponding to the target frame are warped to reference frames by the parametric body motion. Guided by the geometry priors of the parametric body and spatially aligned features from RGB sequence, the robust implicit surface is fused. Moreover, a multi-frame transformer (MFT) and a self-supervised warp refinement module are integrated to the framework to relax the requirements of parametric body and help to deal with very loose cloth. Compared with previous works, our CrossHuman enables high-fidelity geometry details and texture in both visible and invisible regions and improves the accuracy of the human reconstruction even under estimated inaccurate parametric human models. The experiments demonstrate that our method achieves state-of-the-art (SOTA) performance.
• Abstract（参考訳）: パラメトリック人間モデルと多フレームRGB画像からクロスガイダンスを学習し,高品質な3次元再構成を実現するクロスヒューマンを提案する。 不可視領域においても幾何学的詳細とテクスチャを復元するため,トラッキングベース法とトラッキングフリー法を組み合わせた復元パイプラインを設計した。 単眼rgb系列が与えられると、パラメトリック人体モデル全体を追跡し、対象フレームに対応する点(ボクセル)をパラメトリック体の動きによって基準フレームに巻き込む。 パラメトリックボディの幾何学的先行とRGBシーケンスから空間的に整列した特徴により、頑健な暗黙の表面が融合する。 さらに、多フレームトランス(MFT)と自己教師型ワープ改質モジュールをフレームワークに統合してパラメトリックボディの要求を緩和し、非常に緩い布に対処する。 先行研究と比較して,視・視両領域の高忠実度な幾何学的詳細とテクスチャを可能とし,推定された不正確なパラメトリックな人体モデルにおいてもヒトの再構築精度を向上させる。 実験により,本手法がSOTA(State-of-the-art)性能を実現することを示す。

関連論文リスト

• ANIM: Accurate Neural Implicit Model for Human Reconstruction from a single RGB-D image [40.03212588672639]
  ANIMは単視点RGB-D画像から任意の3次元形状を前例のない精度で再構成する新しい手法である。 我々のモデルは、深度情報を活用するためにピクセル整列とボクセル整列の両方の機能から幾何学的詳細を学習する。 実験によると、ANIMはRGB、表面正規、ポイントクラウド、RGB-Dデータを入力として使用する最先端の作業よりも優れている。
  論文  参考訳（メタデータ） (2024-03-15T14:45:38Z)
• FrozenRecon: Pose-free 3D Scene Reconstruction with Frozen Depth Models [67.96827539201071]
  本稿では,3次元シーン再構成のための新しいテスト時間最適化手法を提案する。 本手法は5つのゼロショットテストデータセット上で,最先端のクロスデータセット再構築を実現する。
  論文  参考訳（メタデータ） (2023-08-10T17:55:02Z)
• Towards Scalable Multi-View Reconstruction of Geometry and Materials [27.660389147094715]
  本稿では,3次元シーンのカメラポーズ,オブジェクト形状,空間変化の両方向反射分布関数(svBRDF)のジョイントリカバリ手法を提案する。 入力は高解像度のRGBD画像であり、アクティブ照明用の点灯付き携帯型ハンドヘルドキャプチャシステムによってキャプチャされる。
  論文  参考訳（メタデータ） (2023-06-06T15:07:39Z)
• THUNDR: Transformer-based 3D HUmaN Reconstruction with Markers [67.8628917474705]
  THUNDRは、人の3Dポーズと形状を再構築するトランスフォーマーベースのディープニューラルネットワーク手法である。 完全教師付きモデルと自己教師型モデルの両方に対して,Human3.6Mと3DPWの最先端結果を示す。 野生で収集された難易度の高い人間のポーズに対して, 非常に堅固な3次元再構成性能を観察した。
  論文  参考訳（メタデータ） (2021-06-17T09:09:24Z)
• Nothing But Geometric Constraints: A Model-Free Method for Articulated Object Pose Estimation [89.82169646672872]
  本稿では,ロボットアームの関節構成を,モデルに先入観を持たずにRGBまたはRGB-D画像のシーケンスから推定する,教師なし視覚ベースシステムを提案する。 我々は,古典幾何学的定式化と深層学習を組み合わせることで,この課題を解決するために,極性多剛体制約を拡張した。
  論文  参考訳（メタデータ） (2020-11-30T20:46:48Z)
• Neural Descent for Visual 3D Human Pose and Shape [67.01050349629053]
  入力RGB画像から3次元のポーズと形状を復元するディープニューラルネットワーク手法を提案する。 我々は最近導入された表現力のあるボディ統計モデルGHUMに頼っている。 我々の方法論の中心は、HUmanNeural Descent (HUND)と呼ばれるアプローチの学習と最適化である。
  論文  参考訳（メタデータ） (2020-08-16T13:38:41Z)
• TexMesh: Reconstructing Detailed Human Texture and Geometry from RGB-D Video [37.33902000401107]
  TexMeshは、RGB-Dビデオから高解像度のフルボディテクスチャで詳細な人間のメッシュを再構築する新しいアプローチである。 実際に、私たちは自己適応のための短いサンプルシーケンスでモデルをトレーニングし、その後インタラクティブなフレームレートでモデルを実行します。
  論文  参考訳（メタデータ） (2020-08-01T03:17:23Z)
• PaMIR: Parametric Model-Conditioned Implicit Representation for Image-based Human Reconstruction [67.08350202974434]
  本研究では,パラメトリックボディモデルと自由形深部暗黙関数を組み合わせたパラメトリックモデル記述型暗黙表現(PaMIR)を提案する。 本手法は, 挑戦的なポーズや衣料品のタイプにおいて, 画像に基づく3次元再構築のための最先端性能を実現する。
  論文  参考訳（メタデータ） (2020-07-08T02:26:19Z)
• SparseFusion: Dynamic Human Avatar Modeling from Sparse RGBD Images [49.52782544649703]
  本稿では,RGBDフレームのスパース集合に基づく3次元人体形状の再構築手法を提案する。 主な課題は、これらのスパースフレームを標準的な3Dモデルにしっかりと融合させる方法だ。 私たちのフレームワークは柔軟で、潜在的なアプリケーションは形状の再構築を超えています。
  論文  参考訳（メタデータ） (2020-06-05T18:53:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。