論文の概要: Divide and Fuse: Body Part Mesh Recovery from Partially Visible Human Images

• arxiv url: http://arxiv.org/abs/2407.09694v1
• Date: Fri, 12 Jul 2024 21:29:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-16 21:18:20.403364
• Title: Divide and Fuse: Body Part Mesh Recovery from Partially Visible Human Images
• Title（参考訳）: ディバイドとフューズ:部分可視画像から身体部分メッシュを復元する
• Authors: Tianyu Luan, Zhongpai Gao, Luyuan Xie, Abhishek Sharma, Hao Ding, Benjamin Planche, Meng Zheng, Ange Lou, Terrence Chen, Junsong Yuan, Ziyan Wu,
• Abstract要約: ディバイドとフューズ」戦略は、人体部分を融合する前に独立して再構築する。 Human Part Parametric Models (HPPM) は、いくつかの形状とグローバルな位置パラメータからメッシュを独立に再構築する。 特別に設計された融合モジュールは、一部しか見えない場合でも、再建された部品をシームレスに統合する。
• 参考スコア（独自算出の注目度）: 57.479339658504685
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce a novel bottom-up approach for human body mesh reconstruction, specifically designed to address the challenges posed by partial visibility and occlusion in input images. Traditional top-down methods, relying on whole-body parametric models like SMPL, falter when only a small part of the human is visible, as they require visibility of most of the human body for accurate mesh reconstruction. To overcome this limitation, our method employs a "Divide and Fuse (D&F)" strategy, reconstructing human body parts independently before fusing them, thereby ensuring robustness against occlusions. We design Human Part Parametric Models (HPPM) that independently reconstruct the mesh from a few shape and global-location parameters, without inter-part dependency. A specially designed fusion module then seamlessly integrates the reconstructed parts, even when only a few are visible. We harness a large volume of ground-truth SMPL data to train our parametric mesh models. To facilitate the training and evaluation of our method, we have established benchmark datasets featuring images of partially visible humans with HPPM annotations. Our experiments, conducted on these benchmark datasets, demonstrate the effectiveness of our D&F method, particularly in scenarios with substantial invisibility, where traditional approaches struggle to maintain reconstruction quality.
• Abstract（参考訳）: 本稿では,人体メッシュ再構築のための新しいボトムアップ手法を提案する。 SMPLのような全身のパラメトリックモデルに依存した従来のトップダウン手法は、人間の小さな部分しか見えず、正確なメッシュ再構築のためにほとんどの人の体を視認する必要がある。 この制限を克服するため,本手法では「D&F(Divide and Fuse)」戦略を採用し,人体部分を融合する前に個別に再構築し,閉塞に対する堅牢性を確保する。 我々は,いくつかの形状と大域的位置パラメータから独立にメッシュを再構成するHuman Part Parametric Models (HPPM) を設計する。 特別に設計された融合モジュールは、少数しか見えなくても、再建された部品をシームレスに統合する。 私たちは、パラメトリックメッシュモデルをトレーニングするために、大量の地上トルスSMPLデータを使用します。 提案手法の訓練と評価を容易にするため,HPPMアノテーションを付加した部分可視像を特徴とするベンチマークデータセットを構築した。 これらのベンチマークデータセットを用いて,本手法の有効性を実証した。特に,従来の手法が再現性を維持するのに苦労する,かなりの可視性のあるシナリオにおいて。

関連論文リスト

• AiOS: All-in-One-Stage Expressive Human Pose and Shape Estimation [55.179287851188036]
  人間のポーズと形状の復元のための新しいオールインワンステージフレームワークであるAiOSを、追加の人間検出ステップなしで導入する。 まず、画像中の人間の位置を探索し、各インスタンスのグローバルな機能をエンコードするために、人間のトークンを使用します。 そして、画像中の人間の関節を探索し、きめ細かい局所的特徴を符号化するジョイント関連トークンを導入する。
  論文  参考訳（メタデータ） (2024-03-26T17:59:23Z)
• Template-Free Single-View 3D Human Digitalization with Diffusion-Guided LRM [29.13412037370585]
  本稿では,拡散誘導フィードフォワードモデルであるHuman-LRMを提案する。 本手法は,例えばSMPLなどのテンプレートを使わずにヒトを捕獲し,リッチでリアルなディテールで咬合部を効果的に増強することができる。
  論文  参考訳（メタデータ） (2024-01-22T18:08:22Z)
• SeSDF: Self-evolved Signed Distance Field for Implicit 3D Clothed Human Reconstruction [23.89884587074109]
  我々は,1枚の画像や未校正された多視点画像から,人間の衣服を復元する問題に対処する。 本稿では,パラメトリックSMPL-Xモデルを利用して任意の数の入力画像を用いて,非校正条件下での衣服モデル再構築を行うフレキシブルなフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-04-01T16:58:19Z)
• BoPR: Body-aware Part Regressor for Human Shape and Pose Estimation [16.38936587088618]
  提案手法であるBoPR(Body-Aware Part Regressor)は,まず注意誘導機構を用いて身体と部分の両方の特徴を抽出する。 次に、これらの機能を使用して、部分単位のレグレッションに余分な部分ボディ依存性をエンコードします。
  論文  参考訳（メタデータ） (2023-03-21T08:36:59Z)
• Multi-view Human Body Mesh Translator [20.471741894219228]
  人体メッシュを推定するための新しいtextbfMulti-view human body textbfMesh textbfTranslator (MMT) モデルを提案する。 MMTは、エンコーディングフェーズとデコードフェーズの両方で異なるビューの特徴を融合させ、グローバル情報に埋め込まれた表現をもたらす。
  論文  参考訳（メタデータ） (2022-10-04T20:10:59Z)
• UNIF: United Neural Implicit Functions for Clothed Human Reconstruction and Animation [53.2018423391591]
  そこで本稿では, 生スキャンと骨格を入力として, 人体再構成とアニメーションのパートベース手法を提案する。 本手法は, 部品の監督ではなく, 身体の動きから部品の分離を学習し, 布を被った人間や他の関節の物体に拡張することができる。
  論文  参考訳（メタデータ） (2022-07-20T11:41:29Z)
• 3D Multi-bodies: Fitting Sets of Plausible 3D Human Models to Ambiguous Image Data [77.57798334776353]
  単眼・部分閉塞視からヒトの高密度3次元再構成を実現することの問題点を考察する。 身体の形状やポーズをパラメータ化することで、あいまいさをより効果的にモデル化できることを示唆する。 提案手法は, 3次元人間の標準ベンチマークにおいて, あいまいなポーズ回復において, 代替手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-11-02T13:55:31Z)
• Monocular Human Pose and Shape Reconstruction using Part Differentiable Rendering [53.16864661460889]
  近年の研究では、3次元基底真理によって教師されるディープニューラルネットワークを介してパラメトリックモデルを直接推定する回帰に基づく手法が成功している。 本稿では,ボディセグメンテーションを重要な監視対象として紹介する。 部分分割による再構成を改善するために,部分分割により部分ベースモデルを制御可能な部分レベル微分可能部を提案する。
  論文  参考訳（メタデータ） (2020-03-24T14:25:46Z)
• HEMlets PoSh: Learning Part-Centric Heatmap Triplets for 3D Human Pose and Shape Estimation [60.35776484235304]
  本研究は, 中間状態部分熱マップトリプレット(HEMlets)を導入し, 検出された2次元関節を三次元空間に持ち上げる不確実性に対処しようとするものである。 HEMletsは3つのジョイントヒートマップを使用して、各骨格体部に対するエンドジョイントの相対的な深さ情報を表す。 Convolutional Network (ConvNet) は、入力画像からHEMletを予測し、次にボリュームのジョイント・ヒートマップレグレッションを学習する。
  論文  参考訳（メタデータ） (2020-03-10T04:03:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。