論文の概要: Holistic 3D Human and Scene Mesh Estimation from Single View Images

• arxiv url: http://arxiv.org/abs/2012.01591v2
• Date: Fri, 16 Apr 2021 17:30:41 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-25 03:54:19.072441
• Title: Holistic 3D Human and Scene Mesh Estimation from Single View Images
• Title（参考訳）: 単一視点画像からのホロスティックな3次元人間とシーンメッシュの推定
• Authors: Zhenzhen Weng, Serena Yeung
• Abstract要約: 本稿では,1枚のRGB画像から3Dシーンを知覚するエンド・ツー・エンドのトレーニング可能なモデルを提案する。 本研究では,既存の人体メッシュ法や屋内シーン再構築法よりも優れた性能を示す。
• 参考スコア（独自算出の注目度）: 5.100152971410397
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The 3D world limits the human body pose and the human body pose conveys information about the surrounding objects. Indeed, from a single image of a person placed in an indoor scene, we as humans are adept at resolving ambiguities of the human pose and room layout through our knowledge of the physical laws and prior perception of the plausible object and human poses. However, few computer vision models fully leverage this fact. In this work, we propose an end-to-end trainable model that perceives the 3D scene from a single RGB image, estimates the camera pose and the room layout, and reconstructs both human body and object meshes. By imposing a set of comprehensive and sophisticated losses on all aspects of the estimations, we show that our model outperforms existing human body mesh methods and indoor scene reconstruction methods. To the best of our knowledge, this is the first model that outputs both object and human predictions at the mesh level, and performs joint optimization on the scene and human poses.
• Abstract（参考訳）: 3dの世界は人体のポーズを制限し、人体のポーズは周囲の物体に関する情報を伝達する。 実際、屋内に置かれている人物の1枚の画像から、人間のポーズと部屋のレイアウトの曖昧さを、物理法則の知識と、もっともらしい物体と人間のポーズの事前認識を通じて解決することに精通している。 しかし、この事実を十分に活用するコンピュータビジョンモデルはほとんどない。 本研究では,1つのrgb画像から3dシーンを知覚し,カメラのポーズと部屋のレイアウトを推定し,人体と物体のメッシュを再構築する,エンドツーエンドのトレーニング可能なモデルを提案する。 評価のすべての側面に包括的かつ洗練された損失を課すことにより,本モデルが既存の人体メッシュ法や屋内シーン再構築法より優れていることを示す。 私たちの知る限りでは、これはメッシュレベルでオブジェクトと人間の予測の両方を出力し、シーンと人間のポーズを共同で最適化する最初のモデルです。

関連論文リスト

• Scene-Aware 3D Multi-Human Motion Capture from a Single Camera [83.06768487435818]
  静止カメラで記録された1枚のRGBビデオから、シーン内の複数の人間の3次元位置を推定し、その身体形状と調音を推定する問題を考察する。 コンピュータビジョンの最近の進歩を,2次元の人体関節,関節角度,正規化不均等マップ,人間のセグメンテーションマスクなど,様々なモダリティのための大規模事前訓練モデルを用いて活用している。 特に,2次元の関節と関節角度を用いた正規化不均等予測から,シーン深度とユニークな人格尺度を推定する。
  論文  参考訳（メタデータ） (2023-01-12T18:01:28Z)
• Embodied Scene-aware Human Pose Estimation [25.094152307452]
  シーン認識型人間のポーズ推定手法を提案する。 本手法は, シミュレーション環境下でのグローバルな3次元人間のポーズを再現し, 因果関係の1段階である。
  論文  参考訳（メタデータ） (2022-06-18T03:50:19Z)
• Single-view 3D Body and Cloth Reconstruction under Complex Poses [37.86174829271747]
  既存の暗黙の関数ベースモデルを拡張して、任意のポーズと自己排他的な手足を持つ人間の画像を扱う。 入力画像を低精細度で3次元のボディ形状にマッピングする暗黙の関数を学習する。 次に、スムーズな表面を条件とした変位マップを学習し、衣服や身体の高周波の詳細を符号化する。
  論文  参考訳（メタデータ） (2022-05-09T07:34:06Z)
• NeuMan: Neural Human Radiance Field from a Single Video [26.7471970027198]
  我々は、人間のNeRFモデルとシーンのNeRFモデルという2つのNeRFモデルを訓練する。 本手法では,10秒間のビデオクリップから,布のしわやアクセサリなど,対象の詳細を学習することができる。
  論文  参考訳（メタデータ） (2022-03-23T17:35:50Z)
• Hallucinating Pose-Compatible Scenes [55.064949607528405]
  ポーズ条件付きシーン生成のための大規模生成対向ネットワークを提案する。 毎日の環境に1900万フレーム以上の人間がいる巨大なメタデータをキュレートします。 我々は、ポーズ互換シーンを人間の有無に関わらず幻覚化し、不整合シーンやポーズを可視化し、1つの生成された画像から別のシーンに人物を配置し、ポーズをアニメーションする様々な用途に、トレーニングされたモデルを活用する。
  論文  参考訳（メタデータ） (2021-12-13T18:59:26Z)
• Animatable Neural Radiance Fields from Monocular RGB Video [72.6101766407013]
  単眼ビデオからの詳細な人体アバター作成のためのアニマタブル神経放射場について述べる。 我々のアプローチは、明示的なポーズ誘導変形を導入することで、人間の動きを伴う動的シーンに神経放射場を拡大する。 実験の結果, 提案手法は, 1) 質の高い細部を持つ暗黙の人間の形状と外観の復元, 2) 任意の視点からの人間の写真リアルなレンダリング, 3) 任意のポーズを持つ人間のアニメーションを実現する。
  論文  参考訳（メタデータ） (2021-06-25T13:32:23Z)
• Collaborative Regression of Expressive Bodies using Moderation [54.730550151409474]
  3Dの体や顔、手を推定する手法は、いまだに大きく進歩している。 単一画像から全身3Dアバターをアニマタブルに生成するPIXIEを紹介する。 トレーニング画像を男性,女性,非バイナリとしてラベル付けし,ピクシーを訓練し,新たな形状損失を伴う3次元身体形状を推定した。
  論文  参考訳（メタデータ） (2021-05-11T18:55:59Z)
• Perceiving 3D Human-Object Spatial Arrangements from a Single Image in the Wild [96.08358373137438]
  本研究では,世界規模で一貫した3Dシーンにおいて,人間や物体の空間的配置や形状を推定する手法を提案する。 本手法は,シーンレベルやオブジェクトレベルの3D監視を必要とせず,データセット上で動作させる。
  論文  参考訳（メタデータ） (2020-07-30T17:59:50Z)
• Long-term Human Motion Prediction with Scene Context [60.096118270451974]
  人間の動きを予測するための新しい3段階フレームワークを提案する。 提案手法はまず,まず複数の人間の動作目標を抽出し,各目標に向けて3次元人間の動作経路を計画し,最後に各経路に続く3次元人間のポーズシーケンスを予測する。
  論文  参考訳（メタデータ） (2020-07-07T17:59:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。