論文の概要: Optical Non-Line-of-Sight Physics-based 3D Human Pose Estimation

• arxiv url: http://arxiv.org/abs/2003.14414v1
• Date: Tue, 31 Mar 2020 17:57:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-18 00:48:49.051460
• Title: Optical Non-Line-of-Sight Physics-based 3D Human Pose Estimation
• Title（参考訳）: 光非視線物理に基づく3次元ポーズ推定
• Authors: Mariko Isogawa, Ye Yuan, Matthew O'Toole, Kris Kitani
• Abstract要約: 本稿では,過渡画像から3次元人物のポーズ推定を行う手法について述べる。 本手法は, 環境に間接的に反射された光を用いて, 角を見回すことで, 人間の3次元姿勢を知覚することができる。
• 参考スコア（独自算出の注目度）: 38.57899581285387
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We describe a method for 3D human pose estimation from transient images (i.e., a 3D spatio-temporal histogram of photons) acquired by an optical non-line-of-sight (NLOS) imaging system. Our method can perceive 3D human pose by `looking around corners' through the use of light indirectly reflected by the environment. We bring together a diverse set of technologies from NLOS imaging, human pose estimation and deep reinforcement learning to construct an end-to-end data processing pipeline that converts a raw stream of photon measurements into a full 3D human pose sequence estimate. Our contributions are the design of data representation process which includes (1) a learnable inverse point spread function (PSF) to convert raw transient images into a deep feature vector; (2) a neural humanoid control policy conditioned on the transient image feature and learned from interactions with a physics simulator; and (3) a data synthesis and augmentation strategy based on depth data that can be transferred to a real-world NLOS imaging system. Our preliminary experiments suggest that our method is able to generalize to real-world NLOS measurement to estimate physically-valid 3D human poses.
• Abstract（参考訳）: 光学的非視線画像システム(NLOS)により得られた過渡的画像(光子の3次元時空間ヒストグラム)から3次元人間のポーズ推定法について述べる。 本手法は,環境に間接的に反映された光を用いることで,角を曲がりくねって見ることで3次元のポーズを知覚する。 我々は,NLOS画像,ヒトのポーズ推定,深部強化学習などの多種多様な技術を組み合わせて,光子計測の生ストリームをフル3次元のポーズシーケンス推定に変換するエンドツーエンドのデータ処理パイプラインを構築する。 我々は,(1)学習可能な逆点展開関数(PSF)を用いて生の過渡的画像を深部特徴ベクトルに変換すること,(2)過渡的画像特徴に基づいて条件付きで物理シミュレータとの相互作用から学習するニューラルヒューマノイド制御ポリシー,(3)現実世界のNLOSイメージングシステムに転送可能な深度データに基づくデータ合成と拡張戦略を含むデータ表現プロセスの設計に貢献する。 予備実験の結果,本手法は実世界のnlos計測に一般化し,身体的有意な3次元ポーズを推定できることが示唆された。

関連論文リスト

• Monocular Human-Object Reconstruction in the Wild [11.261465071559163]
  本研究では,野生の2次元画像から3次元対象空間関係を学習する2次元教師付き手法を提案する。 本手法では,フローベースニューラルネットワークを用いて,データセットの各画像に対する2次元人間オブジェクトのキーポイントレイアウトとビューポートの事前分布を学習する。
  論文  参考訳（メタデータ） (2024-07-30T05:45:06Z)
• Zolly: Zoom Focal Length Correctly for Perspective-Distorted Human Mesh Reconstruction [66.10717041384625]
  Zollyは、視点歪みの画像に焦点を当てた最初の3DHMR法である。 人体の2次元密度ゆらぎスケールを記述した新しいカメラモデルと新しい2次元歪み画像を提案する。 このタスク用に調整された2つの現実世界のデータセットを拡張します。
  論文  参考訳（メタデータ） (2023-03-24T04:22:41Z)
• Learning to Estimate 3D Human Pose from Point Cloud [13.27496851711973]
  本稿では,複雑な人体構造物の表面をモデル化するための入力データとして,点雲データを用いた3次元ポーズ推定のための深層人体ポーズネットワークを提案する。 2つの公開データセットに対する実験により,従来の最先端手法よりも精度が高いことを示す。
  論文  参考訳（メタデータ） (2022-12-25T14:22:01Z)
• Towards Hard-pose Virtual Try-on via 3D-aware Global Correspondence Learning [70.75369367311897]
  3D対応のグローバルな対応は、グローバルな意味的相関、局所的な変形、および3D人体の幾何学的先行を共同でエンコードする信頼性のあるフローである。 対向ジェネレータは、3D認識フローによって歪んだ衣服と、対象者の画像とを入力として、フォトリアリスティックな試着結果を合成する。
  論文  参考訳（メタデータ） (2022-11-25T12:16:21Z)
• Semi-Perspective Decoupled Heatmaps for 3D Robot Pose Estimation from Depth Maps [66.24554680709417]
  協調環境における労働者とロボットの正確な3D位置を知ることは、いくつかの実際のアプリケーションを可能にする。 本研究では、深度デバイスと深度ニューラルネットワークに基づく非侵襲的なフレームワークを提案し、外部カメラからロボットの3次元ポーズを推定する。
  論文  参考訳（メタデータ） (2022-07-06T08:52:12Z)
• THUNDR: Transformer-based 3D HUmaN Reconstruction with Markers [67.8628917474705]
  THUNDRは、人の3Dポーズと形状を再構築するトランスフォーマーベースのディープニューラルネットワーク手法である。 完全教師付きモデルと自己教師型モデルの両方に対して,Human3.6Mと3DPWの最先端結果を示す。 野生で収集された難易度の高い人間のポーズに対して, 非常に堅固な3次元再構成性能を観察した。
  論文  参考訳（メタデータ） (2021-06-17T09:09:24Z)
• Residual Pose: A Decoupled Approach for Depth-based 3D Human Pose Estimation [18.103595280706593]
  我々は,CNNによる信頼度の高い2次元ポーズ推定の最近の進歩を活用し,深度画像から人物の3次元ポーズを推定する。 提案手法は2つの公開データセットの精度と速度の両面で非常に競争力のある結果が得られる。
  論文  参考訳（メタデータ） (2020-11-10T10:08:13Z)
• Neural Descent for Visual 3D Human Pose and Shape [67.01050349629053]
  入力RGB画像から3次元のポーズと形状を復元するディープニューラルネットワーク手法を提案する。 我々は最近導入された表現力のあるボディ統計モデルGHUMに頼っている。 我々の方法論の中心は、HUmanNeural Descent (HUND)と呼ばれるアプローチの学習と最適化である。
  論文  参考訳（メタデータ） (2020-08-16T13:38:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。