論文の概要: LPSNet: End-to-End Human Pose and Shape Estimation with Lensless Imaging

• arxiv url: http://arxiv.org/abs/2404.01941v3
• Date: Mon, 8 Apr 2024 12:51:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-09 23:56:54.044107
• Title: LPSNet: End-to-End Human Pose and Shape Estimation with Lensless Imaging
• Title（参考訳）: LPSNet: エンド・ツー・エンドヒューマン・ポースとレンズレスイメージングによる形状推定
• Authors: Haoyang Ge, Qiao Feng, Hailong Jia, Xiongzheng Li, Xiangjun Yin, You Zhou, Jingyu Yang, Kun Li,
• Abstract要約: レンズレス計測から3次元人のポーズや形状を復元する最初のエンドツーエンドフレームワークを提案する。 具体的には、レンズレス計測を復号化するためのマルチスケールレンズレス特徴デコーダを設計する。 また,人間の手足端推定精度を向上させるために,両頭補助補助機構を提案する。
• 参考スコア（独自算出の注目度）: 8.825656280347317
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Human pose and shape (HPS) estimation with lensless imaging is not only beneficial to privacy protection but also can be used in covert surveillance scenarios due to the small size and simple structure of this device. However, this task presents significant challenges due to the inherent ambiguity of the captured measurements and lacks effective methods for directly estimating human pose and shape from lensless data. In this paper, we propose the first end-to-end framework to recover 3D human poses and shapes from lensless measurements to our knowledge. We specifically design a multi-scale lensless feature decoder to decode the lensless measurements through the optically encoded mask for efficient feature extraction. We also propose a double-head auxiliary supervision mechanism to improve the estimation accuracy of human limb ends. Besides, we establish a lensless imaging system and verify the effectiveness of our method on various datasets acquired by our lensless imaging system.
• Abstract（参考訳）: レンズレス画像を用いたHPS(Human pose and shape)推定は、プライバシ保護に有用であるだけでなく、この装置の小型で単純な構造のため、隠蔽監視のシナリオにも利用できる。 しかし、この課題は、キャプチャーされた測定の本来のあいまいさと、レンズレスデータから人間のポーズや形状を直接推定する効果的な方法が欠如していることから、重大な課題を提起する。 本稿では,レンズレス計測から知識まで,人間の3次元ポーズと形状を復元する初のエンドツーエンドフレームワークを提案する。 具体的には、光学的に符号化されたマスクを用いてレンズレス計測をデコードし、効率的な特徴抽出を行うマルチスケールレンズレス特徴デコーダを設計する。 また,人間の手足端推定精度を向上させるために,両頭補助補助機構を提案する。 さらに、レンズレスイメージングシステムを構築し、レンズレスイメージングシステムによって取得された様々なデータセットに対して、本手法の有効性を検証する。

関連論文リスト

• Egocentric Whole-Body Motion Capture with FisheyeViT and Diffusion-Based Motion Refinement [65.08165593201437]
  本研究では,人体と手の動きを同時に推定する単一魚眼カメラを用いて,自我中心型全体モーションキャプチャーを探索する。 この課題は、高品質なデータセットの欠如、魚眼カメラの歪み、人間の身体の自己閉塞など、重大な課題を提起する。 そこで本研究では,魚眼画像の特徴を3次元人体ポーズ予測のための3次元熱マップ表現に変換した魚眼画像の特徴を抽出する手法を提案する。
  論文  参考訳（メタデータ） (2023-11-28T07:13:47Z)
• Multi-Modal Dataset Acquisition for Photometrically Challenging Object [56.30027922063559]
  本稿では,3次元視覚タスクにおける現在のデータセットの限界について,精度,サイズ,リアリズム,および光度に挑戦する対象に対する適切な画像モダリティの観点から検討する。 既存の3次元認識と6次元オブジェクトポーズデータセットを強化する新しいアノテーションと取得パイプラインを提案する。
  論文  参考訳（メタデータ） (2023-08-21T10:38:32Z)
• Neural Lens Modeling [50.57409162437732]
  NeuroLens(ニューロレンス)は、点投影と光線鋳造に使用できる歪みと磁化のための神経レンズモデルである。 古典的なキャリブレーションターゲットを使用してプリキャプチャのキャリブレーションを行うことができ、後に3D再構成の際にキャリブレーションやリファインメントを行うために使用できる。 このモデルは、多くのレンズタイプにまたがって一般化されており、既存の3D再構成とレンダリングシステムとの統合は容易である。
  論文  参考訳（メタデータ） (2023-04-10T20:09:17Z)
• Human-Imperceptible Identification with Learnable Lensless Imaging [12.571999330435801]
  認識精度を維持しながら、視覚的プライバシを保護する学習可能なレンズレスイメージングフレームワークを提案する。 得られた画像が人間に知覚できないようにするために, 総変動, 可逆性, 制限された等尺性に基づいて, いくつかの損失関数を設計した。
  論文  参考訳（メタデータ） (2023-02-04T22:58:46Z)
• The Differentiable Lens: Compound Lens Search over Glass Surfaces and Materials for Object Detection [42.00621716076439]
  ほとんどのカメラレンズシステムは、下流のコンピュータ手法とは独立して設計されている。 本稿では,レンズ設計の課題に対処する最適化手法を提案する。 具体的には,ガラス材料のエンド・ツー・エンドコンテキストでの最適化を容易にするために,定量化ガラス変数を導入する。
  論文  参考訳（メタデータ） (2022-12-08T18:01:17Z)
• Hand Gestures Recognition in Videos Taken with Lensless Camera [4.49422973940462]
  この研究はRaw3dNetというディープラーニングモデルを提案し、レンズレスカメラで撮影した生のビデオから直接手の動きを認識する。 計算資源の保存に加えて、復元不要な手法はプライバシ保護を提供する。
  論文  参考訳（メタデータ） (2022-10-15T08:52:49Z)
• Learning rich optical embeddings for privacy-preserving lensless image classification [17.169529483306103]
  我々は、光学系をエンコーダとしてキャストするユニークな多重化特性を利用して、カメラセンサーに直接学習した埋め込みを生成する。 画像分類の文脈では、エンコーダのパラメータと画像分類器のパラメータをエンドツーエンドで共同で最適化する。 我々の実験は、レンズレス光エンコーダとデジタル処理を共同で学習することで、センサーに低解像度の埋め込みが可能であることを示し、その結果、これらの測定から有意義な画像の復元がはるかに困難であることから、プライバシーが向上することを示している。
  論文  参考訳（メタデータ） (2022-06-03T07:38:09Z)
• Estimating Egocentric 3D Human Pose in Global Space [70.7272154474722]
  本稿では,魚眼カメラを用いた自己中心型3次元体姿勢推定法を提案する。 提案手法は, 定量的, 定性的に, 最先端の手法より優れている。
  論文  参考訳（メタデータ） (2021-04-27T20:01:57Z)
• Universal and Flexible Optical Aberration Correction Using Deep-Prior Based Deconvolution [51.274657266928315]
  そこで本研究では,収差画像とpsfマップを入力とし,レンズ固有深層プリエントを組み込んだ潜在高品質版を生成する,psf対応プラグイン・アンド・プレイ深層ネットワークを提案する。 具体的には、多彩なレンズの集合からベースモデルを事前訓練し、パラメータを迅速に精製して特定のレンズに適応させる。
  論文  参考訳（メタデータ） (2021-04-07T12:00:38Z)
• Untrained networks for compressive lensless photography [3.441021278275805]
  圧縮画像復元のための未学習ネットワークの利用を提案する。 我々の手法はラベル付きトレーニングデータを必要としないが、代わりに測定自体を使ってネットワークの重みを更新する。
  論文  参考訳（メタデータ） (2021-03-13T03:47:06Z)
• Single View Metrology in the Wild [94.7005246862618]
  本研究では,物体の3次元の高さや地上のカメラの高さで表現されるシーンの絶対的なスケールを再現する,単一ビューメロジに対する新しいアプローチを提案する。 本手法は,被写体の高さなどの3Dエンティティによる未知のカメラとの相互作用から,弱い教師付き制約を抑えるために設計されたディープネットワークによって学習されたデータ駆動の先行情報に依存する。 いくつかのデータセットと仮想オブジェクト挿入を含むアプリケーションに対して、最先端の定性的かつ定量的な結果を示す。
  論文  参考訳（メタデータ） (2020-07-18T22:31:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。