論文の概要: OCHID-Fi: Occlusion-Robust Hand Pose Estimation in 3D via RF-Vision
- arxiv url: http://arxiv.org/abs/2308.10146v1
- Date: Sun, 20 Aug 2023 03:13:17 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-22 17:27:40.126328
- Title: OCHID-Fi: Occlusion-Robust Hand Pose Estimation in 3D via RF-Vision
- Title（参考訳）: OCHID-Fi:RF-Visionによる3次元の閉塞・腐食性ハンドポース推定
- Authors: Shujie Zhang, Tianyue Zheng, Zhe Chen, Jingzhi Hu, Abdelwahed Khamis,
Jiajun Liu and Jun Luo
- Abstract要約: 3次元ポーズ推定機能を備えた最初のRF-HPE法としてOCHID-Fiを導入する。
OCHID-Fiは、スマートデバイスで広く利用可能な広帯域RFセンサーを使用して、3Dの手のポーズを探索し、障害物の背後にある骨格を抽出する。
事前訓練されたCM-HPEネットワークと同期されたCM/RFデータセットを使用して、複雑な値のRF-HPEネットワークをLoS条件下でトレーニングする。
- 参考スコア（独自算出の注目度）: 13.818421857378015
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Hand Pose Estimation (HPE) is crucial to many applications, but conventional
cameras-based CM-HPE methods are completely subject to Line-of-Sight (LoS), as
cameras cannot capture occluded objects. In this paper, we propose to exploit
Radio-Frequency-Vision (RF-vision) capable of bypassing obstacles for achieving
occluded HPE, and we introduce OCHID-Fi as the first RF-HPE method with 3D pose
estimation capability. OCHID-Fi employs wideband RF sensors widely available on
smart devices (e.g., iPhones) to probe 3D human hand pose and extract their
skeletons behind obstacles. To overcome the challenge in labeling RF imaging
given its human incomprehensible nature, OCHID-Fi employs a cross-modality and
cross-domain training process. It uses a pre-trained CM-HPE network and a
synchronized CM/RF dataset, to guide the training of its complex-valued RF-HPE
network under LoS conditions. It further transfers knowledge learned from
labeled LoS domain to unlabeled occluded domain via adversarial learning,
enabling OCHID-Fi to generalize to unseen occluded scenarios. Experimental
results demonstrate the superiority of OCHID-Fi: it achieves comparable
accuracy to CM-HPE under normal conditions while maintaining such accuracy even
in occluded scenarios, with empirical evidence for its generalizability to new
domains.
- Abstract（参考訳）: HPE(Hand Pose Estimation)は多くの応用において重要であるが、従来のカメラベースのCM-HPE法は、カメラが隠蔽対象を捕捉できないため、Line-of-Sight(LoS)に完全に従属する。
本稿では,遮蔽hpeを実現するために障害物をバイパスする無線周波数ビジョン(rf-vision)を活用し,3次元ポーズ推定能力を持つ最初のrf-hpe法としてocd-fiを導入する。
OCHID-Fiは、スマートデバイス(例えばiPhone)で広く利用可能な広帯域RFセンサーを使用して、3Dの手のポーズを探索し、障害物の背後にある骨格を抽出する。
人間の理解不能な性質からRFイメージングのラベル付けの課題を克服するため、OCHID-Fiはクロスモダリティとクロスドメイントレーニングプロセスを採用している。
事前訓練されたCM-HPEネットワークと同期されたCM/RFデータセットを使用して、複雑な値のRF-HPEネットワークをLoS条件下でトレーニングする。
さらに、ラベル付きLoSドメインから学習した知識を、敵の学習を通じてラベルなしの隠蔽ドメインに転送する。
実験により, OCHID-Fiの精度は通常の条件下ではCM-HPEと同等であり, 隠蔽シナリオにおいてもその精度を維持し, 新領域への一般化性を示す実証的証拠が得られた。
関連論文リスト
- Multi-Stage Fusion Architecture for Small-Drone Localization and Identification Using Passive RF and EO Imagery: A Case Study [0.1872664641238533]
本研究では、受動無線周波数(RF)と電気光学(EO)画像データを用いた多段階融合アーキテクチャを開発する。
教師なしの深層学習に基づく手法と、教師なしの地上/後方分離手法を探索し、挑戦的な環境に対処する。
提案した融合アーキテクチャを検証し,その範囲で追跡性能を定量化する。
論文 参考訳（メタデータ） (2024-03-30T22:53:28Z) - Diffusion Model is a Good Pose Estimator from 3D RF-Vision [32.72703340013302]
無線周波数ビジョン(RF-vision)からのヒューマンポーズ推定(HPE)は、RF信号を用いて人間のセンシングを行う。
mmWaveレーダーは有望なRFビジョンセンサーとして登場し、RF信号を処理してレーダー点雲を提供する。
本研究は,ノイズレーダデータに適した新しい拡散型ポーズ推定器mmDiffを提案する。
論文 参考訳（メタデータ） (2024-03-24T15:39:52Z) - Shielding the Unseen: Privacy Protection through Poisoning NeRF with
Spatial Deformation [59.302770084115814]
本稿では,Neural Radiance Fields(NeRF)モデルの生成機能に対して,ユーザのプライバシを保護する革新的な手法を提案する。
我々の新しい中毒攻撃法は、人間の目では認識できないが、NeRFが正確に3Dシーンを再構築する能力を損なうのに十分強力である観察ビューの変化を誘発する。
我々は、高品質の画像を含む29の現実世界シーンからなる2つの共通のNeRFベンチマークデータセットに対して、我々のアプローチを広範囲に検証した。
論文 参考訳（メタデータ） (2023-10-04T19:35:56Z) - Weakly Supervised Multi-Modal 3D Human Body Pose Estimation for
Autonomous Driving [0.5735035463793008]
3次元の人間のポーズ推定は、自動運転車(AV)が重要な道路シナリオにおいて情報的決定を行い、積極的に対応できるようにするために不可欠である。
カメラとLiDARデータを高レベルなセンサーで融合させることにより,AV環境下での3次元HPEの簡易かつ効率的な制御手法を提案する。
当社のアプローチは、弱教師付き環境でのオープンデータセットにおいて、最先端の結果を最大13%$simで上回ります。
論文 参考訳（メタデータ） (2023-07-27T14:28:50Z) - NeRF-Det: Learning Geometry-Aware Volumetric Representation for
Multi-View 3D Object Detection [65.02633277884911]
提案するNeRF-Detは,RGB画像を入力として室内3次元検出を行う新しい手法である。
提案手法は3次元形状を明示的に推定するため, エンドツーエンドでNeRFを用いて3次元検出性能を向上する。
論文 参考訳（メタデータ） (2023-07-27T04:36:16Z) - Registering Neural Radiance Fields as 3D Density Images [55.64859832225061]
我々は,様々な場面でトレーニングやテストが可能な,普遍的な事前学習型ニューラルネットワークを提案する。
我々は,グローバルアプローチとして,NeRFモデルを効果的に登録できることを実証した。
論文 参考訳（メタデータ） (2023-05-22T09:08:46Z) - Robo3D: Towards Robust and Reliable 3D Perception against Corruptions [58.306694836881235]
我々は,3次元検出器とセグメンタのロバスト性を,アウト・オブ・ディストリビューションのシナリオで検証するための,最初の総合的なベンチマークであるRobo3Dを紹介する。
気象条件の悪化,外乱,センサの故障などに起因する8種類の汚職について検討した。
本稿では,モデルレジリエンスを高めるための簡易なフレキシブルなボキセル化戦略とともに,密度に敏感なトレーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2023-03-30T17:59:17Z) - M3FAS: An Accurate and Robust MultiModal Mobile Face Anti-Spoofing System [39.37647248710612]
フェイスプレゼンテーションアタック(FPA)は、様々な悪意あるアプリケーションを通じて、公衆の懸念を高めている。
我々は,M3FASという,正確で堅牢なマルチモーダル・モバイル・フェイス・アンチ・スポーフィングシステムを開発した。
論文 参考訳（メタデータ） (2023-01-30T12:37:04Z) - DensePose From WiFi [86.61881052177228]
WiFi信号の位相と振幅を24のヒト領域内の紫外線座標にマッピングするディープニューラルネットワークを開発した。
本モデルでは,複数の被験者の密集したポーズを,画像に基づくアプローチと同等の性能で推定することができる。
論文 参考訳（メタデータ） (2022-12-31T16:48:43Z) - Semi-Perspective Decoupled Heatmaps for 3D Robot Pose Estimation from
Depth Maps [66.24554680709417]
協調環境における労働者とロボットの正確な3D位置を知ることは、いくつかの実際のアプリケーションを可能にする。
本研究では、深度デバイスと深度ニューラルネットワークに基づく非侵襲的なフレームワークを提案し、外部カメラからロボットの3次元ポーズを推定する。
論文 参考訳（メタデータ） (2022-07-06T08:52:12Z) - Robotic Grasping of Fully-Occluded Objects using RF Perception [18.339320861642722]
RF-Graspは、非構造環境において、完全に隠された物体を把握できるロボットシステムである。
RF-Graspは、アイインハンドカメラと、関心のあるオブジェクトに添付されたバッテリーレスRFIDタグに依存します。
論文 参考訳（メタデータ） (2020-12-31T04:01:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。