論文の概要: RFMask: A Simple Baseline for Human Silhouette Segmentation with Radio Signals

• arxiv url: http://arxiv.org/abs/2201.10175v1
• Date: Tue, 25 Jan 2022 08:43:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-27 02:54:13.326428
• Title: RFMask: A Simple Baseline for Human Silhouette Segmentation with Radio Signals
• Title（参考訳）: RFMask: 無線信号を用いた人間のシルエットセグメンテーションのためのシンプルなベースライン
• Authors: Zhi Wu, Dongheng Zhang, Chunyang Xie, Cong Yu, Jinbo Chen, Yang Hu, Yan Chen
• Abstract要約: そこで本研究では,障害物を横切ることができ,照明条件の影響を受けない無線信号を用いてシルエットセグメンテーションを実現することを提案する。 提案するRFMaskフレームワークは3つのモジュールで構成されている。 804,760の無線フレームと402,380のカメラフレームを含むデータセットをさまざまな場面で収集した。
• 参考スコア（独自算出の注目度）: 9.663978351279422
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Human silhouette segmentation, which is originally defined in computer vision, has achieved promising results for understanding human activities. However, the physical limitation makes existing systems based on optical cameras suffer from severe performance degradation under low illumination, smoke, and/or opaque obstruction conditions. To overcome such limitations, in this paper, we propose to utilize the radio signals, which can traverse obstacles and are unaffected by the lighting conditions to achieve silhouette segmentation. The proposed RFMask framework is composed of three modules. It first transforms RF signals captured by millimeter wave radar on two planes into spatial domain and suppress interference with the signal processing module. Then, it locates human reflections on RF frames and extract features from surrounding signals with human detection module. Finally, the extracted features from RF frames are aggregated with an attention based mask generation module. To verify our proposed framework, we collect a dataset containing 804,760 radio frames and 402,380 camera frames with human activities under various scenes. Experimental results show that the proposed framework can achieve impressive human silhouette segmentation even under the challenging scenarios(such as low light and occlusion scenarios) where traditional optical-camera-based methods fail. To the best of our knowledge, this is the first investigation towards segmenting human silhouette based on millimeter wave signals. We hope that our work can serve as a baseline and inspire further research that perform vision tasks with radio signals. The dataset and codes will be made in public.
• Abstract（参考訳）: コンピュータビジョンで定義された人間のシルエットセグメンテーションは、人間の活動を理解する上で有望な結果を得た。 しかし、物理的制約により、光学カメラに基づく既存のシステムは、低照度、煙、不透明な障害条件下で性能が著しく低下する。 このような制約を克服するため,本稿では,障害物を回避し,照明条件に影響を受けない電波信号を用いてシルエットセグメンテーションを実現することを提案する。 提案するRFMaskフレームワークは3つのモジュールで構成されている。 まず、2つの平面上のミリ波レーダーで捉えたRF信号を空間領域に変換し、信号処理モジュールとの干渉を抑制する。 そして、RFフレーム上の人間の反射を検知し、人間の検出モジュールで周囲の信号から特徴を抽出する。 最後に、RFフレームから抽出した特徴を注目ベースのマスク生成モジュールで集約する。 提案手法を検証するため,804,760個の無線フレームと402,380個のカメラフレームを含むデータセットを,様々な場面で収集した。 実験の結果,従来の光学カメラベース手法が故障する困難なシナリオ(低光度シナリオや閉塞シナリオなど)においても,提案手法は印象的なヒトシルエットセグメンテーションを実現することができた。 我々の知る限りでは、これはミリ波信号に基づく人間のシルエットのセグメンテーションに向けた最初の研究である。 私たちの研究がベースラインとなり、無線信号で視覚タスクを実行するさらなる研究を刺激できることを願っています。 データセットとコードは公開されます。

関連論文リスト

• RF Challenge: The Data-Driven Radio Frequency Signal Separation Challenge [66.33067693672696]
  本稿では、新しいデータ駆動手法を用いて、高周波信号における干渉拒否の重大な問題に対処する。 まず、干渉除去アルゴリズムの開発と解析の基礎となる洞察に富んだ信号モデルを提案する。 第2に,さまざまなRF信号とコードテンプレートを備えた公開データセットであるRF Challengeを紹介する。 第3に,UNetやWaveNetなどのアーキテクチャにおいて,新しいAIに基づく拒絶アルゴリズムを提案し,その性能を8種類の信号混合タイプで評価する。
  論文  参考訳（メタデータ） (2024-09-13T13:53:41Z)
• Enabling Visual Recognition at Radio Frequency [13.399148413043411]
  PanoRadarは、RF分解能をLiDARに近づける新しいRFイメージングシステムである。 結果は、初めて、無線周波数での様々な視覚的認識タスクを可能にします。 以上の結果から,パノラダルの12棟の建物における堅牢な性能が示された。
  論文  参考訳（メタデータ） (2024-05-29T20:52:59Z)
• Diffusion Model is a Good Pose Estimator from 3D RF-Vision [32.72703340013302]
  無線周波数ビジョン(RF-vision)からのヒューマンポーズ推定(HPE)は、RF信号を用いて人間のセンシングを行う。 mmWaveレーダーは有望なRFビジョンセンサーとして登場し、RF信号を処理してレーダー点雲を提供する。 本研究は,ノイズレーダデータに適した新しい拡散型ポーズ推定器mmDiffを提案する。
  論文  参考訳（メタデータ） (2024-03-24T15:39:52Z)
• Multi-Space Neural Radiance Fields [74.46513422075438]
  既存のニューラルレージアンス場(NeRF)法は反射物体の存在に悩まされている。 並列部分空間における特徴場の群を用いてシーンを表現するマルチスペースニューラルレイディアンス場(MS-NeRF)を提案する。 提案手法は,高品質シーンのレンダリングにおいて,既存の単一空間NeRF法よりも優れていた。
  論文  参考訳（メタデータ） (2023-05-07T13:11:07Z)
• DensePose From WiFi [86.61881052177228]
  WiFi信号の位相と振幅を24のヒト領域内の紫外線座標にマッピングするディープニューラルネットワークを開発した。 本モデルでは,複数の被験者の密集したポーズを,画像に基づくアプローチと同等の性能で推定することができる。
  論文  参考訳（メタデータ） (2022-12-31T16:48:43Z)
• HuPR: A Benchmark for Human Pose Estimation Using Millimeter Wave Radar [30.51398364813315]
  本稿では,ミリ波レーダを用いた人間のポーズ推定ベンチマーク「Human Pose with Millimeter Wave Radar (HuPR)」を紹介する。 このデータセットは、レーダに基づく人間のポーズ推定のクロスモダリティトレーニングのために、クロスキャリブレーションされたmmWaveレーダセンサとモノクラーRGBカメラを用いて作成される。
  論文  参考訳（メタデータ） (2022-10-22T22:28:40Z)
• Differentiable Frequency-based Disentanglement for Aerial Video Action Recognition [56.91538445510214]
  ビデオにおける人間の行動認識のための学習アルゴリズムを提案する。 我々のアプローチは、主に斜めに配置されたダイナミックカメラから取得されるUAVビデオのために設計されている。 我々はUAV HumanデータセットとNEC Droneデータセットについて広範な実験を行った。
  論文  参考訳（メタデータ） (2022-09-15T22:16:52Z)
• Spatial-Temporal Frequency Forgery Clue for Video Forgery Detection in VIS and NIR Scenario [87.72258480670627]
  既存の周波数領域に基づく顔偽造検出手法では、GAN鍛造画像は、実際の画像と比較して、周波数スペクトルに明らかな格子状の視覚的アーチファクトを持つ。 本稿では,コサイン変換に基づくフォージェリークリュー拡張ネットワーク(FCAN-DCT)を提案し,より包括的な時空間特徴表現を実現する。
  論文  参考訳（メタデータ） (2022-07-05T09:27:53Z)
• Human Silhouette and Skeleton Video Synthesis through Wi-Fi signals [24.313281453214614]
  本稿では,無線データを視覚的特徴に効果的にマッピングする2分岐生成ニューラルネットワークを提案する。 トレーニング後,Wi-Fi信号のみを用いてヒトのシルエットと骨格映像を合成する手法を提案する。
  論文  参考訳（メタデータ） (2022-03-11T11:40:34Z)
• Wavelet-Based Network For High Dynamic Range Imaging [64.66969585951207]
  光学フローベースやエンド・ツー・エンドのディープラーニングベースのソリューションのような既存の方法は、詳細な復元やゴーストを除去する際にエラーを起こしやすい。 本研究では、周波数領域でHDR融合を行うための新しい周波数誘導型エンド・ツー・エンドディープニューラルネットワーク(FNet)を提案し、ウェーブレット変換(DWT)を用いて入力を異なる周波数帯域に分解する。 低周波信号は特定のゴーストアーティファクトを避けるために使用され、高周波信号は詳細を保存するために使用される。
  論文  参考訳（メタデータ） (2021-08-03T12:26:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。