論文の概要: Human Silhouette and Skeleton Video Synthesis through Wi-Fi signals
- arxiv url: http://arxiv.org/abs/2203.05864v1
- Date: Fri, 11 Mar 2022 11:40:34 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-14 11:52:50.339783
- Title: Human Silhouette and Skeleton Video Synthesis through Wi-Fi signals
- Title（参考訳）: wi-fi信号によるヒトシルエットと骨格ビデオ合成
- Authors: Danilo Avola, Marco Cascio, Luigi Cinque, Alessio Fagioli and Gian
Luca Foresti
- Abstract要約: 本稿では,無線データを視覚的特徴に効果的にマッピングする2分岐生成ニューラルネットワークを提案する。
トレーニング後,Wi-Fi信号のみを用いてヒトのシルエットと骨格映像を合成する手法を提案する。
- 参考スコア（独自算出の注目度）: 24.313281453214614
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The increasing availability of wireless access points (APs) is leading
towards human sensing applications based on Wi-Fi signals as support or
alternative tools to the widespread visual sensors, where the signals enable to
address well-known vision-related problems such as illumination changes or
occlusions. Indeed, using image synthesis techniques to translate radio
frequencies to the visible spectrum can become essential to obtain otherwise
unavailable visual data. This domain-to-domain translation is feasible because
both objects and people affect electromagnetic waves, causing radio and optical
frequencies variations. In literature, models capable of inferring
radio-to-visual features mappings have gained momentum in the last few years
since frequency changes can be observed in the radio domain through the channel
state information (CSI) of Wi-Fi APs, enabling signal-based feature extraction,
e.g., amplitude. On this account, this paper presents a novel two-branch
generative neural network that effectively maps radio data into visual
features, following a teacher-student design that exploits a cross-modality
supervision strategy. The latter conditions signal-based features in the visual
domain to completely replace visual data. Once trained, the proposed method
synthesizes human silhouette and skeleton videos using exclusively Wi-Fi
signals. The approach is evaluated on publicly available data, where it obtains
remarkable results for both silhouette and skeleton videos generation,
demonstrating the effectiveness of the proposed cross-modality supervision
strategy.
- Abstract（参考訳）: 無線アクセスポイント(AP)の可用性の高まりは、Wi-Fi信号に基づく人間のセンシングアプリケーションを、広汎な視覚センサのサポートや代替ツールとして活用し、照明の変化や閉塞といった、よく知られた視覚関連問題に対処することを可能にする。
実際、画像合成技術を用いて無線周波数を可視光スペクトルに変換することは、利用できない視覚データを得るのに不可欠である。
このドメイン間変換は、物体と人の両方が電磁波に影響し、電波と光の周波数のばらつきを引き起こすため実現可能である。
文献では、Wi-Fi APのチャネル状態情報(CSI)を介して周波数変化が観測され、振幅などの信号に基づく特徴抽出を可能にするため、近年、無線と視覚の特徴マッピングを推測できるモデルが勢いを増している。
そこで本論文では,教師が指導する視覚的特徴に無線データを効果的にマッピングする2分岐型生成ニューラルネットを提案する。
後者は、視覚データを完全に置き換えるために、視覚領域の信号ベースの特徴を規定する。
トレーニング後,Wi-Fi信号のみを用いてヒトのシルエットと骨格ビデオの合成を行う。
このアプローチは公開データに基づいて評価され、シルエットとスケルトンビデオの生成において顕著な結果が得られ、提案したクロスモダリティ監視戦略の有効性を実証する。
関連論文リスト
- ViFi-ReID: A Two-Stream Vision-WiFi Multimodal Approach for Person Re-identification [3.3743041904085125]
人物再識別(ReID)は、安全検査、人員計数などにおいて重要な役割を担っている。
現在のReIDアプローチのほとんどは、主に目的条件の影響を受けやすい画像から特徴を抽出する。
我々は、Wi-Fi信号のチャネル状態情報(CSI)を介して歩行者からの歩行情報をキャプチャすることで、広く利用可能なルータをセンサデバイスとして活用する。
論文 参考訳（メタデータ） (2024-10-13T15:34:11Z) - Physical-Layer Semantic-Aware Network for Zero-Shot Wireless Sensing [74.12670841657038]
デバイスレスワイヤレスセンシングは、幅広い没入型人間機械対話型アプリケーションをサポートする可能性から、近年、大きな関心を集めている。
無線信号におけるデータの均一性と分散センシングにおけるデータプライバシ規制は、広域ネットワークシステムにおける無線センシングの広範な適用を妨げる主要な課題であると考えられている。
そこで本研究では,ラベル付きデータを使わずに,一箇所ないし限られた箇所で構築されたモデルを直接他の場所に転送できるゼロショット無線センシングソリューションを提案する。
論文 参考訳（メタデータ） (2023-12-08T13:50:30Z) - DensePose From WiFi [86.61881052177228]
WiFi信号の位相と振幅を24のヒト領域内の紫外線座標にマッピングするディープニューラルネットワークを開発した。
本モデルでは,複数の被験者の密集したポーズを,画像に基づくアプローチと同等の性能で推定することができる。
論文 参考訳（メタデータ） (2022-12-31T16:48:43Z) - Multi-task Learning Approach for Modulation and Wireless Signal
Classification for 5G and Beyond: Edge Deployment via Model Compression [1.218340575383456]
将来的な通信網は、異種無線デバイスの成長に対応するために、少ないスペクトルに対処する必要がある。
我々は、深層ニューラルネットワークに基づくマルチタスク学習フレームワークの可能性を利用して、変調と信号分類タスクを同時に学習する。
公共利用のための包括的ヘテロジニアス無線信号データセットを提供する。
論文 参考訳（メタデータ） (2022-02-26T14:51:02Z) - Self-Supervised Radio-Visual Representation Learning for 6G Sensing [1.9766522384767227]
将来の6Gセルネットワークでは、共同通信およびセンシングプロトコルにより、ネットワークが環境を知覚できるようになる。
人間の介入を最小限に抑えて無線のみのセンシングモデルを自動的に学習するために,無線と視覚を組み合わせることを提案する。
論文 参考訳（メタデータ） (2021-11-01T12:23:47Z) - Unsupervised Person Re-Identification with Wireless Positioning under
Weak Scene Labeling [131.18390399368997]
本稿では、弱いシーンラベリングの下で、視覚データと無線位置決めトラジェクトリの両方を用いて、教師なしの人物再識別を探索することを提案する。
具体的には、視覚データと無線情報の相補性をモデル化した、新しい教師なしマルチモーダルトレーニングフレームワーク(UMTF)を提案する。
我々のUMTFには、MMDA(Multimodal Data Association Strategy)とMMGN(Multimodal Graph Neural Network)が含まれている。
論文 参考訳（メタデータ） (2021-10-29T08:25:44Z) - Audio-visual Representation Learning for Anomaly Events Detection in
Crowds [119.72951028190586]
本稿では,音声と視覚信号の同時モデリングにおけるマルチモーダル学習の活用を試みる。
監視シーンにおける合成音声視覚データセットであるSHADEデータセットについて実験を行った。
音声信号の導入は,異常事象の検出性能を効果的に向上し,他の最先端手法よりも優れることがわかった。
論文 参考訳（メタデータ） (2021-10-28T02:42:48Z) - Integrating Sensing and Communication in Cellular Networks via NR
Sidelink [7.42576783544779]
我々は、その角度と回転依存性であるサイドリンクベースのRFセンシングに関する共通の問題について議論する。
本稿では,データの提案時間的特徴を捉えるためのグラフベースのエンコーダと,多角学習のための4つのアプローチを提案する。
論文 参考訳（メタデータ） (2021-09-15T12:41:31Z) - Semantics-aware Adaptive Knowledge Distillation for Sensor-to-Vision
Action Recognition [131.6328804788164]
本稿では,視覚・センサ・モダリティ(動画)における行動認識を強化するためのフレームワーク,Semantics-Aware Adaptive Knowledge Distillation Networks (SAKDN)を提案する。
SAKDNは複数のウェアラブルセンサーを教師のモダリティとして使用し、RGB動画を学生のモダリティとして使用している。
論文 参考訳（メタデータ） (2020-09-01T03:38:31Z) - Vision Meets Wireless Positioning: Effective Person Re-identification
with Recurrent Context Propagation [120.18969251405485]
既存の人物再識別方法は、歩行者を捕獲する視覚センサーに依存している。
携帯電話は、無線測位信号の形で、WiFiや携帯電話ネットワークによって感知することができる。
本稿では,視覚データと無線位置決めデータの間で情報伝達を可能にする新しいコンテキスト伝搬モジュールを提案する。
論文 参考訳（メタデータ） (2020-08-10T14:19:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。