論文の概要: RF-HOI: Recognize Human-Object Interaction with Radio Frequency Signals
- arxiv url: http://arxiv.org/abs/2608.00289v1
- Date: Fri, 31 Jul 2026 20:58:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-06 07:04:20.662707
- Title: RF-HOI: Recognize Human-Object Interaction with Radio Frequency Signals
- Title（参考訳）: RF-HOI:電波信号と人間と物体の相互作用を認識する
- Abstract要約: 本稿では,無線周波数(RF)信号のみをHOI認識に用いる最初のフレームワークであるRF-HOIを紹介する。
RF-HOIの重要な課題は、単一モードのRFセンシングが、アクションと相互作用対象の両方を認識するのに不十分であることである。
我々は,多モードRFデータを大規模に合成するシミュレータを開発した。
- 参考スコア（独自算出の注目度）: 19.108452211899984
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Recognizing Human-Object Interactions (HOI) is essential for intelligent systems, underpinning applications in virtual and augmented reality, embodied AI, and assistive robotics. However, vision-based HOI methods face challenges in privacy concerns and poor light conditions. In this work, we introduce RF-HOI, the first framework that only uses radio frequency (RF) signals for HOI recognition. A key challenge of RF-HOI is that single-modality RF sensing is insufficient to recognize both actions and the objects being interacted with. RF-HOI addresses this through a novel modality fusion that combines mmWave radar and RFID, enabling simultaneous action recognition and target identification. Another challenge is limited training data across diverse setups, which impairs the generalizability of the recognition model. To overcome this, we develop a simulator that synthesizes multimodal RF data for diverse HOIs at scale, allowing us to fine-tune with only a small amount of real-world data. Experiment results show that RF-HOI outperforms all baselines, approaching vision model performance, and that our diverse synthetic training data can significantly boost our system's performance on real-world scenarios. These results highlight the potential of multimodal RF sensing for robust and privacy-preserving HOI recognition as well as the effectiveness of our RF data synthesis.
- Abstract（参考訳）: ヒューマン・オブジェクト・インタラクション(HOI)の認識は、インテリジェントなシステム、バーチャルおよび拡張現実の応用、具体化されたAI、補助ロボット工学に不可欠である。
しかし、視覚に基づくHOI法は、プライバシーの懸念や光環境の悪化といった問題に直面している。
本研究では,無線周波数(RF)信号のみをHOI認識に用いる最初のフレームワークであるRF-HOIを紹介する。
RF-HOIの重要な課題は、単一モードのRFセンシングが、アクションと相互作用対象の両方を認識するのに不十分であることである。
RF-HOIはmmWaveレーダーとRFIDを組み合わせた新しいモダリティ融合によってこの問題に対処し、同時に行動認識と標的識別を可能にする。
もうひとつの課題は、さまざまな設定のトレーニングデータを制限することであり、認識モデルの一般化性を損なう。
そこで本研究では,マルチモーダルRFデータを大規模に合成するシミュレータを開発した。
実験の結果,RF-HOIはすべてのベースラインを上回り,視覚モデルの性能に近づいた。
これらの結果は、堅牢かつプライバシー保護されたHOI認識のためのマルチモーダルRFセンシングの可能性と、RFデータ合成の有効性を浮き彫りにした。
関連論文リスト
- Semantically Annotated Multimodal Dataset for RF Interpretation and Prediction [4.872063946977515]
無線モデリングとRF(Radio frequency)ベースのAIの現在の制限は、RF信号を物理的な環境に接続する高品質な計測ベースのデータセットの欠如によって引き起こされている。
本稿では,RF計測と高分解能カメラやライダーなどの補助的モダリティを組み合わせることで,RF信号と物理的原因とのギャップを埋める新しいマルチモーダルデータセットを提案する。
論文 参考訳（メタデータ） (2026-04-01T22:18:01Z) - Zero-shot HOI Detection with MLLM-based Detector-agnostic Interaction Recognition [71.5328300638085]
Zero-shot Human-Object Interaction (HOI) は、画像中の人間と物体を特定し、その相互作用を認識することを目的としている。
2段階法を含む既存の手法は、特定の検出器との相互作用認識を密に結合する。
本稿では、オブジェクト検出をIRから分離し、マルチモーダル大言語モデル(MLLM)をゼロショットIRに活用する分離フレームワークを提案する。
論文 参考訳（メタデータ） (2026-02-16T19:01:31Z) - Achieving Effective Virtual Reality Interactions via Acoustic Gesture Recognition based on Large Language Models [11.630591232366255]
視覚に基づくジェスチャー認識は、高い計算コスト、照明条件への感受性、プライバシー漏洩の懸念に悩まされている。
難聴の高周波信号を出力し反射を捉え、チャネルインパルス応答(CIR)を符号化することで、ジェスチャーが音場を低コストでユーザ透明な方法で摂動する方法を符号化する。
本稿では,VR/ARシステムにおけるCIRに基づくジェスチャー認識のための大規模言語モデル(LLM)を利用する最初のフレームワークを提案する。
論文 参考訳（メタデータ） (2025-11-10T13:19:58Z) - Scalable RF Simulation in Generative 4D Worlds [12.977761033016503]
WaveVerseはプロンプトベースでスケーラブルなフレームワークで、生成された屋内シーンのリアルなRF信号を人間の動きでシミュレートする。
条件付き人体運動生成におけるアプローチの有効性を実証し,ビームフォーミングと呼吸監視に位相コヒーレンスがどのように適用されているかを明らかにする。
論文 参考訳（メタデータ） (2025-08-16T23:02:14Z) - Rydberg Atomic Quantum Receivers for Classical Wireless Communications and Sensing: Their Models and Performance [78.76421728334013]
ライドバーグ原子量子受信機(Rydberg atomic quantum receivers, RAQRs)は、高周波(RF)信号の電界を検出するための卓越した溶液である。
本稿では,無線コミュニティに対して,エンドツーエンドの受信方式を提示することでRAQRを導入する。
次に,現実的な受信フローに依存する等価なベースバンド信号モデルを開発する。
論文 参考訳（メタデータ） (2024-12-07T06:25:54Z) - Rydberg Atomic Quantum Receivers for Classical Wireless Communication and Sensing [71.94873601156017]
Rydberg 原子量子受信機 (RAQR) は、高周波(RF)信号を受信するように設計された量子精密センシングプラットフォームを新たに開発している。
RAQRは光-原子相互作用に基づくRF-光変換を実現する。
初期の実験的研究は、古典的な無線通信とセンシングにおけるその能力を実証した。
論文 参考訳（メタデータ） (2024-09-22T15:55:02Z) - RF Challenge: The Data-Driven Radio Frequency Signal Separation Challenge [66.33067693672696]
本稿では、深層学習手法を利用したデータ駆動手法を用いて、高周波信号における干渉拒否の重大な問題に対処する。
本論文の主な貢献は、RF信号データセットであるRF Challengeの導入である。
論文 参考訳（メタデータ） (2024-09-13T13:53:41Z) - Physical-Layer Semantic-Aware Network for Zero-Shot Wireless Sensing [74.12670841657038]
デバイスレスワイヤレスセンシングは、幅広い没入型人間機械対話型アプリケーションをサポートする可能性から、近年、大きな関心を集めている。
無線信号におけるデータの均一性と分散センシングにおけるデータプライバシ規制は、広域ネットワークシステムにおける無線センシングの広範な適用を妨げる主要な課題であると考えられている。
そこで本研究では,ラベル付きデータを使わずに,一箇所ないし限られた箇所で構築されたモデルを直接他の場所に転送できるゼロショット無線センシングソリューションを提案する。
論文 参考訳（メタデータ） (2023-12-08T13:50:30Z) - Robust Semi-supervised Federated Learning for Images Automatic
Recognition in Internet of Drones [57.468730437381076]
プライバシー保護型UAV画像認識のための半教師付きフェデレートラーニング(SSFL)フレームワークを提案する。
異なるカメラモジュールを使用したUAVによって収集されたローカルデータの数、特徴、分布には大きな違いがある。
本稿では,クライアントがトレーニングに参加する頻度,すなわちFedFreqアグリゲーションルールに基づくアグリゲーションルールを提案する。
論文 参考訳（メタデータ） (2022-01-03T16:49:33Z) - RF-Net: a Unified Meta-learning Framework for RF-enabled One-shot Human
Activity Recognition [9.135311655929366]
デバイスフリー(または非接触)センシングは、デバイスベース(またはウェアラブル)センシングよりも環境変化に敏感である。
RF-HARの既存のソリューションは、新しい環境に適応するための努力的なデータ収集プロセスを必要とする。
本稿では,1ショットのRF-HARに対するメタラーニングに基づくアプローチとしてRF-Netを提案する。
論文 参考訳（メタデータ） (2021-10-29T01:58:29Z) - Robotic Grasping of Fully-Occluded Objects using RF Perception [18.339320861642722]
RF-Graspは、非構造環境において、完全に隠された物体を把握できるロボットシステムである。
RF-Graspは、アイインハンドカメラと、関心のあるオブジェクトに添付されたバッテリーレスRFIDタグに依存します。
論文 参考訳（メタデータ） (2020-12-31T04:01:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。