論文の概要: Integrated Sensing and Communications for Real-time Avatar Control in XR over 5G

• arxiv url: http://arxiv.org/abs/2606.23771v1
• Date: Mon, 22 Jun 2026 17:27:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-24 22:16:48.612936
• Title: Integrated Sensing and Communications for Real-time Avatar Control in XR over 5G
• Title（参考訳）: 5G以上のXRにおけるリアルタイムアバター制御のための統合センシングと通信
• Authors: Nabeel Nisar Bhat, Javad Sameri, Rreze Halili, Rafael Berkvens, Maria Torres Vega, Jeroen Famaey,
• Abstract要約: 拡張現実感(XR)は5Gと6Gネットワークにとって難しいユースケースである。 ハンドヘルドコントローラとカメラに基づく現在のXRインタラクションソリューションでは、フルボディのポーズを簡単にキャプチャすることはできない。 5Gミリ波(mmWave)統合センシング通信(ISAC)と表面筋電図(sEMG)信号を組み合わせたXR用マルチモーダルセンシングアーキテクチャを提案する。
• 参考スコア（独自算出の注目度）: 3.8468982193073757
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Extended Reality (XR) presents a challenging use case for 5G and 6G networks, requiring high data-rates and lowlatency communication to deliver a truly immersive experience. Moreover, in order to seamlessly translate physical actions to the virtual world, accurate gesture recognition and pose estimation are required. Current XR interaction solutions based on handheld controllers and cameras cannot easily capture full-body poses, inhibit the free use of hands, and require good visibility and a clear line of sight. In this work, we propose a multimodal sensing architecture for XR that combines 5G MillimeterWave (mmWave) Integrated sensing and communication (ISAC) and surface electromyography (sEMG) signals. 5G mmWave ISAC cannot only be used to deliver content wirelessly to the Head-mounted display (HMD), but also the same communication signals can be used to derive coarse body-level gestures and poses of the user, to support real-time avatar control. For fine-grained finger-level gestures, our architecture leverages lightweight sEMG sensors that capture forearm muscle activity. To illustrate the need of both modalities, we present evaluations of both sensing technologies. At the body level (5G), our architecture relies on power-per-beam-pair (PPBP), which can be computed from standard beam management or beam sweeping procedures of the 5G NR standard. PPBP-based sensing achieves 82.2$\pm$5.9% average accuracy when evaluated on users not seen during training. For fine-grained finger-level interactions, we show that surface electromyography (sEMG) carries strong discriminative information achieving consistent promising performance across different movement settings. Thus, combining the two modalities enables multi-scale gesture recognition, at the body level via existing 5G signals and finger level via lightweight sEMG sensors, forming a complete XR framework.
• Abstract（参考訳）: 拡張現実性(XR)は、5Gと6Gネットワークにとって難しいユースケースであり、真に没入感のある体験を提供するために、高いデータレートと低遅延通信を必要とする。 また、物理動作を仮想世界へシームレスに翻訳するためには、正確なジェスチャー認識とポーズ推定が必要である。 ハンドヘルドコントローラとカメラをベースとした現在のXRインタラクションソリューションでは、フルボディのポーズを容易に捉えたり、手の自由な使用を抑えたり、視界や視界の鮮明さが要求される。 本研究では、5Gミリ波(mmWave)統合センシング通信(ISAC)と表面筋電図(sEMG)信号を組み合わせたXR用マルチモーダルセンシングアーキテクチャを提案する。 5G mmWave ISACは、ヘッドマウントディスプレイ(HMD)にコンテンツをワイヤレスで配信するだけでなく、身体レベルの粗いジェスチャーやユーザのポーズを導出し、リアルタイムアバター制御をサポートするために、同じ通信信号を使用することもできる。 きめ細かい指レベルのジェスチャーでは、私たちのアーキテクチャは、前腕筋活動を捉える軽量のsEMGセンサーを活用しています。 両モダリティの必要性を説明するため,両センサ技術の評価を行った。 ボディレベル (5G) では, 標準ビーム管理や5G NR標準のビームスイーピング手順から計算できるパワー・パー・ビームペア (PPBP) に依存している。 PPBPベースのセンシングは、トレーニング中に見えないユーザに対して平均精度が82.2$\pm$5.9%に達する。 細粒度な指レベルの相互作用について, 表面筋電図(sEMG)は, 異なる動作環境において一貫した有望な性能を達成するために, 強い識別情報を伝達していることを示す。 したがって、この2つのモードを組み合わせることで、既存の5G信号と、軽量のsEMGセンサーによる指レベルを介して、身体レベルでのマルチスケールジェスチャー認識が可能となり、完全なXRフレームワークが形成される。

関連論文リスト

• RAWild: Sensor-Agnostic RAW Object Detection via Physics-Guided Curve and Grid Modeling [69.96407948879015]
  textbfRAWildは、センサに依存しないRAWオブジェクト検出のための物理誘導型グローバルローカルトーンマッピングフレームワークである。 我々は、様々なスペクトル感度、照度、センサ非理想性にまたがるリアルなセンサ出力を合成する物理ベースのRAWシミュレーションパイプラインを構築した。
  論文  参考訳（メタデータ） (2026-05-07T09:51:47Z)
• DexEMG: Towards Dexterous Teleoperation System via EMG2Pose Generalization [5.972698171130012]
  ロボットを非構造的な家庭環境に持ち込むには,高忠実なロボットハンドの遠隔操作が不可欠である。 表面筋電図(sEMG)を利用した軽量で費用対効果の高い遠隔操作システムの開発 本稿では,多様な遠隔操作タスクにおいて高精度なシステムを実現することを示す。
  論文  参考訳（メタデータ） (2026-03-06T03:36:33Z)
• Robotic Grasping and Placement Controlled by EEG-Based Hybrid Visual and Motor Imagery [64.82869118243723]
  本稿では,脳波に基づく視覚・運動画像(VI/MI)とロボット制御を統合し,リアルタイム・意図駆動型把握・配置を実現するフレームワークを提案する。 このシステムは、BCI駆動のロボット工学の約束に感銘を受けて、オフラインで事前訓練されたデコーダをゼロショットで展開することによって、ニューラルネットワークを物理的制御でブリッジする。
  論文  参考訳（メタデータ） (2026-03-03T17:41:42Z)
• Interpretable Multimodal Gesture Recognition for Drone and Mobile Robot Teleoperation via Log-Likelihood Ratio Fusion [14.332919759770645]
  視覚に基づくジェスチャー認識はハンズフリー遠隔操作の一手法として検討されている。 両手首にApple Watchの慣性データとカスタム手袋の容量感覚信号を統合するマルチモーダルジェスチャー認識フレームワークを提案する。 我々のフレームワークは、最先端のビジョンベースのベースラインに匹敵するパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2026-02-27T05:52:04Z)
• UniForce: A Unified Latent Force Model for Robot Manipulation with Diverse Tactile Sensors [51.88112610411651]
  そこで本研究では,多様な触覚センサにまたがる共用潜在力空間を学習する,新しい統合された触覚表現学習フレームワークを提案する。 UniForceは、逆ダイナミクス(image-to-force)とフォワードダイナミクス(force-to-image)を共同モデリングすることで、クロスセンサー領域シフトを低減する 高価な外部力/トルクセンサ(F/T)への依存を避けるため,静的平衡を利用して直接センサ・オブジェクト・センサ・インタラクションを介して力対効果データを収集する。
  論文  参考訳（メタデータ） (2026-02-01T11:03:01Z)
• emg2pose: A Large and Diverse Benchmark for Surface Electromyographic Hand Pose Estimation [12.566524562446467]
  信頼性と常に利用可能な手ポーズ推論は、人間とコンピュータの相互作用に対する新しい直感的な制御スキームをもたらす可能性がある。 装着可能な手首型表面筋電図(sEMG)は有望な代替手段である。 emg2poseは、高品質の手ポーズラベルと手首のsEMGレコードの公開データセットとして最大である。
  論文  参考訳（メタデータ） (2024-12-02T23:39:37Z)
• Agile gesture recognition for capacitive sensing devices: adapting on-the-job [55.40855017016652]
  本システムでは, コンデンサセンサからの信号を手の動き認識器に組み込んだ手動作認識システムを提案する。 コントローラは、着用者5本の指それぞれからリアルタイム信号を生成する。 機械学習技術を用いて時系列信号を解析し,500ms以内で5本の指を表現できる3つの特徴を同定する。
  論文  参考訳（メタデータ） (2023-05-12T17:24:02Z)
• DensePose From WiFi [86.61881052177228]
  WiFi信号の位相と振幅を24のヒト領域内の紫外線座標にマッピングするディープニューラルネットワークを開発した。 本モデルでは,複数の被験者の密集したポーズを,画像に基づくアプローチと同等の性能で推定することができる。
  論文  参考訳（メタデータ） (2022-12-31T16:48:43Z)
• Semantics-aware Adaptive Knowledge Distillation for Sensor-to-Vision Action Recognition [131.6328804788164]
  本稿では,視覚・センサ・モダリティ(動画)における行動認識を強化するためのフレームワーク,Semantics-Aware Adaptive Knowledge Distillation Networks (SAKDN)を提案する。 SAKDNは複数のウェアラブルセンサーを教師のモダリティとして使用し、RGB動画を学生のモダリティとして使用している。
  論文  参考訳（メタデータ） (2020-09-01T03:38:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。