論文の概要: Multimodal Transformers for Wireless Communications: A Case Study in Beam Prediction

• arxiv url: http://arxiv.org/abs/2309.11811v1
• Date: Thu, 21 Sep 2023 06:29:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-22 16:40:23.211412
• Title: Multimodal Transformers for Wireless Communications: A Case Study in Beam Prediction
• Title（参考訳）: 無線通信用マルチモーダルトランス : ビーム予測の事例研究
• Authors: Yu Tian, Qiyang Zhao, Zine el abidine Kherroubi, Fouzi Boukhalfa, Kebin Wu, Faouzi Bader
• Abstract要約: センシング支援ビーム予測のためのマルチモーダルトランスフォーマー深層学習フレームワークを提案する。 我々は畳み込みニューラルネットワークを用いて、時間とともにサンプリングされた画像、点雲、レーダー生データから特徴を抽出する。 実験結果から、画像とGPSデータに基づいてトレーニングしたソリューションは、予測されたビームの最高の距離ベース精度を78.44%に向上させることがわかった。
• 参考スコア（独自算出の注目度）: 7.727175654790777
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Wireless communications at high-frequency bands with large antenna arrays face challenges in beam management, which can potentially be improved by multimodality sensing information from cameras, LiDAR, radar, and GPS. In this paper, we present a multimodal transformer deep learning framework for sensing-assisted beam prediction. We employ a convolutional neural network to extract the features from a sequence of images, point clouds, and radar raw data sampled over time. At each convolutional layer, we use transformer encoders to learn the hidden relations between feature tokens from different modalities and time instances over abstraction space and produce encoded vectors for the next-level feature extraction. We train the model on a combination of different modalities with supervised learning. We try to enhance the model over imbalanced data by utilizing focal loss and exponential moving average. We also evaluate data processing and augmentation techniques such as image enhancement, segmentation, background filtering, multimodal data flipping, radar signal transformation, and GPS angle calibration. Experimental results show that our solution trained on image and GPS data produces the best distance-based accuracy of predicted beams at 78.44%, with effective generalization to unseen day scenarios near 73% and night scenarios over 84%. This outperforms using other modalities and arbitrary data processing techniques, which demonstrates the effectiveness of transformers with feature fusion in performing radio beam prediction from images and GPS. Furthermore, our solution could be pretrained from large sequences of multimodality wireless data, on fine-tuning for multiple downstream radio network tasks.
• Abstract（参考訳）: 大きなアンテナアレイを持つ高周波帯域での無線通信は、ビーム管理の課題に直面しており、カメラ、LiDAR、レーダー、GPSからのマルチモーダルセンシング情報によって改善される可能性がある。 本稿では,センシング支援ビーム予測のためのマルチモーダルトランスフォーマー深層学習フレームワークを提案する。 我々は畳み込みニューラルネットワークを用いて、時間とともにサンプリングされた画像、点雲、レーダー生データから特徴を抽出する。 各畳み込み層では、トランスフォーマーエンコーダを用いて、異なるモダリティから特徴トークンと抽象空間上の時間インスタンスの間の隠れた関係を学習し、次レベルの特徴抽出のための符号化ベクトルを生成する。 我々は、異なるモダリティと教師あり学習の組み合わせでモデルを訓練する。 我々は、焦点損失と指数的移動平均を利用して、不均衡データよりもモデルを強化することを試みる。 また,画像強調,セグメンテーション,バックグラウンドフィルタリング,マルチモーダルデータフリップ,レーダ信号変換,GPS角校正などのデータ処理および拡張技術の評価を行った。 実験の結果,画像とGPSデータに基づいてトレーニングしたソリューションは,予測されたビームの最高の距離ベース精度を78.44%で達成し,日中の73%,夜時の84%以上の日時のシナリオを効果的に一般化した。 これは他のモダリティや任意のデータ処理技術よりも優れており、画像やGPSから電波ビーム予測を行う際の特徴融合による変換器の有効性を示す。 さらに,複数のダウンストリーム無線ネットワークタスクを微調整することで,マルチモダリティ無線データの大規模シーケンスからソリューションを事前学習することができる。

関連論文リスト

• ViT LoS V2X: Vision Transformers for Environment-aware LoS Blockage Prediction for 6G Vehicular Networks [20.953587995374168]
  我々は、畳み込みニューラルネットワーク(CNN)とカスタマイズされた視覚変換器(ViT)を組み合わせたディープラーニングベースのアプローチを提案する。 提案手法は,時系列マルチモーダルデータから特徴を抽出するために,CNNとViTの相乗的強みを利用する。 その結果,提案手法は精度が高く,最先端のソリューションよりも優れ,95%以上の精度で予測できることがわかった。
  論文  参考訳（メタデータ） (2024-06-27T01:38:09Z)
• Rethinking Transformers Pre-training for Multi-Spectral Satellite Imagery [78.43828998065071]
  教師なし学習の最近の進歩は、下流タスクにおける有望な結果を達成するための大きな視覚モデルの可能性を示している。 このような事前学習技術は、大量の未学習データが利用可能であることから、リモートセンシング領域でも最近研究されている。 本稿では,マルチモーダルで効果的に活用されるマルチスケール情報の事前学習と活用について述べる。
  論文  参考訳（メタデータ） (2024-03-08T16:18:04Z)
• Radio Map Estimation -- An Open Dataset with Directive Transmitter Antennas and Initial Experiments [49.61405888107356]
  実世界の現実的な都市地図とオープンなデータソースからの航空画像とともに、シミュレーションされた経路損失無線マップのデータセットをリリースする。 モデルアーキテクチャ,入力特徴設計,航空画像からの無線マップの推定に関する実験を行った。
  論文  参考訳（メタデータ） (2024-01-12T14:56:45Z)
• HawkRover: An Autonomous mmWave Vehicular Communication Testbed with Multi-sensor Fusion and Deep Learning [26.133092114053472]
  接続された自動走行車(CAV)は、私たちの日常生活を変えるための変革的な技術になっています。 現在、ミリ波(mmWave)バンドは有望なCAV接続ソリューションとして認識されている。 高いデータレートを提供できるが、その実現には、mWave信号の伝搬やモビリティ管理の際の高減衰など、多くの課題に直面している。 本研究は,mmWave信号と他のセンサデータを収集し,車載通信を容易にする自律的かつ低コストなテストベッドを提案する。
  論文  参考訳（メタデータ） (2024-01-03T16:38:56Z)
• UnLoc: A Universal Localization Method for Autonomous Vehicles using LiDAR, Radar and/or Camera Input [51.150605800173366]
  UnLocは、全ての気象条件におけるマルチセンサー入力によるローカライズのための、新しい統一型ニューラルネットワークアプローチである。 本手法は,Oxford Radar RobotCar,Apollo SouthBay,Perth-WAの各データセットで広く評価されている。
  論文  参考訳（メタデータ） (2023-07-03T04:10:55Z)
• Semantic Segmentation of Radar Detections using Convolutions on Point Clouds [59.45414406974091]
  本稿では,レーダ検出を点雲に展開する深層学習手法を提案する。 このアルゴリズムは、距離依存クラスタリングと入力点雲の事前処理により、レーダ固有の特性に適応する。 我々のネットワークは、レーダポイント雲のセマンティックセグメンテーションのタスクにおいて、PointNet++に基づく最先端のアプローチよりも優れています。
  論文  参考訳（メタデータ） (2023-05-22T07:09:35Z)
• Sionna RT: Differentiable Ray Tracing for Radio Propagation Modeling [65.17711407805756]
  Sionnaは、リンクレベルのシミュレーションをベースとしたGPUアクセラレーションのオープンソースライブラリである。 リリース v0.14 以降、電波伝搬のシミュレーションのために微分可能なレイトレーサ (RT) を統合している。
  論文  参考訳（メタデータ） (2023-03-20T13:40:11Z)
• Collaborative Learning with a Drone Orchestrator [79.75113006257872]
  インテリジェントな無線デバイス群は、ドローンの助けを借りて共有ニューラルネットワークモデルを訓練する。 提案したフレームワークは,トレーニングの大幅な高速化を実現し,ドローンホバリング時間の平均24%と87%の削減を実現している。
  論文  参考訳（メタデータ） (2023-03-03T23:46:25Z)
• RCDPT: Radar-Camera fusion Dense Prediction Transformer [1.5899159309486681]
  本稿では,レーダデータを視覚トランスネットワークに統合するための新しい融合戦略を提案する。 リードアウトトークンを使用する代わりに、レーダー表現は単眼深度推定モデルに追加の深度情報を提供する。 実験は、カメラ画像、ライダー、レーダーデータを含むnuScenesデータセット上で実施されている。
  論文  参考訳（メタデータ） (2022-11-04T13:16:20Z)
• Radar Image Reconstruction from Raw ADC Data using Parametric Variational Autoencoder with Domain Adaptation [0.0]
  本研究では,パラメータ制約付き変分オートエンコーダを提案し,レンジ角画像上でクラスタ化および局所化されたターゲット検出を生成する。 実際のレーダデータを用いて可能なすべてのシナリオにおいて,提案するニューラルネットワークをトレーニングする問題を回避すべく,ドメイン適応戦略を提案する。
  論文  参考訳（メタデータ） (2022-05-30T16:17:36Z)
• Toward Data-Driven STAP Radar [23.333816677794115]
  我々は、時空間適応処理(STAP)レーダーに対するデータ駆動アプローチを特徴付ける。 所定領域に可変強度のターゲットをランダムに配置することにより、受信レーダ信号の豊富なサンプルデータセットを生成する。 この領域内の各データサンプルに対して、ビームフォーマの出力パワーのレンジ、方位、および上昇のヒートマップテンソルを生成する。 空中に浮かぶシナリオでは、動くレーダーは、ビデオに似た、これらのタイムインデクシングされたイメージスタックのシーケンスを生成する。
  論文  参考訳（メタデータ） (2022-01-26T02:28:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。