論文の概要: Transforming Indoor Localization: Advanced Transformer Architecture for NLOS Dominated Wireless Environments with Distributed Sensors

• arxiv url: http://arxiv.org/abs/2501.07774v1
• Date: Tue, 14 Jan 2025 01:16:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-15 13:26:05.894208
• Title: Transforming Indoor Localization: Advanced Transformer Architecture for NLOS Dominated Wireless Environments with Distributed Sensors
• Title（参考訳）: 屋内ローカライゼーションの変換:分散センサを用いたNLOS支配無線環境のための高度なトランスフォーマーアーキテクチャ
• Authors: Saad Masrur, Jung-Fu, Cheng, Atieh R. Khamesi, Ismail Guvenc,
• Abstract要約: 本稿では,電力遅延プロファイル (PDP) の可変固有表現を保存する新しいトークン化手法であるSensor Snapshot Tokenization (SST) を提案する。 また,Swish-Gated Linear Unit-based Transformer (L-SwiGLU Transformer) モデルを提案する。
• 参考スコア（独自算出の注目度）: 7.630782404476683
• License:
• Abstract: Indoor localization in challenging non-line-of-sight (NLOS) environments often leads to mediocre accuracy with traditional approaches. Deep learning (DL) has been applied to tackle these challenges; however, many DL approaches overlook computational complexity, especially for floating-point operations (FLOPs), making them unsuitable for resource-limited devices. Transformer-based models have achieved remarkable success in natural language processing (NLP) and computer vision (CV) tasks, motivating their use in wireless applications. However, their use in indoor localization remains nascent, and directly applying Transformers for indoor localization can be both computationally intensive and exhibit limitations in accuracy. To address these challenges, in this work, we introduce a novel tokenization approach, referred to as Sensor Snapshot Tokenization (SST), which preserves variable-specific representations of power delay profile (PDP) and enhances attention mechanisms by effectively capturing multi-variate correlation. Complementing this, we propose a lightweight Swish-Gated Linear Unit-based Transformer (L-SwiGLU Transformer) model, designed to reduce computational complexity without compromising localization accuracy. Together, these contributions mitigate the computational burden and dependency on large datasets, making Transformer models more efficient and suitable for resource-constrained scenarios. The proposed tokenization method enables the Vanilla Transformer to achieve a 90th percentile positioning error of 0.388 m in a highly NLOS indoor factory, surpassing conventional tokenization methods. The L-SwiGLU ViT further reduces the error to 0.355 m, achieving an 8.51% improvement. Additionally, the proposed model outperforms a 14.1 times larger model with a 46.13% improvement, underscoring its computational efficiency.
• Abstract（参考訳）: 屋内での非視線(NLOS)環境のローカライゼーションは、しばしば従来のアプローチと中間的な精度をもたらす。 深層学習(DL)はこれらの課題に対処するために応用されてきたが、多くのDLアプローチは計算複雑性、特に浮動小数点演算(FLOP)に見過ごされるため、リソース制限されたデバイスには適さない。 トランスフォーマーベースのモデルは、自然言語処理(NLP)とコンピュータビジョン(CV)タスクにおいて顕著な成功を収め、無線アプリケーションでの使用を動機付けている。 しかし, 屋内ローカライゼーションにおけるそれらの利用は依然として初期段階にあり, 直接的に屋内ローカライゼーションにトランスフォーマーを適用することは, 計算集約的かつ精度の限界を示すことができる。 これらの課題に対処するため,本稿では,PDP(電力遅延プロファイル)の可変固有表現を保存し,多変量相関を効果的に捉えて注意機構を向上する,Sensor Snapshot Tokenization (SST)と呼ばれる新しいトークン化手法を提案する。 そこで本研究では,Swish-Gated Linear Unit-based Transformer (L-SwiGLU Transformer) モデルを提案する。 これらの貢献により、大きなデータセットの計算負担と依存が軽減され、Transformerモデルはより効率的で、リソース制約のあるシナリオに適している。 提案手法により, 従来のトークン化法を超越した高NLOS室内工場において, バニラ変圧器の90%位置決め誤差0.388mを実現することができる。 L-SwiGLU ViTはエラーを0.355mに減らし、8.51%の改善を実現した。 さらに、提案モデルは46.13%改善した14.1倍のモデルより優れており、その計算効率を裏付けている。

関連論文リスト

• Unifying Dimensions: A Linear Adaptive Approach to Lightweight Image Super-Resolution [6.857919231112562]
  ウィンドウベーストランスは超高解像度タスクにおいて優れた性能を示した。 畳み込みニューラルネットワークよりも計算複雑性と推論レイテンシが高い。 線形適応ミキサーネットワーク(LAMNet)という,畳み込みに基づくトランスフォーマーフレームワークを構築する。
  論文  参考訳（メタデータ） (2024-09-26T07:24:09Z)
• Hyperdimensional Computing Empowered Federated Foundation Model over Wireless Networks for Metaverse [56.384390765357004]
  本稿では,新しい基礎モデルのための統合型分割学習と超次元計算フレームワークを提案する。 この新しいアプローチは通信コスト、計算負荷、プライバシーリスクを低減し、Metaverseのリソース制約されたエッジデバイスに適している。
  論文  参考訳（メタデータ） (2024-08-26T17:03:14Z)
• PointMT: Efficient Point Cloud Analysis with Hybrid MLP-Transformer Architecture [46.266960248570086]
  本研究は,効率的な特徴集約のための複雑局所的注意機構を導入することで,自己注意機構の二次的複雑さに取り組む。 また,各チャネルの注目重量分布を適応的に調整するパラメータフリーチャネル温度適応機構を導入する。 我々は,PointMTが性能と精度の最適なバランスを維持しつつ,最先端手法に匹敵する性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-08-10T10:16:03Z)
• LATTE: Low-Precision Approximate Attention with Head-wise Trainable Threshold for Efficient Transformer [0.0]
  我々は,高効率変圧器(LATTE)のための頭部訓練用閾値を用いた高精度近似注意法を提案する。 LATTEは、MHA(Multi-Head Attention)の計算量を削減するために、低精度ドット積を持つ頭部しきい値に基づくフィルタを用いる。 実験の結果, LATTE は NLP と CV の両方のタスクにスムーズに適応でき, 計算コストを大幅に削減できることがわかった。
  論文  参考訳（メタデータ） (2024-04-11T07:23:19Z)
• Towards Long-Term Time-Series Forecasting: Feature, Pattern, and Distribution [57.71199089609161]
  長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。 トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。 LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
  論文  参考訳（メタデータ） (2023-01-05T13:59:29Z)
• An Adaptive Device-Edge Co-Inference Framework Based on Soft Actor-Critic [72.35307086274912]
  高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。 本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。 レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
  論文  参考訳（メタデータ） (2022-01-09T09:31:50Z)
• AdaViT: Adaptive Tokens for Efficient Vision Transformer [91.88404546243113]
  本稿では,視覚変換器(ViT)の推論コストを,複雑さの異なる画像に対して適応的に調整する手法であるAdaViTを紹介する。 AdaViTは、推論が進むにつれてネットワーク内で処理されるビジョントランスフォーマーのトークン数を自動で削減することで、これを実現する。
  論文  参考訳（メタデータ） (2021-12-14T18:56:07Z)
• Wireless Federated Learning with Limited Communication and Differential Privacy [21.328507360172203]
  本稿では,空力計算(AirComp)に基づくフェデレーション学習(FL)モデルにおいて,リモートユーザにおけるローカルデータセットの効率的な通信と差分プライバシー(DP)における次元性低減の役割について検討する。
  論文  参考訳（メタデータ） (2021-06-01T15:23:12Z)
• Bayesian Transformer Language Models for Speech Recognition [59.235405107295655]
  トランスフォーマーで表現される最先端のニューラルネットワークモデル(LM)は非常に複雑である。 本稿では,トランスフォーマーLM推定のためのベイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-09T10:55:27Z)
• Optimization-driven Machine Learning for Intelligent Reflecting Surfaces Assisted Wireless Networks [82.33619654835348]
  インテリジェントサーフェス(IRS)は、個々の散乱素子の位相シフトを制御して無線チャネルを再形成するために用いられる。 散乱素子の規模が大きいため、受動ビームフォーミングは一般に高い計算複雑性によって挑戦される。 本稿では、IRS支援無線ネットワークの性能向上のための機械学習(ML)アプローチに焦点を当てる。
  論文  参考訳（メタデータ） (2020-08-29T08:39:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。