論文の概要: Large Language Model-Driven Distributed Integrated Multimodal Sensing and Semantic Communications

• arxiv url: http://arxiv.org/abs/2505.18194v1
• Date: Tue, 20 May 2025 08:00:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:42.196326
• Title: Large Language Model-Driven Distributed Integrated Multimodal Sensing and Semantic Communications
• Title（参考訳）: 大規模言語モデル駆動型分散マルチモーダルセンシングと意味コミュニケーション
• Authors: Yubo Peng, Luping Xiang, Bingxin Zhang, Kun Yang,
• Abstract要約: 本稿では,新しい大規模言語モデル (LLM) による分散分散マルチモーダルセンシングとセマンティックコミュニケーションフレームワークを提案する。 具体的には、RFモジュールとカメラモジュールを備えた複数の協調センシング装置で構成されている。 Genesis シミュレーションエンジンにより生成された合成多視点RF-視覚データセットの評価結果から,LLM-DiSAC が良好な性能を発揮することが示された。
• 参考スコア（独自算出の注目度）: 5.646293779615063
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Traditional single-modal sensing systems-based solely on either radio frequency (RF) or visual data-struggle to cope with the demands of complex and dynamic environments. Furthermore, single-device systems are constrained by limited perspectives and insufficient spatial coverage, which impairs their effectiveness in urban or non-line-of-sight scenarios. To overcome these challenges, we propose a novel large language model (LLM)-driven distributed integrated multimodal sensing and semantic communication (LLM-DiSAC) framework. Specifically, our system consists of multiple collaborative sensing devices equipped with RF and camera modules, working together with an aggregation center to enhance sensing accuracy. First, on sensing devices, LLM-DiSAC develops an RF-vision fusion network (RVFN), which employs specialized feature extractors for RF and visual data, followed by a cross-attention module for effective multimodal integration. Second, a LLM-based semantic transmission network (LSTN) is proposed to enhance communication efficiency, where the LLM-based decoder leverages known channel parameters, such as transceiver distance and signal-to-noise ratio (SNR), to mitigate semantic distortion. Third, at the aggregation center, a transformer-based aggregation model (TRAM) with an adaptive aggregation attention mechanism is developed to fuse distributed features and enhance sensing accuracy. To preserve data privacy, a two-stage distributed learning strategy is introduced, allowing local model training at the device level and centralized aggregation model training using intermediate features. Finally, evaluations on a synthetic multi-view RF-visual dataset generated by the Genesis simulation engine show that LLM-DiSAC achieves a good performance.
• Abstract（参考訳）: 従来の単一モードセンシングシステムは、複雑でダイナミックな環境の要求に対処するために、無線周波数(RF)または視覚データストラグルのみをベースとしていた。 さらに、単一デバイスシステムは、限られた視点と不十分な空間範囲によって制約され、都市や非視界のシナリオにおけるその効果を損なう。 これらの課題を克服するために,新しい大規模言語モデル (LLM) による分散マルチモーダルセンシングとセマンティックコミュニケーション (LLM-DiSAC) フレームワークを提案する。 具体的には、RFとカメラモジュールを備えた複数の協調センシング装置で構成され、アグリゲーションセンターと連携して、センサの精度を高める。 第一に、LLM-DiSACはRFビジョン融合ネットワーク(RVFN)を開発し、RFと視覚データのための特別な特徴抽出器を使用し、続いて効果的なマルチモーダル統合のためのクロスアテンションモジュールを備える。 第二に、LLMに基づく意味伝達ネットワーク(LSTN)は通信効率を高めるために提案され、LLMベースのデコーダは、トランシーバ距離や信号-雑音比(SNR)といった既知のチャネルパラメータを活用し、意味的歪みを軽減する。 第3に、アグリゲーションセンタにおいて、適応的なアグリゲーションアテンションアテンションアテンション機構を備えたトランスフォーマーベースアグリゲーションモデル(TRAM)を開発し、分散特徴を融合させ、知覚精度を高める。 データプライバシを維持するために、2段階の分散学習戦略を導入し、デバイスレベルでのローカルモデルトレーニングと中間機能を用いた集中集約モデルトレーニングを可能にした。 最後に、ジェネシスシミュレーションエンジンによって生成された合成多視点RF-視覚データセットの評価により、LLM-DiSACが良好な性能を発揮することを示す。

関連論文リスト

• Effective Feature Selection for Predicting Spreading Factor with ML in Large LoRaWAN-based Mobile IoT Networks [0.5749787074942512]
  本稿では機械学習(ML)技術を用いたLoRaWANネットワークにおける拡散係数(SF)予測の課題に対処する。 大規模な公開データセットでMLモデルのパフォーマンスを評価し、主要なLoRaWAN機能で最高の機能を調べました。 RSSIとSNRの組み合わせは最高の機能セットとして同定された。
  論文  参考訳（メタデータ） (2025-03-12T08:58:28Z)
• R-SFLLM: Jamming Resilient Framework for Split Federated Learning with Large Language Models [83.77114091471822]
  Split Federated Learning (SFL)は、分散機械学習(ML)における計算効率のパラダイムである。 SFLの課題は、特に無線チャネル上に展開する場合、送信されたモデルパラメータが相手のジャミングに感受性を持つことである。 これは、言語理解に不可欠である大規模言語モデル(LLM)における単語埋め込みパラメータに対して特に顕著である。 無線ネットワーク上でのLLM(R-SFLLM)を用いたレジリエンスSFLのための物理層フレームワークを開発した。
  論文  参考訳（メタデータ） (2024-07-16T12:21:29Z)
• Device Sampling and Resource Optimization for Federated Learning in Cooperative Edge Networks [17.637761046608]
  フェデレーテッド・ラーニング(FedL)は、サーバによって定期的に集約されたローカルモデルをトレーニングすることで、機械学習(ML)をワーカーデバイスに分散させる。 FedLは、同時代の無線ネットワークの2つの重要な特徴を無視している: (i) ネットワークには異種通信/計算資源が含まれており、 (ii) デバイスのローカルデータ分布にかなりの重複がある可能性がある。 デバイス間オフロード(D2D)によって補完されるインテリジェントデバイスサンプリングにより,これらの要因を共同で考慮する新しい最適化手法を開発した。
  論文  参考訳（メタデータ） (2023-11-07T21:17:59Z)
• Multi-task Learning Approach for Modulation and Wireless Signal Classification for 5G and Beyond: Edge Deployment via Model Compression [1.218340575383456]
  将来的な通信網は、異種無線デバイスの成長に対応するために、少ないスペクトルに対処する必要がある。 我々は、深層ニューラルネットワークに基づくマルチタスク学習フレームワークの可能性を利用して、変調と信号分類タスクを同時に学習する。 公共利用のための包括的ヘテロジニアス無線信号データセットを提供する。
  論文  参考訳（メタデータ） (2022-02-26T14:51:02Z)
• Parallel Successive Learning for Dynamic Distributed Model Training over Heterogeneous Wireless Networks [50.68446003616802]
  フェデレートラーニング(Federated Learning, FedL)は、一連の無線デバイスにモデルトレーニングを配布する一般的なテクニックとして登場した。 我々は,FedLアーキテクチャを3次元に拡張した並列逐次学習(PSL)を開発した。 我々の分析は、分散機械学習におけるコールド対ウォームアップモデルの概念とモデル慣性について光を当てている。
  論文  参考訳（メタデータ） (2022-02-07T05:11:01Z)
• Optimization-driven Machine Learning for Intelligent Reflecting Surfaces Assisted Wireless Networks [82.33619654835348]
  インテリジェントサーフェス(IRS)は、個々の散乱素子の位相シフトを制御して無線チャネルを再形成するために用いられる。 散乱素子の規模が大きいため、受動ビームフォーミングは一般に高い計算複雑性によって挑戦される。 本稿では、IRS支援無線ネットワークの性能向上のための機械学習(ML)アプローチに焦点を当てる。
  論文  参考訳（メタデータ） (2020-08-29T08:39:43Z)
• A Compressive Sensing Approach for Federated Learning over Massive MIMO Communication Systems [82.2513703281725]
  フェデレートラーニング(Federated Learning)は、無線デバイスとのコラボレーションによって、中央サーバでグローバルモデルをトレーニングするための、プライバシ保護のアプローチである。 本稿では,大規模マルチインプット多出力通信システム上でのフェデレーション学習のための圧縮センシング手法を提案する。
  論文  参考訳（メタデータ） (2020-03-18T05:56:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。