論文の概要: SIMAC: A Semantic-Driven Integrated Multimodal Sensing And Communication Framework
- arxiv url: http://arxiv.org/abs/2503.08726v1
- Date: Tue, 11 Mar 2025 01:04:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-13 15:39:37.622777
- Title: SIMAC: A Semantic-Driven Integrated Multimodal Sensing And Communication Framework
- Title（参考訳）: SIMAC: セマンティック駆動型統合マルチモーダルセンシングとコミュニケーションフレームワーク
- Authors: Yubo Peng, Luping Xiang, Kun Yang, Feibo Jiang, Kezhi Wang, Dapeng Oliver Wu,
- Abstract要約: 単一モードセンシングは精度と能力の限界に直面し、通信システムとの疎結合実装によりレイテンシが増大する。
本稿では,これらの課題を克服するために,意味駆動型統合マルチモーダルセンシング・通信フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 22.924064428134507
- License:
- Abstract: Traditional single-modality sensing faces limitations in accuracy and capability, and its decoupled implementation with communication systems increases latency in bandwidth-constrained environments. Additionally, single-task-oriented sensing systems fail to address users' diverse demands. To overcome these challenges, we propose a semantic-driven integrated multimodal sensing and communication (SIMAC) framework. This framework leverages a joint source-channel coding architecture to achieve simultaneous sensing decoding and transmission of sensing results. Specifically, SIMAC first introduces a multimodal semantic fusion (MSF) network, which employs two extractors to extract semantic information from radar signals and images, respectively. MSF then applies cross-attention mechanisms to fuse these unimodal features and generate multimodal semantic representations. Secondly, we present a large language model (LLM)-based semantic encoder (LSE), where relevant communication parameters and multimodal semantics are mapped into a unified latent space and input to the LLM, enabling channel-adaptive semantic encoding. Thirdly, a task-oriented sensing semantic decoder (SSD) is proposed, in which different decoded heads are designed according to the specific needs of tasks. Simultaneously, a multi-task learning strategy is introduced to train the SIMAC framework, achieving diverse sensing services. Finally, experimental simulations demonstrate that the proposed framework achieves diverse sensing services and higher accuracy.
- Abstract（参考訳）: 従来の単一モードセンシングは、精度と能力の限界に直面しており、通信システムとの疎結合実装は、帯域幅に制約のある環境でのレイテンシを増大させる。
さらに、シングルタスク指向のセンシングシステムは、ユーザの多様な要求に対処できない。
これらの課題を克服するために,意味駆動型統合マルチモーダルセンシング・コミュニケーション(SIMAC)フレームワークを提案する。
このフレームワークは、統合ソースチャネル符号化アーキテクチャを利用して、同時センシングデコーディングとセンシング結果の伝送を実現する。
具体的には、SIMACはまず、レーダー信号と画像からそれぞれ意味情報を抽出するために2つの抽出器を使用するマルチモーダルセマンティックフュージョン(MSF)ネットワークを導入する。
MSFは、これらの一助的特徴を融合し、マルチモーダルな意味表現を生成するために、クロスアテンション機構を適用している。
次に,大型言語モデル(LLM)に基づく意味エンコーダ(LSE)を提案し,関連する通信パラメータとマルチモーダルセマンティクスを統一された潜在空間にマッピングし,LLMに入力することで,チャネル適応型意味エンコーダを実現する。
第3にタスク指向セマンティックデコーダ(SSD)を提案する。
同時に、SIMACフレームワークをトレーニングするためのマルチタスク学習戦略を導入し、多様なセンシングサービスを実現する。
最後に,提案するフレームワークが多様なセンシングサービスを実現し,精度が向上することを示す。
関連論文リスト
- Take What You Need: Flexible Multi-Task Semantic Communications with Channel Adaptation [51.53221300103261]
本稿では,マスク付きオートエンコーダアーキテクチャに基づく,チャネル適応型・マルチタスク対応のセマンティックコミュニケーションフレームワークについて紹介する。
チャネル認識抽出器を用いて、リアルタイムのチャネル条件に応じて、関連情報を動的に選択する。
画像再構成や物体検出などのタスクにおける従来の手法と比較して,本手法の優れた性能を示す実験結果が得られた。
論文 参考訳（メタデータ） (2025-02-12T09:01:25Z) - Agent-driven Generative Semantic Communication with Cross-Modality and Prediction [57.335922373309074]
本稿では,強化学習に基づくエージェント駆動型ジェネリックセマンティックコミュニケーションフレームワークを提案する。
本研究では, エージェント支援型セマンティックエンコーダを開発し, 適応的セマンティック抽出とサンプリングを行う。
設計モデルの有効性をUA-DETRACデータセットを用いて検証し、全体的なA-GSCフレームワークの性能向上を実証した。
論文 参考訳（メタデータ） (2024-04-10T13:24:27Z) - Large AI Model Empowered Multimodal Semantic Communications [48.73159237649128]
本稿では,Large AI Model-based Multimodal SC (LAMMSC) フレームワークを提案する。
まず、条件付きマルチモーダルアライメント(MMA)を提案し、マルチモーダルデータと非モーダルデータ間の変換を可能にする。
次に、パーソナライズされたLLMベースの知識ベース(LKB)を提案し、ユーザがパーソナライズされたセマンティック抽出やリカバリを行うことができる。
最後に,CGE(Generative Adversarial Network-based Channel Estimation)を用いて,無線チャネルの状態情報を推定する。
論文 参考訳（メタデータ） (2023-09-03T19:24:34Z) - Communication-Efficient Framework for Distributed Image Semantic
Wireless Transmission [68.69108124451263]
IoTデバイスを用いたマルチタスク分散画像伝送のためのFederated Learning-based semantic communication (FLSC)フレームワーク。
各リンクは階層型視覚変換器(HVT)ベースの抽出器とタスク適応トランスレータで構成される。
チャネル状態情報に基づく多重出力多重出力伝送モジュール。
論文 参考訳（メタデータ） (2023-08-07T16:32:14Z) - Rate-Adaptive Coding Mechanism for Semantic Communications With
Multi-Modal Data [23.597759255020296]
本稿では,従来のチャネルエンコーダ/デコーダを組み込んだ分散マルチモーダルセマンティック通信フレームワークを提案する。
様々な種類のマルチモーダルなセマンティックタスクに対して、一般的なレート適応型符号化機構を確立する。
シミュレーションの結果,提案手法は従来のコミュニケーションシステムと既存のセマンティック通信システムより優れていることがわかった。
論文 参考訳（メタデータ） (2023-05-18T07:31:37Z) - Object Segmentation by Mining Cross-Modal Semantics [68.88086621181628]
マルチモーダル特徴の融合と復号を導くために,クロスモーダル・セマンティックスをマイニングする手法を提案する。
具体的には,(1)全周減衰核融合(AF),(2)粗大デコーダ(CFD),(3)多層自己超越からなる新しいネットワークXMSNetを提案する。
論文 参考訳（メタデータ） (2023-05-17T14:30:11Z) - Non-Orthogonal Multiple Access Enhanced Multi-User Semantic
Communication [7.231199109999097]
本稿では,NomaSC(Non-Orthogonal multiple access)に基づくマルチユーザセマンティックコミュニケーションシステムを提案する。
システムは、ソース情報の多様性を持つ複数のユーザのセマンティックトランスミッションをサポートすることができる。
論文 参考訳（メタデータ） (2023-03-12T07:32:42Z) - Enabling the Wireless Metaverse via Semantic Multiverse Communication [82.47169682083806]
無線ネットワーク上のメタバースは、第6世代(6G)無線システムの新たなユースケースである。
メタバースを人間/機械エージェント固有のセマンティック・マルチバース(SM)に分解する新しいセマンティック・コミュニケーション・フレームワークを提案する。
各エージェントに格納されたSMは、セマンティックエンコーダとジェネレータから構成され、生成人工知能(AI)の最近の進歩を活用する。
論文 参考訳（メタデータ） (2022-12-13T21:21:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。