Fugu-MT 論文翻訳(概要): Synchronous Multi-modal Semantic Communication System with Packet-level Coding

論文の概要: Synchronous Multi-modal Semantic Communication System with Packet-level Coding

arxiv url: http://arxiv.org/abs/2408.04535v2
Date: Sun, 11 Aug 2024 02:37:42 GMT
ステータス: 処理完了
システム内更新日: 2024-08-13 20:04:01.741687
Title: Synchronous Multi-modal Semantic Communication System with Packet-level Coding
Title（参考訳）: パケットレベル符号化を用いた同期マルチモーダルセマンティック通信システム
Authors: Yun Tian, Jingkai Ying, Zhijin Qin, Ye Jin, Xiaoming Tao,
Abstract要約: パケットレベル符号化を用いた同期型マルチモーダルセマンティック通信システム(SyncSC)を提案する。意味的・時間的同期を実現するため、3Dモーフィブルモード(3DMM)係数とテキストを意味論として送信する。消去チャネル下でのセマンティックパケットの保護を目的として,パケット損失率が高い場合でも一定の視覚的品質を維持できるパケットレベルフォワード誤り訂正法(PacSC)を提案する。
参考スコア（独自算出の注目度）: 20.397350999784276
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Although the semantic communication with joint semantic-channel coding design has shown promising performance in transmitting data of different modalities over physical layer channels, the synchronization and packet-level forward error correction of multimodal semantics have not been well studied. Due to the independent design of semantic encoders, synchronizing multimodal features in both the semantic and time domains is a challenging problem. In this paper, we take the facial video and speech transmission as an example and propose a Synchronous Multimodal Semantic Communication System (SyncSC) with Packet-Level Coding. To achieve semantic and time synchronization, 3D Morphable Mode (3DMM) coefficients and text are transmitted as semantics, and we propose a semantic codec that achieves similar quality of reconstruction and synchronization with lower bandwidth, compared to traditional methods. To protect semantic packets under the erasure channel, we propose a packet-Level Forward Error Correction (FEC) method, called PacSC, that maintains a certain visual quality performance even at high packet loss rates. Particularly, for text packets, a text packet loss concealment module, called TextPC, based on Bidirectional Encoder Representations from Transformers (BERT) is proposed, which significantly improves the performance of traditional FEC methods. The simulation results show that our proposed SyncSC reduce transmission overhead and achieve high-quality synchronous transmission of video and speech over the packet loss network.
Abstract（参考訳）: 共同セマンティック・チャネル・コーディング設計によるセマンティック・コミュニケーションは,物理層チャネル上で異なるモダリティのデータを伝送する上で有望な性能を示しているが,マルチモーダル・セマンティクスの同期とパケットレベルの前方誤り補正は十分に研究されていない。セマンティックエンコーダの独立設計のため、セマンティックドメインと時間ドメインの両方でマルチモーダル機能を同期させることは難しい問題である。本稿では,顔映像と音声の伝送を例として,パケットレベル符号化を用いた同期マルチモーダル・セマンティック通信システム(SyncSC)を提案する。意味的・時間的同期を実現するために,3次元モーフィブルモード(3DMM)係数とテキストを意味論として送信し,従来の手法に比べて低帯域幅での再構成と同期の類似性を実現するセマンティックコーデックを提案する。消去チャネル下でのセマンティックパケットの保護を目的として,パケット損失率が高い場合でも,特定の視覚的品質性能を維持するパケットレベルフォワード誤り訂正法(PacSC)を提案する。特にテキストパケットに対しては,双方向エンコーダ表現(BERT)に基づくTextPCと呼ばれるテキストパケット損失隠蔽モジュールが提案され,従来のFEC手法の性能が大幅に向上した。シミュレーションの結果,提案したSyncSCは伝送オーバーヘッドを低減し,パケットロスネットワーク上での映像と音声の高品質同期伝送を実現することがわかった。

関連論文リスト

Generative Video Semantic Communication via Multimodal Semantic Fusion with Large Model [55.71885688565501]
本稿では,高品質な映像再構成を実現するために,意味情報を抽出し,送信するスケーラブルなビデオ意味コミュニケーションフレームワークを提案する。具体的には、送信機では、それぞれテキストと構造的意味論として機能するソースビデオから記述と他の条件信号を抽出する。受信機では、拡散に基づくGenAI大モデルを用いて、ビデオの再構成のために複数のモーダルのセマンティクスを融合させる。
論文参考訳（メタデータ） (2025-02-19T15:59:07Z)
Take What You Need: Flexible Multi-Task Semantic Communications with Channel Adaptation [51.53221300103261]
本稿では,マスク付きオートエンコーダアーキテクチャに基づく,チャネル適応型・マルチタスク対応のセマンティックコミュニケーションフレームワークについて紹介する。チャネル認識抽出器を用いて、リアルタイムのチャネル条件に応じて、関連情報を動的に選択する。画像再構成や物体検出などのタスクにおける従来の手法と比較して,本手法の優れた性能を示す実験結果が得られた。
論文参考訳（メタデータ） (2025-02-12T09:01:25Z)
Cross-Layer Encrypted Semantic Communication Framework for Panoramic Video Transmission [11.438045765196332]
パノラマビデオ伝送のための層間暗号化セマンティック通信(CLESC)フレームワークを提案する。セマンティック情報の重要性に基づいて,CRC,チャネル符号化,再送方式を動的に調整する適応型クロス層伝送機構を提案する。従来のクロス層伝送方式と比較して、CLESCフレームワークは帯域幅を85%削減できる。
論文参考訳（メタデータ） (2024-11-19T07:18:38Z)
Visual Language Model based Cross-modal Semantic Communication Systems [42.321208020228894]
本稿では,視覚言語モデルに基づくクロスモーダル・セマンティックコミュニケーションシステムを提案する。 VLM−CSCは、3つの新規成分を含む。実験により, CSCシステムの有効性, 適応性, 堅牢性を検証した。
論文参考訳（メタデータ） (2024-05-06T08:59:16Z)
Latency-Aware Generative Semantic Communications with Pre-Trained Diffusion Models [43.27015039765803]
我々は,事前学習した生成モデルを用いた遅延認識型セマンティックコミュニケーションフレームワークを開発した。我々は,超低レート,低レイテンシ,チャネル適応型セマンティック通信を実証する。
論文参考訳（メタデータ） (2024-03-25T23:04:09Z)
Generative AI-aided Joint Training-free Secure Semantic Communications via Multi-modal Prompts [89.04751776308656]
本稿では,多モデルプロンプトを用いたGAI支援型SemComシステムを提案する。セキュリティ上の懸念に応えて、フレンドリーなジャマーによって支援される隠蔽通信の応用を紹介する。
論文参考訳（メタデータ） (2023-09-05T23:24:56Z)
Communication-Efficient Framework for Distributed Image Semantic Wireless Transmission [68.69108124451263]
IoTデバイスを用いたマルチタスク分散画像伝送のためのFederated Learning-based semantic communication (FLSC)フレームワーク。各リンクは階層型視覚変換器(HVT)ベースの抽出器とタスク適応トランスレータで構成される。チャネル状態情報に基づく多重出力多重出力伝送モジュール。
論文参考訳（メタデータ） (2023-08-07T16:32:14Z)
Enabling the Wireless Metaverse via Semantic Multiverse Communication [82.47169682083806]
無線ネットワーク上のメタバースは、第6世代(6G)無線システムの新たなユースケースである。メタバースを人間/機械エージェント固有のセマンティック・マルチバース(SM)に分解する新しいセマンティック・コミュニケーション・フレームワークを提案する。各エージェントに格納されたSMは、セマンティックエンコーダとジェネレータから構成され、生成人工知能(AI)の最近の進歩を活用する。
論文参考訳（メタデータ） (2022-12-13T21:21:07Z)
Semantic Image Synthesis via Diffusion Models [159.4285444680301]
Denoising Diffusion Probabilistic Models (DDPM) は様々な画像生成タスクにおいて顕著な成功を収めた。セマンティック画像合成に関する最近の研究は、主に「GAN(Generative Adversarial Nets)」に追従している。
論文参考訳（メタデータ） (2022-06-30T18:31:51Z)
Wireless Deep Video Semantic Transmission [14.071114007641313]
本稿では,無線チャネル上でのエンドツーエンドビデオ伝送を実現するための,高効率なディープ・ジョイント・ソース・チャネル符号化手法を提案する。我々のフレームワークはディープビデオセマンティックトランスミッション (DVST) という名前で収集される。
論文参考訳（メタデータ） (2022-05-26T03:26:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。