論文の概要: Visual Language Model based Cross-modal Semantic Communication Systems

• arxiv url: http://arxiv.org/abs/2407.00020v1
• Date: Mon, 6 May 2024 08:59:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-22 22:48:25.034195
• Title: Visual Language Model based Cross-modal Semantic Communication Systems
• Title（参考訳）: 視覚言語モデルに基づくクロスモーダル・セマンティック・コミュニケーションシステム
• Authors: Feibo Jiang, Chuanguo Tang, Li Dong, Kezhi Wang, Kun Yang, Cunhua Pan,
• Abstract要約: 本稿では,視覚言語モデルに基づくクロスモーダル・セマンティックコミュニケーションシステムを提案する。 VLM−CSCは、3つの新規成分を含む。 実験により, CSCシステムの有効性, 適応性, 堅牢性を検証した。
• 参考スコア（独自算出の注目度）: 42.321208020228894
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Semantic Communication (SC) has emerged as a novel communication paradigm in recent years, successfully transcending the Shannon physical capacity limits through innovative semantic transmission concepts. Nevertheless, extant Image Semantic Communication (ISC) systems face several challenges in dynamic environments, including low semantic density, catastrophic forgetting, and uncertain Signal-to-Noise Ratio (SNR). To address these challenges, we propose a novel Vision-Language Model-based Cross-modal Semantic Communication (VLM-CSC) system. The VLM-CSC comprises three novel components: (1) Cross-modal Knowledge Base (CKB) is used to extract high-density textual semantics from the semantically sparse image at the transmitter and reconstruct the original image based on textual semantics at the receiver. The transmission of high-density semantics contributes to alleviating bandwidth pressure. (2) Memory-assisted Encoder and Decoder (MED) employ a hybrid long/short-term memory mechanism, enabling the semantic encoder and decoder to overcome catastrophic forgetting in dynamic environments when there is a drift in the distribution of semantic features. (3) Noise Attention Module (NAM) employs attention mechanisms to adaptively adjust the semantic coding and the channel coding based on SNR, ensuring the robustness of the CSC system. The experimental simulations validate the effectiveness, adaptability, and robustness of the CSC system.
• Abstract（参考訳）: 近年,セマンティック・コミュニケーション(SC)が新たなコミュニケーションパラダイムとして登場し,革新的なセマンティック・トランスミッションの概念を通じて,シャノンの物理的能力限界を超越することに成功した。 それにもかかわらず、既存の画像意味コミュニケーション(ISC)システムは、低セマンティック密度、破滅的な忘れ込み、不確実な信号対雑音比(SNR)など、動的環境におけるいくつかの課題に直面している。 これらの課題に対処するために,視覚言語モデルに基づくクロスモーダル・セマンティック・コミュニケーション(VLM-CSC)システムを提案する。 1)クロスモーダル知識ベース(CKB)は、送信機におけるセマンティックスパース画像から高密度のテキストセマンティクスを抽出し、受信機におけるテキストセマンティクスに基づいて元のイメージを再構成する。 高密度セマンティクスの伝達は、帯域幅の圧力を軽減するのに寄与する。 2) メモリアシスト型エンコーダとデコーダ (MED) は, セマンティックエンコーダとデコーダを併用し, セマンティックエンコーダとデコーダは, セマンティック特徴の分布にドリフトが存在する場合に, 動的環境における破滅的な忘れを克服する。 (3)ノイズアテンションモジュール(NAM)は,SNRに基づくセマンティックコーディングとチャネルコーディングを適応的に調整し,CSCシステムの堅牢性を確保する。 実験により, CSCシステムの有効性, 適応性, 堅牢性を検証した。

関連論文リスト

• SC-CDM: Enhancing Quality of Image Semantic Communication with a Compact Diffusion Model [27.462224078883786]
  無線画像伝送のための生成SC(SC-CDM)を提案する。 我々は,Swin Transformerを効率的な意味的特徴抽出と圧縮のための新しいバックボーンとして再設計することを目指している。 我々はさらに、CNNベースのDeepJSCC上でPak Signal-to-Noise Ratio(PSNR)を17%以上増加させます。
  論文  参考訳（メタデータ） (2024-10-03T01:01:04Z)
• Reasoning with the Theory of Mind for Pragmatic Semantic Communication [62.87895431431273]
  本稿では,実用的な意味コミュニケーションフレームワークを提案する。 2つの知性エージェント間の効果的な目標指向情報共有を可能にする。 数値的な評価は、少ないビット量で効率的な通信を実現するためのフレームワークの能力を示している。
  論文  参考訳（メタデータ） (2023-11-30T03:36:19Z)
• Language-Oriented Communication with Semantic Coding and Knowledge Distillation for Text-to-Image Generation [53.97155730116369]
  我々は言語指向意味コミュニケーション(LSC)の新しい枠組みを提唱した。 LSCでは、機械は人間の言語メッセージを使って通信し、SC効率のために自然言語処理(NLP)技術を用いて解釈および操作することができる。 1) テキストプロンプトをキーヘッドワードに圧縮するセマンティック・ソース・コーディング(SSC)、2) セマンティック・チャネル・コーディング(SCC)、2) セマンティック・チャネル・コーディング(SCC)、3) セマンティック・ナレッジ・蒸留(SKD)、3) リスナーの言語学習を通じてリスナーに適応したプロンプトを生成するセマンティック・ナレッジ・蒸留(SKD)の3つの革新的なアルゴリズムを導入する。
  論文  参考訳（メタデータ） (2023-09-20T08:19:05Z)
• Generative AI-aided Joint Training-free Secure Semantic Communications via Multi-modal Prompts [89.04751776308656]
  本稿では,多モデルプロンプトを用いたGAI支援型SemComシステムを提案する。 セキュリティ上の懸念に応えて、フレンドリーなジャマーによって支援される隠蔽通信の応用を紹介する。
  論文  参考訳（メタデータ） (2023-09-05T23:24:56Z)
• Causal Semantic Communication for Digital Twins: A Generalizable Imitation Learning Approach [74.25870052841226]
  デジタルツイン(DT)は、物理世界の仮想表現と通信(例えば6G)、コンピュータ、人工知能(AI)技術を活用して、多くの接続されたインテリジェンスサービスを実現する。 無線システムは、厳密な通信制約下での情報意思決定を容易にするために意味コミュニケーション(SC)のパラダイムを利用することができる。 DTベースの無線システムでは,因果意味通信(CSC)と呼ばれる新しいフレームワークが提案されている。
  論文  参考訳（メタデータ） (2023-04-25T00:15:00Z)
• Enabling the Wireless Metaverse via Semantic Multiverse Communication [82.47169682083806]
  無線ネットワーク上のメタバースは、第6世代(6G)無線システムの新たなユースケースである。 メタバースを人間/機械エージェント固有のセマンティック・マルチバース(SM)に分解する新しいセマンティック・コミュニケーション・フレームワークを提案する。 各エージェントに格納されたSMは、セマンティックエンコーダとジェネレータから構成され、生成人工知能(AI)の最近の進歩を活用する。
  論文  参考訳（メタデータ） (2022-12-13T21:21:07Z)
• Vector Quantized Semantic Communication System [22.579525825992416]
  我々は,VQ-DeepSCという画像伝送のための深層学習可能なベクトル量子化(VQ)セマンティック通信システムを開発した。 具体的には、画像のマルチスケールな意味的特徴を抽出し、マルチスケールな意味的埋め込み空間を導入するCNNベースのトランシーバを提案する。 我々は、PatchGAN識別器を導入して、受信画像の品質を向上させるために、敵対訓練を実践する。
  論文  参考訳（メタデータ） (2022-09-23T10:58:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。