論文の概要: Generative Semantic Communication for Joint Image Transmission and Segmentation

• arxiv url: http://arxiv.org/abs/2411.18005v1
• Date: Wed, 27 Nov 2024 02:51:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-28 15:25:02.753077
• Title: Generative Semantic Communication for Joint Image Transmission and Segmentation
• Title（参考訳）: 共同画像伝送とセグメンテーションのためのジェネリックセマンティック通信
• Authors: Weiwen Yuan, Jinke Ren, Chongjie Wang, Ruichen Zhang, Jun Wei, Dong In Kim, Shuguang Cui,
• Abstract要約: 画像再構成とセグメンテーションタスクの両方をサポートする新しい生成意味コミュニケーションシステムを提案する。 提案手法は,送信側と受信側の両方で意味知識ベース(KB)を構築する。 実験の結果,マルチタスク生成型セマンティック・コミュニケーション・システムは従来の単一タスク・コミュニケーション・システムよりも優れていた。
• 参考スコア（独自算出の注目度）: 39.39101766098789
• License:
• Abstract: Semantic communication has emerged as a promising technology for enhancing communication efficiency. However, most existing research emphasizes single-task reconstruction, neglecting model adaptability and generalization across multi-task systems. In this paper, we propose a novel generative semantic communication system that supports both image reconstruction and segmentation tasks. Our approach builds upon semantic knowledge bases (KBs) at both the transmitter and receiver, with each semantic KB comprising a source KB and a task KB. The source KB at the transmitter leverages a hierarchical Swin-Transformer, a generative AI scheme, to extract multi-level features from the input image. Concurrently, the counterpart source KB at the receiver utilizes hierarchical residual blocks to generate task-specific knowledge. Furthermore, the two task KBs adopt a semantic similarity model to map different task requirements into pre-defined task instructions, thereby facilitating the feature selection of the source KBs. Additionally, we develop a unified residual block-based joint source and channel (JSCC) encoder and two task-specific JSCC decoders to achieve the two image tasks. In particular, a generative diffusion model is adopted to construct the JSCC decoder for the image reconstruction task. Experimental results demonstrate that our multi-task generative semantic communication system outperforms previous single-task communication systems in terms of peak signal-to-noise ratio and segmentation accuracy.
• Abstract（参考訳）: セマンティックコミュニケーションはコミュニケーション効率を高めるための有望な技術として登場した。 しかし、既存のほとんどの研究は、単一タスクの再構築、モデル適応性を無視し、マルチタスクシステムにまたがる一般化を強調している。 本稿では,画像再構成とセグメンテーションの両方を支援する新しい意味コミュニケーションシステムを提案する。 提案手法は,送信側と受信側の両方で意味知識ベース(KB)を構築し,ソースKBとタスクKBから構成される。 送信機のソースKBは、生成AIスキームである階層型Swin-Transformerを利用して、入力画像から多レベル特徴を抽出する。 同時に、受信機の対応するソースKBは階層的残差ブロックを利用してタスク固有の知識を生成する。 さらに、2つのタスクKBは、異なるタスク要求を予め定義されたタスク命令にマッピングするために意味的類似性モデルを採用し、ソースKBの特徴選択を容易にする。 さらに,この2つの画像タスクを実現するために,残差ブロックベースジョイントソースとチャネル(JSCC)エンコーダと2つのタスク固有のJSCCデコーダを開発する。 特に、画像再構成タスク用のJSCCデコーダを構築するために、生成拡散モデルを採用する。 実験結果から,マルチタスク生成型セマンティック通信システムは,ピーク信号対雑音比とセグメント化精度で従来の単一タスク通信システムより優れていたことがわかった。

関連論文リスト

• Take What You Need: Flexible Multi-Task Semantic Communications with Channel Adaptation [51.53221300103261]
  本稿では,マスク付きオートエンコーダアーキテクチャに基づく,チャネル適応型・マルチタスク対応のセマンティックコミュニケーションフレームワークについて紹介する。 チャネル認識抽出器を用いて、リアルタイムのチャネル条件に応じて、関連情報を動的に選択する。 画像再構成や物体検出などのタスクにおける従来の手法と比較して,本手法の優れた性能を示す実験結果が得られた。
  論文  参考訳（メタデータ） (2025-02-12T09:01:25Z)
• Multi-Task Semantic Communication With Graph Attention-Based Feature Correlation Extraction [69.24689059980035]
  本稿では,マルチタスク・セマンティック・コミュニケーション・システムのエンコーダ/トランスミッタに新たなグラフアテンション・インターブロック(GAI)モジュールを提案する。 エンコーダの中間特徴抽出ブロックの出力をグラフのノードとして解釈し,その中間特徴の相関関係を捉える。 実験により、提案されたモデルは、CityScapes 2Taskデータセットにおいて、最も競争力があり、公開可能なモデルよりも11.4%多いことが示されている。
  論文  参考訳（メタデータ） (2025-01-02T04:38:01Z)
• Vision Transformer-based Semantic Communications With Importance-Aware Quantization [13.328970689723096]
  本稿では、無線画像伝送のための重要量化(IAQ)を用いた視覚変換器(ViT)に基づくセマンティック通信システムを提案する。 筆者らのIAQフレームワークは, エラーのない, 現実的な通信シナリオにおいて, 従来の画像圧縮手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-12-08T19:24:47Z)
• Generative Semantic Communication for Text-to-Speech Synthesis [39.8799066368712]
  本稿では,テキスト音声合成のための新しい意味コミュニケーションフレームワークを開発する。 我々はトランスフォーマーエンコーダと拡散モデルを用いて,重要な通信オーバーヘッドを発生させることなく,効率的なセマンティックコーディングを実現する。
  論文  参考訳（メタデータ） (2024-10-04T14:18:31Z)
• Trustworthy Image Semantic Communication with GenAI: Explainablity, Controllability, and Efficiency [59.15544887307901]
  画像意味コミュニケーション(ISC)は,高効率な映像コンテンツ伝送を実現する可能性に注目されている。 既存のISCシステムは、解釈可能性、操作性、互換性の課題に直面している。 我々は、複数の下流推論タスクにGenerative Artificial Intelligence(GenAI)を利用する新しい信頼できるISCフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-07T14:32:36Z)
• Agent-driven Generative Semantic Communication with Cross-Modality and Prediction [57.335922373309074]
  本稿では,強化学習に基づくエージェント駆動型ジェネリックセマンティックコミュニケーションフレームワークを提案する。 本研究では, エージェント支援型セマンティックエンコーダを開発し, 適応的セマンティック抽出とサンプリングを行う。 設計モデルの有効性をUA-DETRACデータセットを用いて検証し、全体的なA-GSCフレームワークの性能向上を実証した。
  論文  参考訳（メタデータ） (2024-04-10T13:24:27Z)
• A Multi-Task Oriented Semantic Communication Framework for Autonomous Vehicles [5.779316179788962]
  本研究は、コネクテッドおよび自律走行車のためのマルチタスク指向のセマンティックコミュニケーションフレームワークを提案する。 道路交通標識のセマンティックエンコーディングを行う畳み込みオートエンコーダ(CAE)を提案する。 これらの符号化された画像は、気象条件の厳しい衛星を通して、あるCAVから別のCAVに送信される。
  論文  参考訳（メタデータ） (2024-03-06T12:04:24Z)
• Multi-Receiver Task-Oriented Communications via Multi-Task Deep Learning [49.83882366499547]
  本稿では、送信機が複数の受信機と通信する環境でのタスク指向通信について検討する。 複数のタスクを完了し、複数の受信機と通信する共同最適化のためのマルチタスク深層学習手法を提案する。
  論文  参考訳（メタデータ） (2023-08-14T01:34:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。