論文の概要: Trustworthy Image Semantic Communication with GenAI: Explainablity, Controllability, and Efficiency

• arxiv url: http://arxiv.org/abs/2408.03806v1
• Date: Wed, 7 Aug 2024 14:32:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-08 17:30:30.207706
• Title: Trustworthy Image Semantic Communication with GenAI: Explainablity, Controllability, and Efficiency
• Title（参考訳）: GenAIによる信頼できるイメージセマンティックコミュニケーション:説明力、制御性、効率性
• Authors: Xijun Wang, Dongshan Ye, Chenyuan Feng, Howard H. Yang, Xiang Chen, Tony Q. S. Quek,
• Abstract要約: 画像意味コミュニケーション(ISC)は,高効率な映像コンテンツ伝送を実現する可能性に注目されている。 既存のISCシステムは、解釈可能性、操作性、互換性の課題に直面している。 我々は、複数の下流推論タスクにGenerative Artificial Intelligence(GenAI)を利用する新しい信頼できるISCフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 59.15544887307901
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Image semantic communication (ISC) has garnered significant attention for its potential to achieve high efficiency in visual content transmission. However, existing ISC systems based on joint source-channel coding face challenges in interpretability, operability, and compatibility. To address these limitations, we propose a novel trustworthy ISC framework. This approach leverages text extraction and segmentation mapping techniques to convert images into explainable semantics, while employing Generative Artificial Intelligence (GenAI) for multiple downstream inference tasks. We also introduce a multi-rate ISC transmission protocol that dynamically adapts to both the received explainable semantic content and specific task requirements at the receiver. Simulation results demonstrate that our framework achieves explainable learning, decoupled training, and compatible transmission in various application scenarios. Finally, some intriguing research directions and application scenarios are identified.
• Abstract（参考訳）: 画像意味コミュニケーション(ISC)は,高効率な映像コンテンツ伝送を実現する可能性に注目されている。 しかし、既存のISCシステムは、解釈可能性、操作性、互換性に課題を抱えている。 これらの制約に対処するため、我々は新しい信頼できるICCフレームワークを提案する。 このアプローチでは、テキスト抽出とセグメンテーションマッピング技術を活用して、画像を説明可能なセマンティクスに変換すると同時に、複数の下流推論タスクにGenerative Artificial Intelligence(GenAI)を採用する。 また、受信したセマンティックコンテンツと受信側の特定のタスク要求の両方に動的に適応するマルチレートISC伝送プロトコルを導入する。 シミュレーションの結果,本フレームワークは様々なアプリケーションシナリオにおいて,説明可能な学習,分離されたトレーニング,互換性のある伝達を実現することが示された。 最後に、興味深い研究の方向性と応用シナリオが特定される。

関連論文リスト

• IRS-Enhanced Secure Semantic Communication Networks: Cross-Layer and Context-Awared Resource Allocation [30.000606717755833]
  eavesdroppingの課題は、無線通信のオープンな性質のため、セマンティックプライバシに深刻な脅威をもたらす。 本稿では,タスク指向のセマンティック視点から物理層セキュリティを保証するために,インテリジェント反射面(IRS)強化セキュアセマンティック通信(IRS-SSC)を提案する。 本研究では,高次元意味空間と可観測系状態空間を融合させる新しい意味認識状態空間(SCA-SS)を提案する。
  論文  参考訳（メタデータ） (2024-11-04T05:40:30Z)
• Agent-driven Generative Semantic Communication with Cross-Modality and Prediction [57.335922373309074]
  本稿では,強化学習に基づくエージェント駆動型ジェネリックセマンティックコミュニケーションフレームワークを提案する。 本研究では, エージェント支援型セマンティックエンコーダを開発し, 適応的セマンティック抽出とサンプリングを行う。 設計モデルの有効性をUA-DETRACデータセットを用いて検証し、全体的なA-GSCフレームワークの性能向上を実証した。
  論文  参考訳（メタデータ） (2024-04-10T13:24:27Z)
• A Multi-Task Oriented Semantic Communication Framework for Autonomous Vehicles [5.779316179788962]
  本研究は、コネクテッドおよび自律走行車のためのマルチタスク指向のセマンティックコミュニケーションフレームワークを提案する。 道路交通標識のセマンティックエンコーディングを行う畳み込みオートエンコーダ(CAE)を提案する。 これらの符号化された画像は、気象条件の厳しい衛星を通して、あるCAVから別のCAVに送信される。
  論文  参考訳（メタデータ） (2024-03-06T12:04:24Z)
• Generative AI-aided Joint Training-free Secure Semantic Communications via Multi-modal Prompts [89.04751776308656]
  本稿では,多モデルプロンプトを用いたGAI支援型SemComシステムを提案する。 セキュリティ上の懸念に応えて、フレンドリーなジャマーによって支援される隠蔽通信の応用を紹介する。
  論文  参考訳（メタデータ） (2023-09-05T23:24:56Z)
• Communication-Efficient Framework for Distributed Image Semantic Wireless Transmission [68.69108124451263]
  IoTデバイスを用いたマルチタスク分散画像伝送のためのFederated Learning-based semantic communication (FLSC)フレームワーク。 各リンクは階層型視覚変換器(HVT)ベースの抽出器とタスク適応トランスレータで構成される。 チャネル状態情報に基づく多重出力多重出力伝送モジュール。
  論文  参考訳（メタデータ） (2023-08-07T16:32:14Z)
• Vector Quantized Semantic Communication System [22.579525825992416]
  我々は,VQ-DeepSCという画像伝送のための深層学習可能なベクトル量子化(VQ)セマンティック通信システムを開発した。 具体的には、画像のマルチスケールな意味的特徴を抽出し、マルチスケールな意味的埋め込み空間を導入するCNNベースのトランシーバを提案する。 我々は、PatchGAN識別器を導入して、受信画像の品質を向上させるために、敵対訓練を実践する。
  論文  参考訳（メタデータ） (2022-09-23T10:58:23Z)
• Semantic Image Synthesis via Diffusion Models [159.4285444680301]
  Denoising Diffusion Probabilistic Models (DDPM) は様々な画像生成タスクにおいて顕著な成功を収めた。 セマンティック画像合成に関する最近の研究は、主に「GAN(Generative Adversarial Nets)」に追従している。
  論文  参考訳（メタデータ） (2022-06-30T18:31:51Z)
• CRIS: CLIP-Driven Referring Image Segmentation [71.56466057776086]
  エンドツーエンドのCLIP駆動参照画像フレームワーク(CRIS)を提案する。 CRISは、テキストとピクセルのアライメントを達成するために、視覚言語によるデコーディングとコントラスト学習に頼っている。 提案するフレームワークは, 後処理を伴わずに, 最先端の性能を著しく向上させる。
  論文  参考訳（メタデータ） (2021-11-30T07:29:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。