論文の概要: Semantic Feature Decomposition based Semantic Communication System of Images with Large-scale Visual Generation Models

• arxiv url: http://arxiv.org/abs/2410.20126v1
• Date: Sat, 26 Oct 2024 08:53:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-29 12:22:47.122960
• Title: Semantic Feature Decomposition based Semantic Communication System of Images with Large-scale Visual Generation Models
• Title（参考訳）: 大規模視覚生成モデルを用いた画像の意味的特徴分解に基づく意味的コミュニケーションシステム
• Authors: Senran Fan, Zhicheng Bao, Chen Dong, Haotai Liang, Xiaodong Xu, Ping Zhang,
• Abstract要約: テクスチャカラーに基づく画像TCSCIのセマンティックコミュニケーションシステムを提案する。 イメージを自然言語記述(テキスト)、テクスチャ、色の意味的特徴に分解する。 非常に圧縮され、ノイズに強く、視覚的に類似した画像意味コミュニケーションを実現し、伝送プロセスの解釈性と編集性を確保する。
• 参考スコア（独自算出の注目度）: 5.867765921443141
• License:
• Abstract: The end-to-end image communication system has been widely studied in the academic community. The escalating demands on image communication systems in terms of data volume, environmental complexity, and task precision require enhanced communication efficiency, anti-noise ability and semantic fidelity. Therefore, we proposed a novel paradigm based on Semantic Feature Decomposition (SeFD) for the integration of semantic communication and large-scale visual generation models to achieve high-performance, highly interpretable and controllable image communication. According to this paradigm, a Texture-Color based Semantic Communication system of Images TCSCI is proposed. TCSCI decomposing the images into their natural language description (text), texture and color semantic features at the transmitter. During the transmission, features are transmitted over the wireless channel, and at the receiver, a large-scale visual generation model is utilized to restore the image through received features. TCSCI can achieve extremely compressed, highly noise-resistant, and visually similar image semantic communication, while ensuring the interpretability and editability of the transmission process. The experiments demonstrate that the TCSCI outperforms traditional image communication systems and existing semantic communication systems under extreme compression with good anti-noise performance and interpretability.
• Abstract（参考訳）: エンド・ツー・エンドの画像通信システムは,学術界で広く研究されている。 データボリューム、環境の複雑さ、タスクの正確性の観点から、画像通信システムに対する要求を増大させるには、コミュニケーション効率の向上、アンチノイズ能力、セマンティックフィデリティが必要である。 そこで本研究では,セマンティック特徴分解(Semantic Feature Decomposition, SeFD)に基づく,意味的コミュニケーションと大規模視覚生成モデルの統合により,高性能,高解釈可能,かつ制御可能な画像通信を実現する新しいパラダイムを提案する。 このパラダイムでは、画像TCSCIのテクスチャカラーに基づくセマンティックコミュニケーションシステムを提案する。 TCSCIは、画像を自然言語記述(テキスト)、テクスチャ、および送信側の色の意味的特徴に分解する。 送信中、機能は無線チャネルを介して送信され、受信機では、大規模な視覚生成モデルを使用して受信した特徴を通して画像を復元する。 TCSCIは、非常に圧縮され、非常にノイズに耐性があり、視覚的に類似した画像意味コミュニケーションを実現し、伝送プロセスの解釈可能性と編集性を保証する。 実験により,TCSCIは従来の画像通信システムや既存のセマンティック通信システムよりも高い性能を示し,高い耐雑音性能と解釈性を示した。

関連論文リスト

• Large Generative Model-assisted Talking-face Semantic Communication System [55.42631520122753]
  本研究では,LGM-TSC(Large Generative Model-assisted Talking-face Semantic Communication)システムを提案する。 送信機のジェネレーティブセマンティック・エクストラクタ(GSE)は、意味的にスパースな音声映像を高情報密度のテキストに変換する。 意味的曖昧さと修正のためのLarge Language Model (LLM)に基づくPrivate Knowledge Base (KB)。 BERT-VITS2とSadTalkerモデルを用いた生成意味再構成(GSR)により、テキストを高QoE音声ビデオに変換する。
  論文  参考訳（メタデータ） (2024-11-06T12:45:46Z)
• Trustworthy Image Semantic Communication with GenAI: Explainablity, Controllability, and Efficiency [59.15544887307901]
  画像意味コミュニケーション(ISC)は,高効率な映像コンテンツ伝送を実現する可能性に注目されている。 既存のISCシステムは、解釈可能性、操作性、互換性の課題に直面している。 我々は、複数の下流推論タスクにGenerative Artificial Intelligence(GenAI)を利用する新しい信頼できるISCフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-07T14:32:36Z)
• Semantic Similarity Score for Measuring Visual Similarity at Semantic Level [5.867765921443141]
  シーングラフ生成とグラフマッチングに基づくセマンティック類似度スコア(Semantic similarity Score)のセマンティック評価指標を提案する。 このメトリクスは、画像の意味レベル情報のセマンティックレベルの違いを測定することができ、視覚的意味コミュニケーションシステムにおける評価に使用できる。
  論文  参考訳（メタデータ） (2024-06-06T08:51:26Z)
• Deep Joint Semantic Coding and Beamforming for Near-Space Airship-Borne Massive MIMO Network [70.63240823677182]
  近距離飛行船搭載通信網は、緊急に信頼性と効率のよい飛行船対Xリンクを必要とする。 本稿では,MIMO(Multiple-Input multiple-output)技術とセマンティックコミュニケーションを統合することを提案する。
  論文  参考訳（メタデータ） (2024-05-30T09:46:59Z)
• Generative AI-aided Joint Training-free Secure Semantic Communications via Multi-modal Prompts [89.04751776308656]
  本稿では,多モデルプロンプトを用いたGAI支援型SemComシステムを提案する。 セキュリティ上の懸念に応えて、フレンドリーなジャマーによって支援される隠蔽通信の応用を紹介する。
  論文  参考訳（メタデータ） (2023-09-05T23:24:56Z)
• Communication-Efficient Framework for Distributed Image Semantic Wireless Transmission [68.69108124451263]
  IoTデバイスを用いたマルチタスク分散画像伝送のためのFederated Learning-based semantic communication (FLSC)フレームワーク。 各リンクは階層型視覚変換器(HVT)ベースの抽出器とタスク適応トランスレータで構成される。 チャネル状態情報に基づく多重出力多重出力伝送モジュール。
  論文  参考訳（メタデータ） (2023-08-07T16:32:14Z)
• Causal Semantic Communication for Digital Twins: A Generalizable Imitation Learning Approach [74.25870052841226]
  デジタルツイン(DT)は、物理世界の仮想表現と通信(例えば6G)、コンピュータ、人工知能(AI)技術を活用して、多くの接続されたインテリジェンスサービスを実現する。 無線システムは、厳密な通信制約下での情報意思決定を容易にするために意味コミュニケーション(SC)のパラダイムを利用することができる。 DTベースの無線システムでは,因果意味通信(CSC)と呼ばれる新しいフレームワークが提案されている。
  論文  参考訳（メタデータ） (2023-04-25T00:15:00Z)
• Wireless End-to-End Image Transmission System using Semantic Communications [4.2421412410466575]
  本研究は,物理チャネルを通してセマンティックセグメンテーションマップを送信する際に,帯域幅の節約という形での資源ゲインが巨大であることを示す。 本研究は,物理チャネル歪みと量子化雑音がセマンティック通信に基づくマルチメディアコンテンツ伝送に与える影響について検討する。
  論文  参考訳（メタデータ） (2023-02-27T12:33:53Z)
• Vector Quantized Semantic Communication System [22.579525825992416]
  我々は,VQ-DeepSCという画像伝送のための深層学習可能なベクトル量子化(VQ)セマンティック通信システムを開発した。 具体的には、画像のマルチスケールな意味的特徴を抽出し、マルチスケールな意味的埋め込み空間を導入するCNNベースのトランシーバを提案する。 我々は、PatchGAN識別器を導入して、受信画像の品質を向上させるために、敵対訓練を実践する。
  論文  参考訳（メタデータ） (2022-09-23T10:58:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。