論文の概要: Codebook-enabled Generative End-to-end Semantic Communication Powered by Transformer

• arxiv url: http://arxiv.org/abs/2402.16868v2
• Date: Tue, 5 Mar 2024 18:10:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-06 23:40:15.338439
• Title: Codebook-enabled Generative End-to-end Semantic Communication Powered by Transformer
• Title（参考訳）: トランスフォーマによるコードブック対応生成型エンドツーエンド意味コミュニケーション
• Authors: Peigen Ye, Yaping Sun, Shumin Yao, Hao Chen, Xiaodong Xu, Shuguang Cui
• Abstract要約: 本稿では,堅牢なコードブック支援画像意味コミュニケーションシステムを提案する。 受信機で生成された画像は、視覚的知覚の観点から比較した手法よりも優れていた。
• 参考スコア（独自算出の注目度）: 39.57455920176682
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Codebook-based generative semantic communication attracts increasing attention, since only indices are required to be transmitted when the codebook is shared between transmitter and receiver. However, due to the fact that the semantic relations among code vectors are not necessarily related to the distance of the corresponding code indices, the performance of the codebook-enabled semantic communication system is susceptible to the channel noise. Thus, how to improve the system robustness against the noise requires careful design. This paper proposes a robust codebook-assisted image semantic communication system, where semantic codec and codebook are first jointly constructed, and then vector-to-index transformer is designed guided by the codebook to eliminate the effects of channel noise, and achieve image generation. Thanks to the assistance of the high-quality codebook to the Transformer, the generated images at the receiver outperform those of the compared methods in terms of visual perception. In the end, numerical results and generated images demonstrate the advantages of the generative semantic communication method over JPEG+LDPC and traditional joint source channel coding (JSCC) methods.
• Abstract（参考訳）: コードブックベースの生成セマンティックコミュニケーションは、送信機と受信機の間でコードブックを共有する際には、インデックスのみを送信する必要があるため、注目を集める。 しかし,符号ベクトル間の意味的関係が対応する符号指標の距離に必ずしも関係しているとは限らないため,符号ブック対応の意味的通信システムの性能はチャネルノイズの影響を受けやすい。 したがって、ノイズに対するシステムの堅牢性を改善するには、慎重に設計する必要がある。 本稿では,まずセマンティックコーデックとコードブックを共同で構築し,次にベクタ・インデクス変換器をコードブックで案内し,チャネルノイズの影響を解消し,画像生成を実現するロバストなコードブック支援画像意味通信システムを提案する。 高品質なコードブックをTransformerに提供することにより、受信側で生成された画像は、視覚的知覚の観点から比較した手法よりも優れる。 最後に、JPEG+LDPCと従来のジョイントソースチャネル符号化(JSCC)法に比較して、数値的な結果と生成画像は、生成セマンティック通信方式の利点を示す。

関連論文リスト

• Learned Image Transmission with Hierarchical Variational Autoencoder [28.084648666081943]
  画像伝送のための革新的階層型ジョイントソースチャネル符号化(HJSCC)フレームワークを提案する。 提案手法では,送信側のボトムアップパスとトップダウンパスの組み合わせを利用して,元の画像の複数の階層表現を自動回帰的に生成する。 提案手法は, 周波数歪み特性において既存のベースラインより優れ, チャネルノイズに対するロバスト性を維持している。
  論文  参考訳（メタデータ） (2024-08-29T08:23:57Z)
• MOC-RVQ: Multilevel Codebook-Assisted Digital Generative Semantic Communication [43.17888320268593]
  本稿では,2段階の学習フレームワークを用いた多段階生成セマンティックコミュニケーションシステムを提案する。 最初の段階では,マルチヘッドオクタナリーコードブックを用いて高品質なコードブックを訓練し,インデックス範囲を圧縮する。 第2段階では、Swin Transformerに基づくノイズ低減ブロック(NRB)が導入され、高品質なセマンティック知識ベースとして機能する。
  論文  参考訳（メタデータ） (2024-01-02T16:17:43Z)
• Generative AI-aided Joint Training-free Secure Semantic Communications via Multi-modal Prompts [89.04751776308656]
  本稿では,多モデルプロンプトを用いたGAI支援型SemComシステムを提案する。 セキュリティ上の懸念に応えて、フレンドリーなジャマーによって支援される隠蔽通信の応用を紹介する。
  論文  参考訳（メタデータ） (2023-09-05T23:24:56Z)
• Transformer-based Joint Source Channel Coding for Textual Semantic Communication [23.431590618978948]
  Space-Air-Ground-Sea統合ネットワークコールにより、ジャミングに対するより堅牢でセキュアな送信技術が要求される。 本稿では,文のモデル化とエンコードに先進的な自然言語処理技術を利用する,ロバスト伝送のためのテキスト意味伝達フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-23T08:42:05Z)
• Is Semantic Communications Secure? A Tale of Multi-Domain Adversarial Attacks [70.51799606279883]
  セマンティック・コミュニケーションのためのディープ・ニューラル・ネットワーク(DNN)に対するテスト・タイム・アタックを導入する。 再建損失が低い場合でも,伝達情報のセマンティクスを変更可能であることを示す。
  論文  参考訳（メタデータ） (2022-12-20T17:13:22Z)
• Denoising Diffusion Error Correction Codes [92.10654749898927]
  近年、ニューラルデコーダは古典的デコーダ技術に対する優位性を実証している。 最近の最先端のニューラルデコーダは複雑で、多くのレガシデコーダの重要な反復的スキームが欠如している。 本稿では,任意のブロック長の線形符号のソフトデコードにデノナイズ拡散モデルを適用することを提案する。
  論文  参考訳（メタデータ） (2022-09-16T11:00:50Z)
• Towards Semantic Communications: Deep Learning-Based Image Semantic Coding [42.453963827153856]
  我々は,よりセマンティクスや帯域幅に敏感な画像データに対するセマンティクス通信を考案した。 画素レベルを超えて画像を符号化する強化学習に基づく適応意味符号化(RL-ASC)手法を提案する。 実験の結果,提案したRL-ASCはノイズ耐性があり,視覚的に快適でセマンティックな一貫した画像の再構成が可能であった。
  論文  参考訳（メタデータ） (2022-08-08T12:29:55Z)
• Semantic Image Synthesis via Diffusion Models [159.4285444680301]
  Denoising Diffusion Probabilistic Models (DDPM) は様々な画像生成タスクにおいて顕著な成功を収めた。 セマンティック画像合成に関する最近の研究は、主に「GAN(Generative Adversarial Nets)」に追従している。
  論文  参考訳（メタデータ） (2022-06-30T18:31:51Z)
• Perceptual Learned Source-Channel Coding for High-Fidelity Image Semantic Transmission [7.692038874196345]
  本稿では, 深部JSCCの最適化のために, 対向損失を導入する。 我々の新しい深層JSCCアーキテクチャは、エンコーダ、無線チャネル、デコーダ/ジェネレータ、および識別器を組み合わせたものである。 ユーザスタディでは、知覚的に類似したエンドツーエンドの画像伝送品質を達成することで、約50%の無線チャネル帯域幅コストを節約できることを確認した。
  論文  参考訳（メタデータ） (2022-05-26T03:05:13Z)
• Error Correction Code Transformer [92.10654749898927]
  本稿では,トランスフォーマーアーキテクチャを任意のブロック長で線形符号のソフトデコードに拡張することを提案する。 我々は,各チャネルの出力次元を高次元に符号化し,個別に処理すべきビット情報のより良い表現を行う。 提案手法は、トランスフォーマーの極端なパワーと柔軟性を示し、既存の最先端のニューラルデコーダを、その時間的複雑さのごく一部で大きなマージンで上回る。
  論文  参考訳（メタデータ） (2022-03-27T15:25:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。