論文の概要: MOC-RVQ: Multilevel Codebook-Assisted Digital Generative Semantic Communication
- arxiv url: http://arxiv.org/abs/2401.01272v2
- Date: Sat, 28 Sep 2024 10:48:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-01 21:59:53.215173
- Title: MOC-RVQ: Multilevel Codebook-Assisted Digital Generative Semantic Communication
- Title(参考訳): MOC-RVQ: マルチレベルコードブック支援ディジタル生成セマンティックコミュニケーション
- Authors: Yingbin Zhou, Yaping Sun, Guanying Chen, Xiaodong Xu, Hao Chen, Binhong Huang, Shuguang Cui, Ping Zhang,
- Abstract要約: 本稿では,2段階の学習フレームワークを用いた多段階生成セマンティックコミュニケーションシステムを提案する。
最初の段階では,マルチヘッドオクタナリーコードブックを用いて高品質なコードブックを訓練し,インデックス範囲を圧縮する。
第2段階では、Swin Transformerに基づくノイズ低減ブロック(NRB)が導入され、高品質なセマンティック知識ベースとして機能する。
- 参考スコア(独自算出の注目度): 43.17888320268593
- License:
- Abstract: Vector quantization-based image semantic communication systems have successfully boosted transmission efficiency, but face challenges with conflicting requirements between codebook design and digital constellation modulation. Traditional codebooks need wide index ranges, while modulation favors few discrete states. To address this, we propose a multilevel generative semantic communication system with a two-stage training framework. In the first stage, we train a high-quality codebook, using a multi-head octonary codebook (MOC) to compress the index range. In addition, a residual vector quantization (RVQ) mechanism is also integrated for effective multilevel communication. In the second stage, a noise reduction block (NRB) based on Swin Transformer is introduced, coupled with the multilevel codebook from the first stage, serving as a high-quality semantic knowledge base (SKB) for generative feature restoration. Finally, to simulate modern image transmission scenarios, we employ a diverse collection of high-resolution 2K images as the test set. The experimental results consistently demonstrate the superior performance of MOC-RVQ over conventional methods such as BPG or JPEG. Additionally, MOC-RVQ achieves comparable performance to an analog JSCC scheme, while needing only one-sixth of the channel bandwidth ratio (CBR) and being directly compatible with digital transmission systems.
- Abstract(参考訳): ベクトル量子化に基づく画像意味コミュニケーションシステムは伝送効率の向上に成功しているが、コードブック設計とデジタルコンステレーション変調の相反する要件に直面している。
伝統的なコードブックは広範囲のインデックスを必要とするが、変調は少数の離散状態を好む。
そこで本研究では,2段階の学習フレームワークを用いた多段階生成セマンティックコミュニケーションシステムを提案する。
最初の段階では、マルチヘッドオクタナリーコードブック(MOC)を用いて高品質なコードブックをトレーニングし、インデックス範囲を圧縮する。
さらに、効率的なマルチレベル通信のために、残留ベクトル量子化(RVQ)機構も統合されている。
第2段階では、Swin Transformerに基づくノイズ低減ブロック(NRB)と、第1段からのマルチレベルコードブックが組み合わされ、生成的特徴回復のための高品質なセマンティックナレッジベース(SKB)として機能する。
最後に、現代の画像伝送シナリオをシミュレートするために、テストセットとして高解像度2K画像の多種多様なコレクションを用いる。
実験結果は,従来手法であるBPGやJPEGよりもMOC-RVQの方が優れた性能を示した。
さらに、MOC-RVQはアナログJSCC方式に匹敵する性能を実現し、チャネル帯域幅比(CBR)の6分の1しか必要とせず、デジタル伝送システムと直接互換性がある。
関連論文リスト
- Visual Language Model based Cross-modal Semantic Communication Systems [42.321208020228894]
本稿では,視覚言語モデルに基づくクロスモーダル・セマンティックコミュニケーションシステムを提案する。
VLM−CSCは、3つの新規成分を含む。
実験により, CSCシステムの有効性, 適応性, 堅牢性を検証した。
論文 参考訳(メタデータ) (2024-05-06T08:59:16Z) - Analog information decoding of bosonic quantum LDPC codes [3.34006871348377]
本稿では,ボソニック量子ビット読み出しから得られたシンドローム情報を明示的に活用する新しい復号法を提案する。
その結果,アナログ情報を用いた一般的な復号アルゴリズムの基礎となり,フォールトトレラント量子計算の方向に有望な結果を示すことができた。
論文 参考訳(メタデータ) (2023-11-02T15:41:03Z) - Towards Accurate Image Coding: Improved Autoregressive Image Generation
with Dynamic Vector Quantization [73.52943587514386]
既存のベクトル量子化(VQ)ベースの自己回帰モデルは、2段階生成パラダイムに従う。
画像領域を可変長符号に符号化する動的量子化VAE(DQ-VAE)を提案する。
論文 参考訳(メタデータ) (2023-05-19T14:56:05Z) - A Multi-Stage Multi-Codebook VQ-VAE Approach to High-Performance Neural
TTS [52.51848317549301]
高速なTTS合成のためのマルチステージマルチコードブック(MSMC)手法を提案する。
ベクトル量子化可変オートエンコーダ(VQ-VAE)に基づく特徴解析器を用いて,音声訓練データのメルスペクトルを符号化する。
合成において、ニューラルネットワークは予測されたSMCRを最終的な音声波形に変換する。
論文 参考訳(メタデータ) (2022-09-22T09:43:17Z) - Learning Representations for CSI Adaptive Quantization and Feedback [51.14360605938647]
本稿では,周波数分割二重化システムにおける適応量子化とフィードバックの効率的な手法を提案する。
既存の研究は主に、CSI圧縮のためのオートエンコーダ(AE)ニューラルネットワークの実装に焦点を当てている。
1つはポストトレーニング量子化に基づくもので、もう1つはAEのトレーニング中にコードブックが見つかる方法である。
論文 参考訳(メタデータ) (2022-07-13T08:52:13Z) - Tensor Learning-based Precoder Codebooks for FD-MIMO Systems [47.562560779723334]
本稿では,FD(Full-dimension)マルチインプット・マルチアウトプット(MIMO)システムにおいて,プリコーディングのための低複雑さなコードブックを設計するための効率的な手法を開発する。
モデルフリーなデータ駆動型アプローチを機械学習の基礎として利用し、周辺伝播条件に適応するコードブックを生成する。
論文 参考訳(メタデータ) (2021-06-21T19:18:39Z) - Quantum repeaters based on concatenated bosonic and discrete-variable
quantum codes [7.022007590511487]
伝送量子ビットを2つのレベルからなるボゾンド符号に符号化することを提案する。
最初のレベルでは、1つのボソニックモードでキュービットを符号化する連続可変GKPコードを使用します。
2番目のレベルでは、小さな離散変数のコードを使用します。
論文 参考訳(メタデータ) (2020-11-30T18:14:39Z) - Optimal Gradient Quantization Condition for Communication-Efficient
Distributed Training [99.42912552638168]
勾配の通信は、コンピュータビジョンアプリケーションで複数のデバイスでディープニューラルネットワークをトレーニングするのに費用がかかる。
本研究は,textbfANY勾配分布に対する二値および多値勾配量子化の最適条件を導出する。
最適条件に基づいて, 偏差BinGradと非偏差ORQの2値勾配量子化と多値勾配量子化の2つの新しい量子化手法を開発した。
論文 参考訳(メタデータ) (2020-02-25T18:28:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。