論文の概要: MOC-RVQ: Multilevel Codebook-assisted Digital Generative Semantic Communication

• arxiv url: http://arxiv.org/abs/2401.01272v1
• Date: Tue, 2 Jan 2024 16:17:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-03 13:23:40.151539
• Title: MOC-RVQ: Multilevel Codebook-assisted Digital Generative Semantic Communication
• Title（参考訳）: MOC-RVQ:多レベルコードブック支援ディジタル生成セマンティックコミュニケーション
• Authors: Yingbin Zhou, Yaping Sun, Guanying Chen, Xiaodong Xu, Hao Chen, Binhong Huang, Shuguang Cui, Ping Zhang
• Abstract要約: 本稿では,2段階の学習フレームワークを用いた多段階生成セマンティックコミュニケーションシステムを提案する。 最初の段階では、マルチヘッドオクタナリーコードブック(MOC)を用いて高品質なコードブックをトレーニングし、インデックス範囲を圧縮する。 第2段階では、Swin Transformerに基づくノイズ低減ブロック(NRB)とマルチレベルコードブックを導入する。
• 参考スコア（独自算出の注目度）: 45.038606603738586
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vector quantization-based image semantic communication systems have successfully boosted transmission efficiency, but face a challenge with conflicting requirements between codebook design and digital constellation modulation. Traditional codebooks need a wide index range, while modulation favors few discrete states. To address this, we propose a multilevel generative semantic communication system with a two-stage training framework. In the first stage, we train a high-quality codebook, using a multi-head octonary codebook (MOC) to compress the index range. We also integrate a residual vector quantization (RVQ) mechanism for effective multilevel communication. In the second stage, a noise reduction block (NRB) based on Swin Transformer is introduced, coupled with the multilevel codebook from the first stage, serving as a high-quality semantic knowledge base (SKB) for generative feature restoration. Experimental results highlight MOC-RVQ's superior performance over methods like BPG or JPEG, even without channel error correction coding.
• Abstract（参考訳）: ベクトル量子化に基づく画像意味コミュニケーションシステムは伝送効率の向上に成功しているが、コードブック設計とデジタルコンステレーション変調の相反する要件に直面している。 伝統的なコードブックは幅広いインデックス範囲を必要とするが、変調は少ない離散状態を好む。 そこで本研究では,二段階学習フレームワークを用いた多レベル生成意味コミュニケーションシステムを提案する。 第1段階では,マルチヘッドオクタナリーコードブック(moc)を用いて,ハイクオリティなコードブックをトレーニングし,インデックス範囲を圧縮する。 また,マルチレベル通信のための残差ベクトル量子化(rvq)機構も統合した。 第2段階では、Swin Transformerに基づくノイズ低減ブロック(NRB)と、第1段からのマルチレベルコードブックが組み合わされ、生成的特徴回復のための高品質なセマンティックナレッジベース(SKB)として機能する。 実験結果は,チャネル誤り訂正符号がなくても,BPGやJPEGなどの手法よりもMOC-RVQの方が優れた性能を示す。

関連論文リスト

• PassionSR: Post-Training Quantization with Adaptive Scale in One-Step Diffusion based Image Super-Resolution [87.89013794655207]
  拡散に基づく画像超解像(SR)モデルでは、複数のデノナイジングステップのコストで優れた性能を示す。 本稿では,一段階拡散(OSD)画像SR,PassionSRにおける適応スケールの学習後量子化手法を提案する。 我々のPassionSRは、画像SRの最近の先進的な低ビット量子化法に対して大きな利点がある。
  論文  参考訳（メタデータ） (2024-11-26T04:49:42Z)
• MaskBit: Embedding-free Image Generation via Bit Tokens [54.827480008982185]
  我々は,VQGANの実証的,体系的な検討を行い,近代化されたVQGANを導いた。 ビットトークンを直接操作する新しい埋め込み不要な生成ネットワークは、ImageNet 256x256ベンチマークで1.52の最先端FIDを達成し、わずか305Mパラメータのコンパクトなジェネレータモデルである。
  論文  参考訳（メタデータ） (2024-09-24T16:12:12Z)
• Learned Image Transmission with Hierarchical Variational Autoencoder [28.084648666081943]
  画像伝送のための革新的階層型ジョイントソースチャネル符号化(HJSCC)フレームワークを提案する。 提案手法では,送信側のボトムアップパスとトップダウンパスの組み合わせを利用して,元の画像の複数の階層表現を自動回帰的に生成する。 提案手法は, 周波数歪み特性において既存のベースラインより優れ, チャネルノイズに対するロバスト性を維持している。
  論文  参考訳（メタデータ） (2024-08-29T08:23:57Z)
• Visual Language Model based Cross-modal Semantic Communication Systems [42.321208020228894]
  本稿では,視覚言語モデルに基づくクロスモーダル・セマンティックコミュニケーションシステムを提案する。 VLM−CSCは、3つの新規成分を含む。 実験により, CSCシステムの有効性, 適応性, 堅牢性を検証した。
  論文  参考訳（メタデータ） (2024-05-06T08:59:16Z)
• Towards Accurate Image Coding: Improved Autoregressive Image Generation with Dynamic Vector Quantization [73.52943587514386]
  既存のベクトル量子化(VQ)ベースの自己回帰モデルは、2段階生成パラダイムに従う。 画像領域を可変長符号に符号化する動的量子化VAE(DQ-VAE)を提案する。
  論文  参考訳（メタデータ） (2023-05-19T14:56:05Z)
• Vector Quantized Semantic Communication System [22.579525825992416]
  我々は,VQ-DeepSCという画像伝送のための深層学習可能なベクトル量子化(VQ)セマンティック通信システムを開発した。 具体的には、画像のマルチスケールな意味的特徴を抽出し、マルチスケールな意味的埋め込み空間を導入するCNNベースのトランシーバを提案する。 我々は、PatchGAN識別器を導入して、受信画像の品質を向上させるために、敵対訓練を実践する。
  論文  参考訳（メタデータ） (2022-09-23T10:58:23Z)
• MoVQ: Modulating Quantized Vectors for High-Fidelity Image Generation [41.029441562130984]
  2段階ベクトル量子化(VQ)生成モデルは、高忠実度と高解像度の画像の合成を可能にする。 提案した変調VQGANは、再構成画像の品質を大幅に向上し、高忠実度画像生成を可能にする。
  論文  参考訳（メタデータ） (2022-09-19T13:26:51Z)
• CADyQ: Content-Aware Dynamic Quantization for Image Super-Resolution [55.50793823060282]
  本稿では,画像超解像(SR)ネットワークのための新しいコンテント・アウェア・ダイナミック量子化(CADyQ)手法を提案する。 CADyQは、入力画像のローカル内容に基づいて、局所領域と層に最適なビットを適応的に割り当てる。 パイプラインは様々なSRネットワークでテストされ、いくつかの標準ベンチマークで評価されている。
  論文  参考訳（メタデータ） (2022-07-21T07:50:50Z)
• Learned Multi-Resolution Variable-Rate Image Compression with Octave-based Residual Blocks [15.308823742699039]
  一般化オクターブ畳み込み(GoConv)と一般化オクターブ畳み込み(GoTConv)を用いた新しい可変レート画像圧縮フレームワークを提案する。 単一モデルが異なるビットレートで動作し、複数レートの画像特徴を学習できるようにするため、新しい目的関数が導入される。 実験結果から,H.265/HEVCベースのBPGや最先端の学習に基づく可変レート法などの標準コーデックよりも高い性能を示した。
  論文  参考訳（メタデータ） (2020-12-31T06:26:56Z)
• Optimal Gradient Quantization Condition for Communication-Efficient Distributed Training [99.42912552638168]
  勾配の通信は、コンピュータビジョンアプリケーションで複数のデバイスでディープニューラルネットワークをトレーニングするのに費用がかかる。 本研究は,textbfANY勾配分布に対する二値および多値勾配量子化の最適条件を導出する。 最適条件に基づいて, 偏差BinGradと非偏差ORQの2値勾配量子化と多値勾配量子化の2つの新しい量子化手法を開発した。
  論文  参考訳（メタデータ） (2020-02-25T18:28:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。