論文の概要: Perceptual Learned Source-Channel Coding for High-Fidelity Image
Semantic Transmission
- arxiv url: http://arxiv.org/abs/2205.13120v1
- Date: Thu, 26 May 2022 03:05:13 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-27 14:58:31.705090
- Title: Perceptual Learned Source-Channel Coding for High-Fidelity Image
Semantic Transmission
- Title(参考訳): 高忠実度画像意味伝達のための知覚的学習ソースチャネル符号化
- Authors: Jun Wang, Sixian Wang, Jincheng Dai, Zhongwei Si, Dekun Zhou, Kai Niu
- Abstract要約: 本稿では, 深部JSCCの最適化のために, 対向損失を導入する。
我々の新しい深層JSCCアーキテクチャは、エンコーダ、無線チャネル、デコーダ/ジェネレータ、および識別器を組み合わせたものである。
ユーザスタディでは、知覚的に類似したエンドツーエンドの画像伝送品質を達成することで、約50%の無線チャネル帯域幅コストを節約できることを確認した。
- 参考スコア(独自算出の注目度): 7.692038874196345
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As one novel approach to realize end-to-end wireless image semantic
transmission, deep learning-based joint source-channel coding (deep JSCC)
method is emerging in both deep learning and communication communities.
However, current deep JSCC image transmission systems are typically optimized
for traditional distortion metrics such as peak signal-to-noise ratio (PSNR) or
multi-scale structural similarity (MS-SSIM). But for low transmission rates,
due to the imperfect wireless channel, these distortion metrics lose
significance as they favor pixel-wise preservation. To account for human visual
perception in semantic communications, it is of great importance to develop new
deep JSCC systems optimized beyond traditional PSNR and MS-SSIM metrics. In
this paper, we introduce adversarial losses to optimize deep JSCC, which tends
to preserve global semantic information and local texture. Our new deep JSCC
architecture combines encoder, wireless channel, decoder/generator, and
discriminator, which are jointly learned under both perceptual and adversarial
losses. Our method yields human visually much more pleasing results than
state-of-the-art engineered image coded transmission systems and traditional
deep JSCC systems. A user study confirms that achieving the perceptually
similar end-to-end image transmission quality, the proposed method can save
about 50\% wireless channel bandwidth cost.
- Abstract(参考訳): エンド・ツー・エンドの無線画像意味伝達を実現する新しい手法として,深層学習とコミュニケーションの両コミュニティにおいて,深層学習に基づくジョイント・ソース・チャネル・コーディング(ディープJSCC)法が登場している。
しかし、現在のディープJSCC画像伝送システムは、通常、ピーク信号対雑音比(PSNR)やマルチスケール構造類似度(MS-SSIM)といった従来の歪み指標に最適化されている。
しかし、伝送速度が低い場合は、不完全な無線チャネルのため、これらの歪みの指標はピクセル単位の保存を好むため、重要性を失う。
意味コミュニケーションにおける人間の視覚的知覚を考慮に入れるためには,従来のPSNRやMS-SSIMの指標を超える高度JSCCシステムを開発することが重要である。
本稿では,大域的な意味情報や局所的なテクスチャを保存しがちな深いJSCCを最適化するために,敵対的損失を導入する。
当社の新しいディープjsccアーキテクチャは、エンコーダ、ワイヤレスチャネル、デコーダ/ジェネレータ、判別器を組み合わせることで、知覚的損失と敵対的損失の両方で共同で学習します。
提案手法は,最先端技術による画像符号化伝送システムや従来型の深部JSCCシステムよりも,人間の視覚効果をはるかに向上させる。
ユーザ調査により,画像伝送品質の知覚的類似性を実現することで,約50~%の無線チャネル帯域幅コストを削減できることを確認した。
関連論文リスト
- SCTransNet: Spatial-channel Cross Transformer Network for Infrared Small
Target Detection [49.40391453094225]
赤外線小ターゲット検出(IRSTD)は近年,U字型ニューラルモデルから大きな恩恵を受けている。
既存のテクニックは、ターゲットが背景と高い類似性を持つ場合に苦労する。
本稿では,空間チャネルクロストランスネットワーク(SCTransNet)を提案する。
論文 参考訳(メタデータ) (2024-01-28T06:41:15Z) - CommIN: Semantic Image Communications as an Inverse Problem with
INN-Guided Diffusion Models [20.005671042281246]
劣化した再構成画像からの高品質なソース画像の復元を逆問題とするComminを提案する。
極端条件下でのDeepJSCCと比較して,コミンは知覚品質を著しく向上させることが示された。
論文 参考訳(メタデータ) (2023-10-02T12:06:58Z) - Joint Channel Estimation and Feedback with Masked Token Transformers in
Massive MIMO Systems [74.52117784544758]
本稿では,CSI行列内の固有周波数領域相関を明らかにするエンコーダデコーダに基づくネットワークを提案する。
エンコーダ・デコーダネットワーク全体がチャネル圧縮に使用される。
提案手法は,共同作業における現状のチャネル推定およびフィードバック技術より優れる。
論文 参考訳(メタデータ) (2023-06-08T06:15:17Z) - Causal Semantic Communication for Digital Twins: A Generalizable
Imitation Learning Approach [74.25870052841226]
デジタルツイン(DT)は、物理世界の仮想表現と通信(例えば6G)、コンピュータ、人工知能(AI)技術を活用して、多くの接続されたインテリジェンスサービスを実現する。
無線システムは、厳密な通信制約下での情報意思決定を容易にするために意味コミュニケーション(SC)のパラダイムを利用することができる。
DTベースの無線システムでは,因果意味通信(CSC)と呼ばれる新しいフレームワークが提案されている。
論文 参考訳(メタデータ) (2023-04-25T00:15:00Z) - Generative Joint Source-Channel Coding for Semantic Image Transmission [29.738666406095074]
ディープニューラルネットワーク(DNN)を用いたJSCCスキームは、無線画像伝送において有望な結果をもたらす。
本稿では,無線画像伝送における深部生成モデル(DGM)の知覚品質を活用する2つの新しいJ SCC方式を提案する。
論文 参考訳(メタデータ) (2022-11-24T19:14:27Z) - Semantic Communications with Discrete-time Analog Transmission: A PAPR
Perspective [11.777292228706742]
DeepJSCCベースのセマンティックコミュニケーションの優れた特徴は、ソース信号から直接意味認識機能を利用することと、これらの特徴の離散時間アナログ伝送(DTAT)である。
従来のデジタル通信と比較すると、DeepJSCCとのセマンティック通信は受信機での復元性能に優れ、チャンネル品質の低下を伴う優雅な劣化を提供するが、伝送信号のピーク対平均電力比(PAPR)も大きい。
論文 参考訳(メタデータ) (2022-08-17T15:07:25Z) - Adaptive Information Bottleneck Guided Joint Source and Channel Coding
for Image Transmission [132.72277692192878]
画像伝送には適応情報ボトルネック(IB)誘導ジョイントソースとチャネル符号化(AIB-JSCC)が提案されている。
AIB-JSCCの目的は、画像再構成品質を改善しながら伝送速度を下げることである。
実験の結果,AIB-JSCCは送信データ量を大幅に削減し,再現性を向上させることができることがわかった。
論文 参考訳(メタデータ) (2022-03-12T17:44:02Z) - Transformer-based SAR Image Despeckling [53.99620005035804]
本稿では,SAR画像復号化のためのトランスフォーマーネットワークを提案する。
提案する非特定ネットワークは、トランスフォーマーベースのエンコーダにより、異なる画像領域間のグローバルな依存関係を学習することができる。
実験により,提案手法は従来型および畳み込み型ニューラルネットワークに基づく解法よりも大幅に改善されていることが示された。
論文 参考訳(メタデータ) (2022-01-23T20:09:01Z) - A Variational Auto-Encoder Approach for Image Transmission in Wireless
Channel [4.82810058837951]
本稿では,変分オートエンコーダの性能について検討し,その結果を標準オートエンコーダと比較する。
実験により,SSIMは受信機における再構成画像の品質を視覚的に向上することを示した。
論文 参考訳(メタデータ) (2020-10-08T13:35:38Z) - Bandwidth-Agile Image Transmission with Deep Joint Source-Channel Coding [7.081604594416339]
画像が時間や頻度で徐々に層に伝達されるシナリオを考察する。
DeepJSCC-$l$は、畳み込みオートエンコーダを使用する革新的なソリューションである。
DeepJSCC-$l$は、低信号対雑音比(SNR)と小さな帯域幅規則の挑戦において、最先端のデジタルプログレッシブ伝送方式と同等の性能を持つ。
論文 参考訳(メタデータ) (2020-09-26T00:11:50Z) - A U-Net Based Discriminator for Generative Adversarial Networks [86.67102929147592]
GAN(Generative Adversarial Network)のための代替U-Netベースの識別器アーキテクチャを提案する。
提案アーキテクチャにより,合成画像のグローバルコヒーレンスを維持しつつ,画素単位の詳細なフィードバックを生成元に提供することができる。
斬新な判別器は、標準分布と画像品質の指標の観点から、最先端の技術を向上する。
論文 参考訳(メタデータ) (2020-02-28T11:16:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。