論文の概要: Generative Joint Source-Channel Coding for Semantic Image Transmission
- arxiv url: http://arxiv.org/abs/2211.13772v1
- Date: Thu, 24 Nov 2022 19:14:27 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-28 15:43:38.681733
- Title: Generative Joint Source-Channel Coding for Semantic Image Transmission
- Title（参考訳）: 意味的画像伝送のための共同音源・チャネル符号化
- Authors: Ecenaz Erdemir, Tze-Yang Tung, Pier Luigi Dragotti, Deniz Gunduz
- Abstract要約: ディープニューラルネットワーク(DNN)を用いたJSCCスキームは、無線画像伝送において有望な結果をもたらす。
本稿では,無線画像伝送における深部生成モデル(DGM)の知覚品質を活用する2つの新しいJ SCC方式を提案する。
- 参考スコア（独自算出の注目度）: 29.738666406095074
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent works have shown that joint source-channel coding (JSCC) schemes using
deep neural networks (DNNs), called DeepJSCC, provide promising results in
wireless image transmission. However, these methods mostly focus on the
distortion of the reconstructed signals with respect to the input image, rather
than their perception by humans. However, focusing on traditional distortion
metrics alone does not necessarily result in high perceptual quality,
especially in extreme physical conditions, such as very low bandwidth
compression ratio (BCR) and low signal-to-noise ratio (SNR) regimes. In this
work, we propose two novel JSCC schemes that leverage the perceptual quality of
deep generative models (DGMs) for wireless image transmission, namely
InverseJSCC and GenerativeJSCC. While the former is an inverse problem approach
to DeepJSCC, the latter is an end-to-end optimized JSCC scheme. In both, we
optimize a weighted sum of mean squared error (MSE) and learned perceptual
image patch similarity (LPIPS) losses, which capture more semantic similarities
than other distortion metrics. InverseJSCC performs denoising on the distorted
reconstructions of a DeepJSCC model by solving an inverse optimization problem
using style-based generative adversarial network (StyleGAN). Our simulation
results show that InverseJSCC significantly improves the state-of-the-art
(SotA) DeepJSCC in terms of perceptual quality in edge cases. In
GenerativeJSCC, we carry out end-to-end training of an encoder and a
StyleGAN-based decoder, and show that GenerativeJSCC significantly outperforms
DeepJSCC both in terms of distortion and perceptual quality.
- Abstract（参考訳）: 近年の研究では、ディープニューラルネットワーク(dnn)を用いたjscc(source-channel coding)が無線画像伝送に有望な結果をもたらすことが示されている。
しかし,これらの手法は主に人間の知覚よりも,入力画像に対する再構成信号の歪みに着目している。
しかし、従来の歪み指標のみに注目することは、特に超低帯域圧縮比 (BCR) や低信号-雑音比 (SNR) といった極端な物理的条件において、高い知覚品質をもたらすとは限らない。
本研究では,無線画像伝送における深部生成モデル(DGM)の知覚品質を活用する2つの新しいJSCCスキーム,すなわちInverseJSCCとGenerativeJSCCを提案する。
前者はDeepJSCCの逆問題であり、後者はエンドツーエンドの最適化JSCCスキームである。
どちらも、平均二乗誤差(MSE)の重み付き和を最適化し、知覚的イメージパッチ類似度(LPIPS)の損失を学習し、他の歪み指標よりも意味的類似度を捉える。
InverseJSCCは、スタイルベース生成逆数ネットワーク(StyleGAN)を用いた逆最適化問題を解くことにより、DeepJSCCモデルの歪んだ再構成を復調する。
シミュレーションの結果,InverseJSCCはエッジ症例の知覚的品質に関して,最先端(SotA)のDeepJSCCを著しく改善することがわかった。
GenerativeJSCCでは,エンコーダとStyleGANベースのデコーダのエンドツーエンドトレーニングを実施し,デコーダの歪みと知覚品質の両方において,GenerativeJSCCがDeepJSCCを著しく上回っていることを示す。
関連論文リスト
- Semantic Ensemble Loss and Latent Refinement for High-Fidelity Neural Image Compression [58.618625678054826]
本研究は、最適な視覚的忠実度のために設計された強化されたニューラル圧縮手法を提案する。
我々は,洗練されたセマンティック・アンサンブル・ロス,シャルボニエ・ロス,知覚的損失,スタイル・ロス,非バイナリ・ディバイザ・ロスを組み込んだモデルを構築した。
実験により,本手法は神経画像圧縮の統計的忠実度を著しく向上させることが示された。
論文 参考訳（メタデータ） (2024-01-25T08:11:27Z) - The Rate-Distortion-Perception-Classification Tradeoff: Joint Source Coding and Modulation via Inverse-Domain GANs [4.735670734773145]
チャネルレート,歪み知覚,分類精度の厳密なトレードオフが存在することを示す。
本稿では,このトレードオフをナビゲートする2つの画像圧縮手法を提案する。
また、提案したID-GANアルゴリズムは、画像の歪み、知覚、分類精度のバランスを保ち、従来の分離法よりも大幅に優れていることを示した。
論文 参考訳（メタデータ） (2023-12-22T16:06:43Z) - DGNet: Dynamic Gradient-Guided Network for Water-Related Optics Image
Enhancement [77.0360085530701]
水中画像強調(UIE)は、水中環境によって引き起こされる複雑な劣化のために難しい課題である。
従来の手法では、劣化過程を理想化し、中音や物体の動きが画像の特徴の分布に与える影響を無視することが多い。
提案手法では,予測画像を用いて疑似ラベルを動的に更新し,動的勾配を加えてネットワークの勾配空間を最適化する。
論文 参考訳（メタデータ） (2023-12-12T06:07:21Z) - Distance Weighted Trans Network for Image Completion [52.318730994423106]
本稿では,DWT(Distance-based Weighted Transformer)を利用した画像コンポーネント間の関係をよりよく理解するためのアーキテクチャを提案する。
CNNは、粗い事前の局所的なテクスチャ情報を強化するために使用される。
DWTブロックは、特定の粗いテクスチャやコヒーレントな視覚構造を復元するために使用される。
論文 参考訳（メタデータ） (2023-10-11T12:46:11Z) - CommIN: Semantic Image Communications as an Inverse Problem with
INN-Guided Diffusion Models [20.005671042281246]
劣化した再構成画像からの高品質なソース画像の復元を逆問題とするComminを提案する。
極端条件下でのDeepJSCCと比較して,コミンは知覚品質を著しく向上させることが示された。
論文 参考訳（メタデータ） (2023-10-02T12:06:58Z) - Deep Joint Source-Channel Coding with Iterative Source Error Correction [11.41076729592696]
深層学習に基づくジョイントソースチャネル符号(Deep J SCC)に対する反復的ソース誤り訂正(ISEC)復号法を提案する。
チャネルを通じて受信されたノイズワードに対して、Deep J SCCエンコーダとデコーダペアを使用して、コードを反復的に更新する。
提案手法は, チャネルノイズ特性がトレーニング時に使用するものと一致しない場合に, ベースラインよりも信頼性の高いソース再構成結果を生成する。
論文 参考訳（メタデータ） (2023-02-17T22:50:58Z) - Perceptual Learned Source-Channel Coding for High-Fidelity Image
Semantic Transmission [7.692038874196345]
本稿では, 深部JSCCの最適化のために, 対向損失を導入する。
我々の新しい深層JSCCアーキテクチャは、エンコーダ、無線チャネル、デコーダ/ジェネレータ、および識別器を組み合わせたものである。
ユーザスタディでは、知覚的に類似したエンドツーエンドの画像伝送品質を達成することで、約50%の無線チャネル帯域幅コストを節約できることを確認した。
論文 参考訳（メタデータ） (2022-05-26T03:05:13Z) - Adaptive Information Bottleneck Guided Joint Source and Channel Coding
for Image Transmission [132.72277692192878]
画像伝送には適応情報ボトルネック(IB)誘導ジョイントソースとチャネル符号化(AIB-JSCC)が提案されている。
AIB-JSCCの目的は、画像再構成品質を改善しながら伝送速度を下げることである。
実験の結果,AIB-JSCCは送信データ量を大幅に削減し,再現性を向上させることができることがわかった。
論文 参考訳（メタデータ） (2022-03-12T17:44:02Z) - Asymmetric CNN for image super-resolution [102.96131810686231]
深層畳み込みニューラルネットワーク(CNN)は、過去5年間で低レベルビジョンに広く適用されています。
画像超解像のための非対称ブロック(AB)、mem?ory拡張ブロック(MEB)、高周波数特徴強調ブロック(HFFEB)からなる非対称CNN(ACNet)を提案する。
我々のACNetは、ブラインドノイズの単一画像超解像(SISR)、ブラインドSISR、ブラインドSISRを効果的に処理できる。
論文 参考訳（メタデータ） (2021-03-25T07:10:46Z) - Bandwidth-Agile Image Transmission with Deep Joint Source-Channel Coding [7.081604594416339]
画像が時間や頻度で徐々に層に伝達されるシナリオを考察する。
DeepJSCC-$l$は、畳み込みオートエンコーダを使用する革新的なソリューションである。
DeepJSCC-$l$は、低信号対雑音比(SNR)と小さな帯域幅規則の挑戦において、最先端のデジタルプログレッシブ伝送方式と同等の性能を持つ。
論文 参考訳（メタデータ） (2020-09-26T00:11:50Z) - Image Fine-grained Inpainting [89.17316318927621]
拡張畳み込みの密結合を利用してより大きく効果的な受容場を得る一段階モデルを提案する。
この効率的なジェネレータをよく訓練するために、頻繁に使用されるVGG特徴整合損失を除いて、新しい自己誘導回帰損失を設計する。
また、局所的・グローバルな分枝を持つ識別器を用いて、局所的・グローバルな内容の整合性を確保する。
論文 参考訳（メタデータ） (2020-02-07T03:45:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。