論文の概要: Towards Semantic Communications: Deep Learning-Based Image Semantic Coding

• arxiv url: http://arxiv.org/abs/2208.04094v1
• Date: Mon, 8 Aug 2022 12:29:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-09 12:27:36.088005
• Title: Towards Semantic Communications: Deep Learning-Based Image Semantic Coding
• Title（参考訳）: セマンティックコミュニケーションに向けて:深層学習に基づくイメージセマンティックコーディング
• Authors: Danlan Huang, Feifei Gao, Xiaoming Tao, Qiyuan Du, and Jianhua Lu
• Abstract要約: 我々は,よりセマンティクスや帯域幅に敏感な画像データに対するセマンティクス通信を考案した。 画素レベルを超えて画像を符号化する強化学習に基づく適応意味符号化(RL-ASC)手法を提案する。 実験の結果,提案したRL-ASCはノイズ耐性があり,視覚的に快適でセマンティックな一貫した画像の再構成が可能であった。
• 参考スコア（独自算出の注目度）: 42.453963827153856
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Semantic communications has received growing interest since it can remarkably reduce the amount of data to be transmitted without missing critical information. Most existing works explore the semantic encoding and transmission for text and apply techniques in Natural Language Processing (NLP) to interpret the meaning of the text. In this paper, we conceive the semantic communications for image data that is much more richer in semantics and bandwidth sensitive. We propose an reinforcement learning based adaptive semantic coding (RL-ASC) approach that encodes images beyond pixel level. Firstly, we define the semantic concept of image data that includes the category, spatial arrangement, and visual feature as the representation unit, and propose a convolutional semantic encoder to extract semantic concepts. Secondly, we propose the image reconstruction criterion that evolves from the traditional pixel similarity to semantic similarity and perceptual performance. Thirdly, we design a novel RL-based semantic bit allocation model, whose reward is the increase in rate-semantic-perceptual performance after encoding a certain semantic concept with adaptive quantization level. Thus, the task-related information is preserved and reconstructed properly while less important data is discarded. Finally, we propose the Generative Adversarial Nets (GANs) based semantic decoder that fuses both locally and globally features via an attention module. Experimental results demonstrate that the proposed RL-ASC is noise robust and could reconstruct visually pleasant and semantic consistent image, and saves times of bit cost compared to standard codecs and other deep learning-based image codecs.
• Abstract（参考訳）: 重要な情報を失うことなく送信すべきデータ量を大幅に削減できるため、セマンティックコミュニケーションへの関心が高まっている。 既存の研究の多くは、テキストのセマンティックエンコーディングと送信を探求し、自然言語処理(NLP)でテキストの意味を解釈する手法を適用している。 本稿では,画像データに対する意味的コミュニケーションを,意味論や帯域幅に敏感な画像データよりも豊かに解釈する。 画素レベルを超えて画像を符号化する強化学習に基づく適応意味符号化(RL-ASC)手法を提案する。 まず,カテゴリ,空間配置,視覚特徴を含む画像データの意味概念を表現単位として定義し,意味概念を抽出する畳み込み意味エンコーダを提案する。 次に,従来の画素類似性から意味的類似性や知覚性能に進化する画像再構成基準を提案する。 第3に、適応量子化レベルを持つ特定の意味概念を符号化した後、レート・セマンティック・パーセプティカル性能の向上に報いる新しいRLベースのセマンティックビット割り当てモデルを設計する。 これにより、重要でないデータを破棄しつつ、タスク関連情報を適切に保存、再構成する。 最後に,アテンションモジュールを介して局所的およびグローバル的特徴を融合する,gans(generative adversarial nets)ベースのセマンティックデコーダを提案する。 実験により,提案したRL-ASCはノイズ耐性があり,視覚的に快適でセマンティックな一貫したイメージを再構成し,標準コーデックや他のディープラーニングベースの画像コーデックと比較してビットコストを削減できることが示された。

関連論文リスト

• Language-Oriented Semantic Latent Representation for Image Transmission [38.62941652189033]
  意味コミュニケーション(SC)の新しいパラダイムは、ビットの背後にある意味の提供に焦点を当てている。 データ・テキスト・モデルの最近の進歩は言語指向のSCを促進する。 テキストと圧縮画像の埋め込みの両方を通信する新しいSCフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-16T10:41:31Z)
• Deep Image Semantic Communication Model for Artificial Intelligent Internet of Things [16.505798124923224]
  AIoTにおける効率的な画像通信のための新しいディープイメージセマンティック通信モデルを提案する。 送信側では,画像の意味情報を抽出するために,高精度な画像セマンティックセグメンテーションアルゴリズムを提案する。 受信側では、セマンティックイメージを詳細な情報で実シーン画像に変換するためのセマンティックイメージ復元アルゴリズムが提案されている。
  論文  参考訳（メタデータ） (2023-11-06T07:43:42Z)
• Edge Guided GANs with Multi-Scale Contrastive Learning for Semantic Image Synthesis [139.2216271759332]
  本稿では,難解なセマンティック画像合成タスクのための新しいECGANを提案する。 セマンティックラベルは詳細な構造情報を提供しておらず、局所的な詳細や構造を合成することは困難である。 畳み込み、ダウンサンプリング、正規化といった広く採用されているCNN操作は、通常、空間分解能の損失を引き起こす。 本稿では,同じセマンティッククラスに属する画素埋め込みを強制して,より類似した画像コンテンツを生成することを目的とした,新しいコントラスト学習手法を提案する。
  論文  参考訳（メタデータ） (2023-07-22T14:17:19Z)
• Learning Semantic-Aware Knowledge Guidance for Low-Light Image Enhancement [69.47143451986067]
  低照度画像強調法 (LLIE) は、照明の改善方法と正常照度画像の生成方法を検討する。 既存の手法の大部分は、異なる領域のセマンティック情報を考慮せずに、グローバルかつ均一な方法で低照度画像を改善する。 セマンティックセグメンテーションモデルにカプセル化される多種多様な事前学習において、低照度強化モデルを支援する新しいセマンティック・アウェア・ナレッジ誘導フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-04-14T10:22:28Z)
• Towards Better Text-Image Consistency in Text-to-Image Generation [15.735515302139335]
  私たちはSemantic similarity Distance(SSD)と呼ばれる新しいCLIPベースのメトリクスを開発した。 さらに,異なる粒度で意味情報を融合できる並列深層核生成適応ネットワーク (PDF-GAN) を設計する。 我々のPDF-GANは、CUBおよびCOCOデータセットの良好な画像品質を維持しながら、テキスト画像の一貫性を著しく向上させることができる。
  論文  参考訳（メタデータ） (2022-10-27T07:47:47Z)
• Semantic Image Synthesis via Diffusion Models [159.4285444680301]
  Denoising Diffusion Probabilistic Models (DDPM) は様々な画像生成タスクにおいて顕著な成功を収めた。 セマンティック画像合成に関する最近の研究は、主に「GAN(Generative Adversarial Nets)」に追従している。
  論文  参考訳（メタデータ） (2022-06-30T18:31:51Z)
• Wireless Transmission of Images With The Assistance of Multi-level Semantic Information [16.640928669609934]
  MLSCイメージ(MLSC-image)は、無線画像伝送のためのマルチレベルセマンティックアウェアメント通信システムである。 テキストセマンティクスをキャプチャするために事前訓練された画像キャプションと、そのセマンティクスを得るために事前訓練された画像セマンティクスモデルを用いる。 提案した意味コミュニケーションシステムの有効性と効率を数値計算により検証した。
  論文  参考訳（メタデータ） (2022-02-08T16:25:26Z)
• CRIS: CLIP-Driven Referring Image Segmentation [71.56466057776086]
  エンドツーエンドのCLIP駆動参照画像フレームワーク(CRIS)を提案する。 CRISは、テキストとピクセルのアライメントを達成するために、視覚言語によるデコーディングとコントラスト学習に頼っている。 提案するフレームワークは, 後処理を伴わずに, 最先端の性能を著しく向上させる。
  論文  参考訳（メタデータ） (2021-11-30T07:29:08Z)
• Edge Guided GANs with Contrastive Learning for Semantic Image Synthesis [194.1452124186117]
  本稿では,難解なセマンティック画像合成タスクのための新しいECGANを提案する。 我々のECGANは最先端の手法よりもはるかに優れた結果が得られる。
  論文  参考訳（メタデータ） (2020-03-31T01:23:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。