論文の概要: Wireless Transmission of Images With The Assistance of Multi-level
Semantic Information
- arxiv url: http://arxiv.org/abs/2202.04754v1
- Date: Tue, 8 Feb 2022 16:25:26 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-13 13:30:51.843693
- Title: Wireless Transmission of Images With The Assistance of Multi-level
Semantic Information
- Title(参考訳): 多レベルセマンティック情報を利用した画像の無線伝送
- Authors: Zhenguo Zhang, Qianqian Yang, Shibo He, Mingyang Sun, Jiming Chen
- Abstract要約: MLSCイメージ(MLSC-image)は、無線画像伝送のためのマルチレベルセマンティックアウェアメント通信システムである。
テキストセマンティクスをキャプチャするために事前訓練された画像キャプションと、そのセマンティクスを得るために事前訓練された画像セマンティクスモデルを用いる。
提案した意味コミュニケーションシステムの有効性と効率を数値計算により検証した。
- 参考スコア(独自算出の注目度): 19.065043986797427
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Semantic-oriented communication has been considered as a promising to boost
the bandwidth efficiency by only transmitting the semantics of the data. In
this paper, we propose a multi-level semantic aware communication system for
wireless image transmission, named MLSC-image, which is based on the deep
learning techniques and trained in an end to end manner. In particular, the
proposed model includes a multilevel semantic feature extractor, that extracts
both the highlevel semantic information, such as the text semantics and the
segmentation semantics, and the low-level semantic information, such as local
spatial details of the images. We employ a pretrained image caption to capture
the text semantics and a pretrained image segmentation model to obtain the
segmentation semantics. These high-level and low-level semantic features are
then combined and encoded by a joint semantic and channel encoder into symbols
to transmit over the physical channel. The numerical results validate the
effectiveness and efficiency of the proposed semantic communication system,
especially under the limited bandwidth condition, which indicates the
advantages of the high-level semantics in the compression of images.
- Abstract(参考訳): セマンティクス指向通信は、データのセマンティクスのみを送信することで帯域幅効率を高めることが期待されている。
本稿では、ディープラーニング技術に基づき、エンドツーエンドに訓練された無線画像伝送用マルチレベル意味認識通信システムmlsc-imageを提案する。
特に,提案モデルでは,テキスト意味論やセグメンテーション意味論などのハイレベル意味情報と,画像の局所的空間的詳細などの低レベル意味情報の両方を抽出する多レベル意味特徴抽出器を含む。
テキストセマンティクスをキャプチャするために事前訓練された画像キャプションと、そのセマンティクスを得るために事前訓練された画像セマンティクスモデルを用いる。
これらのハイレベルと低レベルのセマンティクス機能は、ジョイントセマンティクスとチャネルエンコーダによって結合され、物理チャネル経由で送信されるシンボルにエンコードされる。
提案手法の有効性と効率を,特に画像圧縮における高レベルな意味論の利点を示す帯域幅制限条件下で検証した。
関連論文リスト
- Learning Semantic Segmentation with Query Points Supervision on Aerial
Images [62.36946925639107]
セマンティックセグメンテーションアルゴリズムを学習するための弱教師付き学習アルゴリズムを提案する。
提案手法は正確なセマンティックセグメンテーションを行い,手作業のアノテーションに要するコストと時間を大幅に削減することで効率を向上する。
論文 参考訳(メタデータ) (2023-09-11T14:32:04Z) - Communication-Efficient Framework for Distributed Image Semantic
Wireless Transmission [68.69108124451263]
IoTデバイスを用いたマルチタスク分散画像伝送のためのFederated Learning-based semantic communication (FLSC)フレームワーク。
各リンクは階層型視覚変換器(HVT)ベースの抽出器とタスク適応トランスレータで構成される。
チャネル状態情報に基づく多重出力多重出力伝送モジュール。
論文 参考訳(メタデータ) (2023-08-07T16:32:14Z) - Edge Guided GANs with Multi-Scale Contrastive Learning for Semantic
Image Synthesis [139.2216271759332]
本稿では,難解なセマンティック画像合成タスクのための新しいECGANを提案する。
セマンティックラベルは詳細な構造情報を提供しておらず、局所的な詳細や構造を合成することは困難である。
畳み込み、ダウンサンプリング、正規化といった広く採用されているCNN操作は、通常、空間分解能の損失を引き起こす。
本稿では,同じセマンティッククラスに属する画素埋め込みを強制して,より類似した画像コンテンツを生成することを目的とした,新しいコントラスト学習手法を提案する。
論文 参考訳(メタデータ) (2023-07-22T14:17:19Z) - Generative Semantic Communication: Diffusion Models Beyond Bit Recovery [19.088596386865106]
セマンティックコミュニケーションのための新しい生成拡散誘導フレームワークを提案する。
我々は,高度に圧縮された意味情報のみを送信することで帯域幅を削減した。
以上の結果から,非常にノイズの多い条件下でも,物体,位置,深さが認識可能であることが明らかとなった。
論文 参考訳(メタデータ) (2023-06-07T10:36:36Z) - Segment Anything Meets Semantic Communication [15.183506390391988]
本稿では,Meta AI Research が開発した基礎モデル,特にSegment Anything Model (SAM) のセマンティックコミュニケーション改善への応用について検討する。
SAMのセグメンテーション機能と、セマンティックコーディングのための軽量ニューラルネットワークアーキテクチャを用いて、セマンティックコミュニケーションの実践的アプローチを提案する。
論文 参考訳(メタデータ) (2023-06-03T11:54:56Z) - Wireless End-to-End Image Transmission System using Semantic
Communications [4.2421412410466575]
本研究は,物理チャネルを通してセマンティックセグメンテーションマップを送信する際に,帯域幅の節約という形での資源ゲインが巨大であることを示す。
本研究は,物理チャネル歪みと量子化雑音がセマンティック通信に基づくマルチメディアコンテンツ伝送に与える影響について検討する。
論文 参考訳(メタデータ) (2023-02-27T12:33:53Z) - Vector Quantized Semantic Communication System [22.579525825992416]
我々は,VQ-DeepSCという画像伝送のための深層学習可能なベクトル量子化(VQ)セマンティック通信システムを開発した。
具体的には、画像のマルチスケールな意味的特徴を抽出し、マルチスケールな意味的埋め込み空間を導入するCNNベースのトランシーバを提案する。
我々は、PatchGAN識別器を導入して、受信画像の品質を向上させるために、敵対訓練を実践する。
論文 参考訳(メタデータ) (2022-09-23T10:58:23Z) - Towards Semantic Communications: Deep Learning-Based Image Semantic
Coding [42.453963827153856]
我々は,よりセマンティクスや帯域幅に敏感な画像データに対するセマンティクス通信を考案した。
画素レベルを超えて画像を符号化する強化学習に基づく適応意味符号化(RL-ASC)手法を提案する。
実験の結果,提案したRL-ASCはノイズ耐性があり,視覚的に快適でセマンティックな一貫した画像の再構成が可能であった。
論文 参考訳(メタデータ) (2022-08-08T12:29:55Z) - Semantic Image Synthesis via Diffusion Models [159.4285444680301]
Denoising Diffusion Probabilistic Models (DDPM) は様々な画像生成タスクにおいて顕著な成功を収めた。
セマンティック画像合成に関する最近の研究は、主に「GAN(Generative Adversarial Nets)」に追従している。
論文 参考訳(メタデータ) (2022-06-30T18:31:51Z) - CRIS: CLIP-Driven Referring Image Segmentation [71.56466057776086]
エンドツーエンドのCLIP駆動参照画像フレームワーク(CRIS)を提案する。
CRISは、テキストとピクセルのアライメントを達成するために、視覚言語によるデコーディングとコントラスト学習に頼っている。
提案するフレームワークは, 後処理を伴わずに, 最先端の性能を著しく向上させる。
論文 参考訳(メタデータ) (2021-11-30T07:29:08Z) - CTNet: Context-based Tandem Network for Semantic Segmentation [77.4337867789772]
本研究では,空間コンテキスト情報とチャネルコンテキスト情報とを対話的に探索し,新しいコンテキストベースタンデムネットワーク(CTNet)を提案する。
セマンティックセグメンテーションのための学習表現の性能をさらに向上するため、2つのコンテキストモジュールの結果を適応的に統合する。
論文 参考訳(メタデータ) (2021-04-20T07:33:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。