Fugu-MT 論文翻訳(概要): Wireless Transmission of Images With The Assistance of Multi-level Semantic Information

論文の概要: Wireless Transmission of Images With The Assistance of Multi-level Semantic Information

arxiv url: http://arxiv.org/abs/2202.04754v2
Date: Fri, 8 Dec 2023 14:16:43 GMT
ステータス: 処理完了
システム内更新日: 2023-12-11 19:36:24.429159
Title: Wireless Transmission of Images With The Assistance of Multi-level Semantic Information
Title（参考訳）: 多レベルセマンティック情報を利用した画像の無線伝送
Authors: Zhenguo Zhang, Qianqian Yang, Shibo He, Mingyang Sun, Jiming Chen
Abstract要約: MLSCイメージ(MLSC-image)は、無線画像伝送のためのマルチレベルセマンティックアウェアメント通信システムである。テキストセマンティクスをキャプチャするために事前訓練された画像キャプションと、そのセマンティクスを得るために事前訓練された画像セマンティクスモデルを用いる。提案した意味コミュニケーションシステムの有効性と効率を数値計算により検証した。
参考スコア（独自算出の注目度）: 16.640928669609934
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Semantic-oriented communication has been considered as a promising to boost the bandwidth efficiency by only transmitting the semantics of the data. In this paper, we propose a multi-level semantic aware communication system for wireless image transmission, named MLSC-image, which is based on the deep learning techniques and trained in an end to end manner. In particular, the proposed model includes a multilevel semantic feature extractor, that extracts both the highlevel semantic information, such as the text semantics and the segmentation semantics, and the low-level semantic information, such as local spatial details of the images. We employ a pretrained image caption to capture the text semantics and a pretrained image segmentation model to obtain the segmentation semantics. These high-level and low-level semantic features are then combined and encoded by a joint semantic and channel encoder into symbols to transmit over the physical channel. The numerical results validate the effectiveness and efficiency of the proposed semantic communication system, especially under the limited bandwidth condition, which indicates the advantages of the high-level semantics in the compression of images.
Abstract（参考訳）: セマンティクス指向通信は、データのセマンティクスのみを送信することで帯域幅効率を高めることが期待されている。本稿では、ディープラーニング技術に基づき、エンドツーエンドに訓練された無線画像伝送用マルチレベル意味認識通信システムmlsc-imageを提案する。特に,提案モデルでは,テキスト意味論やセグメンテーション意味論などのハイレベル意味情報と,画像の局所的空間的詳細などの低レベル意味情報の両方を抽出する多レベル意味特徴抽出器を含む。テキストセマンティクスをキャプチャするために事前訓練された画像キャプションと、そのセマンティクスを得るために事前訓練された画像セマンティクスモデルを用いる。これらのハイレベルと低レベルのセマンティクス機能は、ジョイントセマンティクスとチャネルエンコーダによって結合され、物理チャネル経由で送信されるシンボルにエンコードされる。提案手法の有効性と効率を,特に画像圧縮における高レベルな意味論の利点を示す帯域幅制限条件下で検証した。

関連論文リスト

Trustworthy Image Semantic Communication with GenAI: Explainablity, Controllability, and Efficiency [59.15544887307901]
画像意味コミュニケーション(ISC)は,高効率な映像コンテンツ伝送を実現する可能性に注目されている。既存のISCシステムは、解釈可能性、操作性、互換性の課題に直面している。我々は、複数の下流推論タスクにGenerative Artificial Intelligence(GenAI)を利用する新しい信頼できるISCフレームワークを提案する。
論文参考訳（メタデータ） (2024-08-07T14:32:36Z)
Semantic Communication Enhanced by Knowledge Graph Representation Learning [11.68356846628016]
本稿では,意味的コミュニケーションの新たなパラダイムにおいて,グラフに抽出された意味的知識の表現と処理の利点について検討する。本稿では,無線チャネルを通じてノード埋め込みと等価な意味記号を送信し,受信側で完全な知識グラフを推測する。
論文参考訳（メタデータ） (2024-07-27T20:57:10Z)
Semantic Similarity Score for Measuring Visual Similarity at Semantic Level [5.867765921443141]
シーングラフ生成とグラフマッチングに基づくセマンティック類似度スコア(Semantic similarity Score)のセマンティック評価指標を提案する。このメトリクスは、画像の意味レベル情報のセマンティックレベルの違いを測定することができ、視覚的意味コミュニケーションシステムにおける評価に使用できる。
論文参考訳（メタデータ） (2024-06-06T08:51:26Z)
Deep Joint Semantic Coding and Beamforming for Near-Space Airship-Borne Massive MIMO Network [70.63240823677182]
近距離飛行船搭載通信網は、緊急に信頼性と効率のよい飛行船対Xリンクを必要とする。本稿では,MIMO(Multiple-Input multiple-output)技術とセマンティックコミュニケーションを統合することを提案する。
論文参考訳（メタデータ） (2024-05-30T09:46:59Z)
Transformer-Aided Semantic Communications [28.63893944806149]
我々は、入力画像の圧縮とコンパクトな表現のために、視覚変換器を用いる。変圧器固有のアテンション機構を用いることで、アテンションマスクを作成する。提案手法の有効性をTinyImageNetデータセットを用いて評価した。
論文参考訳（メタデータ） (2024-05-02T17:50:53Z)
Image Generative Semantic Communication with Multi-Modal Similarity Estimation for Resource-Limited Networks [2.2997117992292764]
本研究では,多様な意味情報を利用したマルチモーダル画像伝送方式を提案する。提案手法は,原画像からマルチモーダルな意味情報を抽出し,それを受信機に送信する。受信機は画像生成モデルを用いて複数の画像を生成し、意味的類似性に基づいて出力画像を選択する。
論文参考訳（メタデータ） (2024-04-17T11:42:39Z)
Communication-Efficient Framework for Distributed Image Semantic Wireless Transmission [68.69108124451263]
IoTデバイスを用いたマルチタスク分散画像伝送のためのFederated Learning-based semantic communication (FLSC)フレームワーク。各リンクは階層型視覚変換器(HVT)ベースの抽出器とタスク適応トランスレータで構成される。チャネル状態情報に基づく多重出力多重出力伝送モジュール。
論文参考訳（メタデータ） (2023-08-07T16:32:14Z)
Edge Guided GANs with Multi-Scale Contrastive Learning for Semantic Image Synthesis [139.2216271759332]
本稿では,難解なセマンティック画像合成タスクのための新しいECGANを提案する。セマンティックラベルは詳細な構造情報を提供しておらず、局所的な詳細や構造を合成することは困難である。畳み込み、ダウンサンプリング、正規化といった広く採用されているCNN操作は、通常、空間分解能の損失を引き起こす。本稿では,同じセマンティッククラスに属する画素埋め込みを強制して,より類似した画像コンテンツを生成することを目的とした,新しいコントラスト学習手法を提案する。
論文参考訳（メタデータ） (2023-07-22T14:17:19Z)
Towards Semantic Communications: Deep Learning-Based Image Semantic Coding [42.453963827153856]
我々は,よりセマンティクスや帯域幅に敏感な画像データに対するセマンティクス通信を考案した。画素レベルを超えて画像を符号化する強化学習に基づく適応意味符号化(RL-ASC)手法を提案する。実験の結果,提案したRL-ASCはノイズ耐性があり,視覚的に快適でセマンティックな一貫した画像の再構成が可能であった。
論文参考訳（メタデータ） (2022-08-08T12:29:55Z)
CRIS: CLIP-Driven Referring Image Segmentation [71.56466057776086]
エンドツーエンドのCLIP駆動参照画像フレームワーク(CRIS)を提案する。 CRISは、テキストとピクセルのアライメントを達成するために、視覚言語によるデコーディングとコントラスト学習に頼っている。提案するフレームワークは, 後処理を伴わずに, 最先端の性能を著しく向上させる。
論文参考訳（メタデータ） (2021-11-30T07:29:08Z)
CTNet: Context-based Tandem Network for Semantic Segmentation [77.4337867789772]
本研究では,空間コンテキスト情報とチャネルコンテキスト情報とを対話的に探索し,新しいコンテキストベースタンデムネットワーク(CTNet)を提案する。セマンティックセグメンテーションのための学習表現の性能をさらに向上するため、2つのコンテキストモジュールの結果を適応的に統合する。
論文参考訳（メタデータ） (2021-04-20T07:33:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。