論文の概要: Image Generative Semantic Communication with Multi-Modal Similarity Estimation for Resource-Limited Networks

• arxiv url: http://arxiv.org/abs/2404.11280v1
• Date: Wed, 17 Apr 2024 11:42:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-18 14:24:17.725035
• Title: Image Generative Semantic Communication with Multi-Modal Similarity Estimation for Resource-Limited Networks
• Title（参考訳）: リソース制限ネットワークのマルチモーダル類似性推定を用いた画像生成セマンティック通信
• Authors: Eri Hosonuma, Taku Yamazaki, Takumi Miyoshi, Akihito Taya, Yuuki Nishiyama, Kaoru Sezaki,
• Abstract要約: 本研究では,多様な意味情報を利用して効率的な意味コミュニケーションを行うマルチモーダル画像伝送手法を提案する。 提案手法は,画像からマルチモーダルな意味情報を抽出し,その情報のみを送信する。 受信機は画像生成モデルを用いて複数の画像を生成し、意味的類似性に基づいて出力を選択する。
• 参考スコア（独自算出の注目度）: 2.2997117992292764
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To reduce network traffic and support environments with limited resources, a method for transmitting images with low amounts of transmission data is required. Machine learning-based image compression methods, which compress the data size of images while maintaining their features, have been proposed. However, in certain situations, reconstructing a part of semantic information of images at the receiver end may be sufficient. To realize this concept, semantic-information-based communication, called semantic communication, has been proposed, along with an image transmission method using semantic communication. This method transmits only the semantic information of an image, and the receiver reconstructs the image using an image-generation model. This method utilizes one type of semantic information, but reconstructing images similar to the original image using only it is challenging. This study proposes a multi-modal image transmission method that leverages diverse semantic information for efficient semantic communication. The proposed method extracts multi-modal semantic information from an image and transmits only it. Subsequently, the receiver generates multiple images using an image-generation model and selects an output based on semantic similarity. The receiver must select the output based only on the received features; however, evaluating semantic similarity using conventional metrics is challenging. Therefore, this study explored new metrics to evaluate the similarity between semantic features of images and proposes two scoring procedures. The results indicate that the proposed procedures can compare semantic similarities, such as position and composition, between semantic features of the original and generated images. Thus, the proposed method can facilitate the transmission and utilization of photographs through mobile networks for various service applications.
• Abstract（参考訳）: 限られたリソースでネットワークトラフィックを削減し、サポート環境を構築するためには、少ない送信データで画像を送信する方法が必要である。 特徴を維持しながら画像のサイズを圧縮する機械学習に基づく画像圧縮手法が提案されている。 しかし、ある状況下では、受信側で画像の意味情報の一部を再構成することは十分である。 この概念を実現するために,セマンティックコミュニケーションと呼ばれるセマンティック情報に基づくコミュニケーションと,セマンティックコミュニケーションを用いた画像伝達手法が提案されている。 この方法は画像の意味情報のみを送信し、受信者は画像生成モデルを用いて画像を再構成する。 本手法は,1種類の意味情報を利用するが,本来の画像と類似した画像の再構成は困難である。 本研究では,多様な意味情報を利用して効率的な意味コミュニケーションを行うマルチモーダル画像伝送手法を提案する。 提案手法は,画像からマルチモーダルな意味情報を抽出し,その情報のみを送信する。 その後、受信機は画像生成モデルを用いて複数の画像を生成し、意味的類似性に基づいて出力を選択する。 受信側は受信した特徴のみに基づいて出力を選択する必要があるが、従来のメトリクスを用いた意味的類似性の評価は困難である。 そこで本研究では,画像の意味的特徴の類似性を評価するための新しい指標について検討し,二つのスコアリング手法を提案する。 その結果,提案手法は,原画像と生成画像のセマンティック特徴との位置や構成などのセマンティックな類似性を比較することができることがわかった。 そこで,提案手法は,様々なサービスアプリケーションを対象とした移動体ネットワークによる画像の送信と利用を容易にする。

関連論文リスト

• Semantic Similarity Score for Measuring Visual Similarity at Semantic Level [5.867765921443141]
  シーングラフ生成とグラフマッチングに基づくセマンティック類似度スコア(Semantic similarity Score)のセマンティック評価指標を提案する。 このメトリクスは、画像の意味レベル情報のセマンティックレベルの違いを測定することができ、視覚的意味コミュニケーションシステムにおける評価に使用できる。
  論文  参考訳（メタデータ） (2024-06-06T08:51:26Z)
• Conditional Diffusion on Web-Scale Image Pairs leads to Diverse Image Variations [32.892042877725125]
  現在の画像変化技術では、同じ画像に条件付けされた入力画像の再構成にテキスト・ツー・イメージ・モデルを適用する。 凍結した埋め込み画像から入力画像の再構成を訓練した拡散モデルにより,小さなバリエーションで画像の再構成が可能であることを示す。 本稿では,画像ペアの集合を用いて画像の変動を生成するための事前学習手法を提案する。
  論文  参考訳（メタデータ） (2024-05-23T17:58:03Z)
• Deep Image Semantic Communication Model for Artificial Intelligent Internet of Things [16.505798124923224]
  AIoTにおける効率的な画像通信のための新しいディープイメージセマンティック通信モデルを提案する。 送信側では,画像の意味情報を抽出するために,高精度な画像セマンティックセグメンテーションアルゴリズムを提案する。 受信側では、セマンティックイメージを詳細な情報で実シーン画像に変換するためのセマンティックイメージ復元アルゴリズムが提案されている。
  論文  参考訳（メタデータ） (2023-11-06T07:43:42Z)
• Edge Guided GANs with Multi-Scale Contrastive Learning for Semantic Image Synthesis [139.2216271759332]
  本稿では,難解なセマンティック画像合成タスクのための新しいECGANを提案する。 セマンティックラベルは詳細な構造情報を提供しておらず、局所的な詳細や構造を合成することは困難である。 畳み込み、ダウンサンプリング、正規化といった広く採用されているCNN操作は、通常、空間分解能の損失を引き起こす。 本稿では,同じセマンティッククラスに属する画素埋め込みを強制して,より類似した画像コンテンツを生成することを目的とした,新しいコントラスト学習手法を提案する。
  論文  参考訳（メタデータ） (2023-07-22T14:17:19Z)
• Memory-Driven Text-to-Image Generation [126.58244124144827]
  本稿では,メモリ駆動型半パラメトリックによるテキスト・ツー・イメージ生成手法を提案する。 非パラメトリック成分は、画像のトレーニングセットから構築された画像特徴のメモリバンクである。 パラメトリック成分は 生成的敵ネットワークです
  論文  参考訳（メタデータ） (2022-08-15T06:32:57Z)
• Towards Semantic Communications: Deep Learning-Based Image Semantic Coding [42.453963827153856]
  我々は,よりセマンティクスや帯域幅に敏感な画像データに対するセマンティクス通信を考案した。 画素レベルを超えて画像を符号化する強化学習に基づく適応意味符号化(RL-ASC)手法を提案する。 実験の結果,提案したRL-ASCはノイズ耐性があり,視覚的に快適でセマンティックな一貫した画像の再構成が可能であった。
  論文  参考訳（メタデータ） (2022-08-08T12:29:55Z)
• Semantic Image Synthesis via Diffusion Models [159.4285444680301]
  Denoising Diffusion Probabilistic Models (DDPM) は様々な画像生成タスクにおいて顕著な成功を収めた。 セマンティック画像合成に関する最近の研究は、主に「GAN(Generative Adversarial Nets)」に追従している。
  論文  参考訳（メタデータ） (2022-06-30T18:31:51Z)
• Wireless Transmission of Images With The Assistance of Multi-level Semantic Information [16.640928669609934]
  MLSCイメージ(MLSC-image)は、無線画像伝送のためのマルチレベルセマンティックアウェアメント通信システムである。 テキストセマンティクスをキャプチャするために事前訓練された画像キャプションと、そのセマンティクスを得るために事前訓練された画像セマンティクスモデルを用いる。 提案した意味コミュニケーションシステムの有効性と効率を数値計算により検証した。
  論文  参考訳（メタデータ） (2022-02-08T16:25:26Z)
• Diverse Semantic Image Synthesis via Probability Distribution Modeling [103.88931623488088]
  新規な多様な意味的画像合成フレームワークを提案する。 本手法は最先端手法と比較して優れた多様性と同等の品質を実現することができる。
  論文  参考訳（メタデータ） (2021-03-11T18:59:25Z)
• Cross-domain Correspondence Learning for Exemplar-based Image Translation [59.35767271091425]
  本稿では,異なる領域の入力からフォトリアリスティックな画像を合成する,例題に基づく画像翻訳のためのフレームワークを提案する。 出力は、例において意味的に対応するオブジェクトと整合したスタイル(例えば、色、テクスチャ)を持つ。 本手法は画像品質の面で最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-04-12T09:10:57Z)
• Geometrically Mappable Image Features [85.81073893916414]
  地図内のエージェントの視覚に基づくローカライゼーションは、ロボット工学とコンピュータビジョンにおいて重要な問題である。 本稿では,画像検索を対象とした画像特徴学習手法を提案する。
  論文  参考訳（メタデータ） (2020-03-21T15:36:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。