論文の概要: Generative Semantic Communication: Diffusion Models Beyond Bit Recovery
- arxiv url: http://arxiv.org/abs/2306.04321v1
- Date: Wed, 7 Jun 2023 10:36:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-08 15:11:09.708035
- Title: Generative Semantic Communication: Diffusion Models Beyond Bit Recovery
- Title（参考訳）: 生成的意味コミュニケーション:ビット回復を超えた拡散モデル
- Authors: Eleonora Grassucci, Sergio Barbarossa, Danilo Comminiello
- Abstract要約: セマンティックコミュニケーションのための新しい生成拡散誘導フレームワークを提案する。
我々は,高度に圧縮された意味情報のみを送信することで帯域幅を削減した。
以上の結果から,非常にノイズの多い条件下でも,物体,位置,深さが認識可能であることが明らかとなった。
- 参考スコア（独自算出の注目度）: 19.088596386865106
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Semantic communication is expected to be one of the cores of next-generation
AI-based communications. One of the possibilities offered by semantic
communication is the capability to regenerate, at the destination side, images
or videos semantically equivalent to the transmitted ones, without necessarily
recovering the transmitted sequence of bits. The current solutions still lack
the ability to build complex scenes from the received partial information.
Clearly, there is an unmet need to balance the effectiveness of generation
methods and the complexity of the transmitted information, possibly taking into
account the goal of communication. In this paper, we aim to bridge this gap by
proposing a novel generative diffusion-guided framework for semantic
communication that leverages the strong abilities of diffusion models in
synthesizing multimedia content while preserving semantic features. We reduce
bandwidth usage by sending highly-compressed semantic information only. Then,
the diffusion model learns to synthesize semantic-consistent scenes through
spatially-adaptive normalizations from such denoised semantic information. We
prove, through an in-depth assessment of multiple scenarios, that our method
outperforms existing solutions in generating high-quality images with preserved
semantic information even in cases where the received content is significantly
degraded. More specifically, our results show that objects, locations, and
depths are still recognizable even in the presence of extremely noisy
conditions of the communication channel. The code is available at
https://github.com/ispamm/GESCO.
- Abstract（参考訳）: セマンティックコミュニケーションは、次世代AIベースのコミュニケーションのコアのひとつとして期待されている。
意味コミュニケーションによって提供される可能性の1つは、送信されたビットのシーケンスを必ずしも回復することなく、送信されたビットと意味的に等価な画像やビデオを再生成する能力である。
現在のソリューションには、受信した部分情報から複雑なシーンを構築する機能がない。
明らかに、通信の目的を考慮して、生成方法の有効性と送信される情報の複雑さのバランスをとるための手段がない。
本稿では,マルチメディアコンテンツ合成における拡散モデルの強力な能力を活用した意味コミュニケーションのための新しい生成的拡散誘導フレームワークを提案することで,このギャップを埋めることを目的とする。
高度に圧縮された意味情報のみを送信することで帯域幅使用量を削減する。
そして,この拡散モデルは,このような意味情報から空間適応正規化を通じて意味一貫性のあるシーンを合成することを学ぶ。
提案手法は,複数のシナリオを詳細に評価することで,受信したコンテンツが著しく劣化した場合でも,意味情報を保存した高品質な画像を生成する際の既存ソリューションに勝ることを証明する。
具体的には,通信チャネルの極めてノイズの多い状況下においても,物体,位置,深さが認識可能であることを示す。
コードはhttps://github.com/ispamm/GESCOで公開されている。
関連論文リスト
- Generative Video Semantic Communication via Multimodal Semantic Fusion with Large Model [55.71885688565501]
本稿では,高品質な映像再構成を実現するために,意味情報を抽出し,送信するスケーラブルなビデオ意味コミュニケーションフレームワークを提案する。
具体的には、送信機では、それぞれテキストと構造的意味論として機能するソースビデオから記述と他の条件信号を抽出する。
受信機では、拡散に基づくGenAI大モデルを用いて、ビデオの再構成のために複数のモーダルのセマンティクスを融合させる。
論文 参考訳（メタデータ） (2025-02-19T15:59:07Z) - Diffusion-based Generative Multicasting with Intent-aware Semantic Decomposition [45.73113352988143]
我々は,事前学習した拡散モデルを用いた意図認識型セマンティック・マルチキャスト・フレームワークを開発した。
提案するフレームワークでは,送信者が複数の意味クラスに対して,複数のユーザ意図に基づいてソース信号を分解する。
シミュレーションの結果,非生成型および意図不明なマルチキャストベンチマークと比較すると,ユーザ毎のレイテンシが有意に低減された。
論文 参考訳（メタデータ） (2024-11-04T17:58:54Z) - Multimodal generative semantic communication based on latent diffusion model [13.035207938169844]
本稿では,mm-GESCOというマルチモーダル・ジェネリック・セマンティック・コミュニケーション・フレームワークを提案する。
このフレームワークは、可視および赤外線モダル画像データのストリームを取り込み、融合したセマンティックセグメンテーションマップを生成して送信する。
受信終了時に、このフレームワークはセマンティックマップに基づいて、元のマルチモーダルイメージを再構築することができる。
論文 参考訳（メタデータ） (2024-08-10T06:23:41Z) - Deep Joint Semantic Coding and Beamforming for Near-Space Airship-Borne Massive MIMO Network [70.63240823677182]
近距離飛行船搭載通信網は、緊急に信頼性と効率のよい飛行船対Xリンクを必要とする。
本稿では,MIMO(Multiple-Input multiple-output)技術とセマンティックコミュニケーションを統合することを提案する。
論文 参考訳（メタデータ） (2024-05-30T09:46:59Z) - Rethinking Multi-User Semantic Communications with Deep Generative Models [30.745379375963157]
マルチユーザシナリオに適した新しい生成セマンティック・コミュニケーション・フレームワークを開発した。
この革新的な視点の下では、OFDMAシステムは情報の最大の部分を送信することを意図してはならない。
実験により,新しい拡散モデルの有効性と提案フレームワークの有効性が示された。
論文 参考訳（メタデータ） (2024-05-16T07:43:15Z) - Semantic Entropy Can Simultaneously Benefit Transmission Efficiency and Channel Security of Wireless Semantic Communications [55.54210451136529]
本稿では,適応トランスミッションと物理層暗号化の両方のためのセマンティクスを探索するためにSemEntropyを提案する。
セムエントロピーは意味論的精度を95%保ち、透過率を60%低減できることを示す。
論文 参考訳（メタデータ） (2024-02-05T12:25:02Z) - Generative AI-aided Joint Training-free Secure Semantic Communications
via Multi-modal Prompts [89.04751776308656]
本稿では,多モデルプロンプトを用いたGAI支援型SemComシステムを提案する。
セキュリティ上の懸念に応えて、フレンドリーなジャマーによって支援される隠蔽通信の応用を紹介する。
論文 参考訳（メタデータ） (2023-09-05T23:24:56Z) - Disentangling Learnable and Memorizable Data via Contrastive Learning
for Semantic Communications [81.10703519117465]
セマンティック・レディにするために、ソースデータをアンタングルする新しい機械推論フレームワークが提案されている。
特に、データ上でインスタンスとクラスタの識別を行う新しいコントラスト学習フレームワークが提案されている。
信頼度の高い深いセマンティッククラスタは、学習可能でセマンティックリッチなデータだと考えられている。
シミュレーションの結果は, セマンティック・インパクトとミニマリズムの観点から, コントラスト学習アプローチの優位性を示した。
論文 参考訳（メタデータ） (2022-12-18T12:00:12Z) - Semantic-Conditional Diffusion Networks for Image Captioning [116.86677915812508]
画像キャプションに適した拡散モデルに基づく新しいパラダイム,すなわちセマンティック・コンディション・ディフュージョン・ネットワーク(SCD-Net)を提案する。
SCD-Netでは、複数の拡散変換器構造を積み重ねて、より優れた視覚言語アライメントと言語的コヒーレンスで出力文を徐々に強化する。
COCOデータセットの実験は、困難な画像キャプションタスクにおいて拡散モデルを使用することの有望な可能性を示している。
論文 参考訳（メタデータ） (2022-12-06T16:08:16Z) - Semantic Information Recovery in Wireless Networks [8.508198765617195]
MLに基づく意味コミュニケーションシステムであるSINFONYを提案する。
SINFONYは、複数のメッセージの背後にある意味を単一の受信機に伝達し、セマンティックリカバリを行う。
数値計算の結果,従来の通信システムと比較して,最大20dBの速度正規化SNRシフトが見られた。
論文 参考訳（メタデータ） (2022-04-28T09:17:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。