論文の概要: Generative Semantic Communication: Diffusion Models Beyond Bit Recovery
- arxiv url: http://arxiv.org/abs/2306.04321v1
- Date: Wed, 7 Jun 2023 10:36:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-08 15:11:09.708035
- Title: Generative Semantic Communication: Diffusion Models Beyond Bit Recovery
- Title(参考訳): 生成的意味コミュニケーション:ビット回復を超えた拡散モデル
- Authors: Eleonora Grassucci, Sergio Barbarossa, Danilo Comminiello
- Abstract要約: セマンティックコミュニケーションのための新しい生成拡散誘導フレームワークを提案する。
我々は,高度に圧縮された意味情報のみを送信することで帯域幅を削減した。
以上の結果から,非常にノイズの多い条件下でも,物体,位置,深さが認識可能であることが明らかとなった。
- 参考スコア(独自算出の注目度): 19.088596386865106
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Semantic communication is expected to be one of the cores of next-generation
AI-based communications. One of the possibilities offered by semantic
communication is the capability to regenerate, at the destination side, images
or videos semantically equivalent to the transmitted ones, without necessarily
recovering the transmitted sequence of bits. The current solutions still lack
the ability to build complex scenes from the received partial information.
Clearly, there is an unmet need to balance the effectiveness of generation
methods and the complexity of the transmitted information, possibly taking into
account the goal of communication. In this paper, we aim to bridge this gap by
proposing a novel generative diffusion-guided framework for semantic
communication that leverages the strong abilities of diffusion models in
synthesizing multimedia content while preserving semantic features. We reduce
bandwidth usage by sending highly-compressed semantic information only. Then,
the diffusion model learns to synthesize semantic-consistent scenes through
spatially-adaptive normalizations from such denoised semantic information. We
prove, through an in-depth assessment of multiple scenarios, that our method
outperforms existing solutions in generating high-quality images with preserved
semantic information even in cases where the received content is significantly
degraded. More specifically, our results show that objects, locations, and
depths are still recognizable even in the presence of extremely noisy
conditions of the communication channel. The code is available at
https://github.com/ispamm/GESCO.
- Abstract(参考訳): セマンティックコミュニケーションは、次世代AIベースのコミュニケーションのコアのひとつとして期待されている。
意味コミュニケーションによって提供される可能性の1つは、送信されたビットのシーケンスを必ずしも回復することなく、送信されたビットと意味的に等価な画像やビデオを再生成する能力である。
現在のソリューションには、受信した部分情報から複雑なシーンを構築する機能がない。
明らかに、通信の目的を考慮して、生成方法の有効性と送信される情報の複雑さのバランスをとるための手段がない。
本稿では,マルチメディアコンテンツ合成における拡散モデルの強力な能力を活用した意味コミュニケーションのための新しい生成的拡散誘導フレームワークを提案することで,このギャップを埋めることを目的とする。
高度に圧縮された意味情報のみを送信することで帯域幅使用量を削減する。
そして,この拡散モデルは,このような意味情報から空間適応正規化を通じて意味一貫性のあるシーンを合成することを学ぶ。
提案手法は,複数のシナリオを詳細に評価することで,受信したコンテンツが著しく劣化した場合でも,意味情報を保存した高品質な画像を生成する際の既存ソリューションに勝ることを証明する。
具体的には,通信チャネルの極めてノイズの多い状況下においても,物体,位置,深さが認識可能であることを示す。
コードはhttps://github.com/ispamm/GESCOで公開されている。
関連論文リスト
- Generative AI-aided Joint Training-free Secure Semantic Communications
via Multi-modal Prompts [89.04751776308656]
本稿では,多モデルプロンプトを用いたGAI支援型SemComシステムを提案する。
セキュリティ上の懸念に応えて、フレンドリーなジャマーによって支援される隠蔽通信の応用を紹介する。
論文 参考訳(メタデータ) (2023-09-05T23:24:56Z) - Communication-Efficient Framework for Distributed Image Semantic
Wireless Transmission [68.69108124451263]
IoTデバイスを用いたマルチタスク分散画像伝送のためのFederated Learning-based semantic communication (FLSC)フレームワーク。
各リンクは階層型視覚変換器(HVT)ベースの抽出器とタスク適応トランスレータで構成される。
チャネル状態情報に基づく多重出力多重出力伝送モジュール。
論文 参考訳(メタデータ) (2023-08-07T16:32:14Z) - Edge Guided GANs with Multi-Scale Contrastive Learning for Semantic
Image Synthesis [139.2216271759332]
本稿では,難解なセマンティック画像合成タスクのための新しいECGANを提案する。
セマンティックラベルは詳細な構造情報を提供しておらず、局所的な詳細や構造を合成することは困難である。
畳み込み、ダウンサンプリング、正規化といった広く採用されているCNN操作は、通常、空間分解能の損失を引き起こす。
本稿では,同じセマンティッククラスに属する画素埋め込みを強制して,より類似した画像コンテンツを生成することを目的とした,新しいコントラスト学習手法を提案する。
論文 参考訳(メタデータ) (2023-07-22T14:17:19Z) - Reasoning over the Air: A Reasoning-based Implicit Semantic-Aware
Communication Framework [124.6509194665514]
ソースユーザと宛先ユーザの間で暗黙的な意味を表現し,伝達し,解釈するために,新しい暗黙的意味コミュニケーション(iSAC)アーキテクチャを提案する。
プロジェクションベースセマンティックエンコーダは, 明示的セマンティックスの高次元グラフィカル表現を低次元セマンティックコンステレーション空間に変換し, 効率的な物理チャネル伝送を実現する。
ソースユーザの暗黙的意味推論過程を学習し、模倣できるようにするため、G-RMLと呼ばれる生成逆模倣学習ベースのソリューションが提案されている。
論文 参考訳(メタデータ) (2023-06-20T01:32:27Z) - Disentangling Learnable and Memorizable Data via Contrastive Learning
for Semantic Communications [81.10703519117465]
セマンティック・レディにするために、ソースデータをアンタングルする新しい機械推論フレームワークが提案されている。
特に、データ上でインスタンスとクラスタの識別を行う新しいコントラスト学習フレームワークが提案されている。
信頼度の高い深いセマンティッククラスタは、学習可能でセマンティックリッチなデータだと考えられている。
シミュレーションの結果は, セマンティック・インパクトとミニマリズムの観点から, コントラスト学習アプローチの優位性を示した。
論文 参考訳(メタデータ) (2022-12-18T12:00:12Z) - Semantic-Conditional Diffusion Networks for Image Captioning [116.86677915812508]
画像キャプションに適した拡散モデルに基づく新しいパラダイム,すなわちセマンティック・コンディション・ディフュージョン・ネットワーク(SCD-Net)を提案する。
SCD-Netでは、複数の拡散変換器構造を積み重ねて、より優れた視覚言語アライメントと言語的コヒーレンスで出力文を徐々に強化する。
COCOデータセットの実験は、困難な画像キャプションタスクにおいて拡散モデルを使用することの有望な可能性を示している。
論文 参考訳(メタデータ) (2022-12-06T16:08:16Z) - Towards Semantic Communications: Deep Learning-Based Image Semantic
Coding [42.453963827153856]
我々は,よりセマンティクスや帯域幅に敏感な画像データに対するセマンティクス通信を考案した。
画素レベルを超えて画像を符号化する強化学習に基づく適応意味符号化(RL-ASC)手法を提案する。
実験の結果,提案したRL-ASCはノイズ耐性があり,視覚的に快適でセマンティックな一貫した画像の再構成が可能であった。
論文 参考訳(メタデータ) (2022-08-08T12:29:55Z) - Communication Beyond Transmitting Bits: Semantics-Guided Source and
Channel Coding [7.080957878208516]
セマンティックコミュニケーションは有望な研究方向を提供する。
セマンティック・アウェア・コミュニケーションを実現するために、コード化された伝達設計にセマンティックガイダンスを注入することは、有効性と信頼性の大きなブレークスルーの可能性を秘めている。
本稿では,セマンティックコミュニケーションの伝達パラダイムとして,セマンティックス誘導ソースとチャネルコーディングに光を当てる。
論文 参考訳(メタデータ) (2022-08-04T06:12:55Z) - Semantic Information Recovery in Wireless Networks [8.508198765617195]
MLに基づく意味コミュニケーションシステムであるSINFONYを提案する。
SINFONYは、複数のメッセージの背後にある意味を単一の受信機に伝達し、セマンティックリカバリを行う。
数値計算の結果,従来の通信システムと比較して,最大20dBの速度正規化SNRシフトが見られた。
論文 参考訳(メタデータ) (2022-04-28T09:17:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。