論文の概要: Rate-Adaptive Coding Mechanism for Semantic Communications With
Multi-Modal Data
- arxiv url: http://arxiv.org/abs/2305.10773v1
- Date: Thu, 18 May 2023 07:31:37 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-19 16:23:03.965735
- Title: Rate-Adaptive Coding Mechanism for Semantic Communications With
Multi-Modal Data
- Title(参考訳): マルチモーダルデータを用いた意味コミュニケーションのためのレート適応符号化機構
- Authors: Yangshuo He, Guanding Yu, Yunlong Cai
- Abstract要約: 本稿では,従来のチャネルエンコーダ/デコーダを組み込んだ分散マルチモーダルセマンティック通信フレームワークを提案する。
様々な種類のマルチモーダルなセマンティックタスクに対して、一般的なレート適応型符号化機構を確立する。
シミュレーションの結果,提案手法は従来のコミュニケーションシステムと既存のセマンティック通信システムより優れていることがわかった。
- 参考スコア(独自算出の注目度): 23.597759255020296
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, the ever-increasing demand for bandwidth in multi-modal
communication systems requires a paradigm shift. Powered by deep learning,
semantic communications are applied to multi-modal scenarios to boost
communication efficiency and save communication resources. However, the
existing end-to-end neural network (NN) based framework without the channel
encoder/decoder is incompatible with modern digital communication systems.
Moreover, most end-to-end designs are task-specific and require re-design and
re-training for new tasks, which limits their applications. In this paper, we
propose a distributed multi-modal semantic communication framework
incorporating the conventional channel encoder/decoder. We adopt NN-based
semantic encoder and decoder to extract correlated semantic information
contained in different modalities, including speech, text, and image. Based on
the proposed framework, we further establish a general rate-adaptive coding
mechanism for various types of multi-modal semantic tasks. In particular, we
utilize unequal error protection based on semantic importance, which is derived
by evaluating the distortion bound of each modality. We further formulate and
solve an optimization problem that aims at minimizing inference delay while
maintaining inference accuracy for semantic tasks. Numerical results show that
the proposed mechanism fares better than both conventional communication and
existing semantic communication systems in terms of task performance, inference
delay, and deployment complexity.
- Abstract(参考訳): 近年,マルチモーダル通信システムにおける帯域幅需要の増大には,パラダイムシフトが必要である。
深層学習によるセマンティックコミュニケーションは,コミュニケーション効率の向上と通信資源の節約のために,マルチモーダルシナリオに適用される。
しかし、チャネルエンコーダ/デコーダのない既存のエンドツーエンドニューラルネットワーク(NN)ベースのフレームワークは、現代のデジタル通信システムと互換性がない。
さらに、エンド・ツー・エンドの設計のほとんどはタスク固有であり、アプリケーションを制限する新しいタスクのために再設計と再トレーニングが必要となる。
本稿では,従来のチャネルエンコーダ/デコーダを組み込んだ分散マルチモーダル意味コミュニケーションフレームワークを提案する。
nnベースのセマンティックエンコーダとデコーダを採用し,音声,テキスト,画像など,異なるモーダリティに含まれる相関した意味情報を抽出する。
提案手法に基づき,様々なマルチモーダル意味的タスクに対する一般的なレート適応型符号化機構をさらに確立する。
特に,各モダリティの歪み境界を評価することによって導かれる意味的重要性に基づく不等な誤り保護を利用する。
さらに,意味的タスクの推論精度を維持しつつ,推論遅延を最小限に抑える最適化問題を定式化し,解決する。
数値計算の結果,提案手法は従来のコミュニケーションシステムと既存のセマンティック通信システムの両方よりも,タスク性能,推論遅延,デプロイメントの複雑さの点で優れていることがわかった。
関連論文リスト
- Adaptive Resource Allocation for Semantic Communication Networks [34.189531352110386]
本稿では,意味的量子化効率(SQE)や伝送遅延などのセマンティック通信ネットワークにおけるサービス品質について検討する。
全体として有効なSC-QoSを最大化する問題は、基地局、ビット意味表現、サブチャネル割り当て、およびセマンティックリソース割り当てを共同で送信することで定式化される。
本設計では, セマンティックノイズに効果的に対処でき, 無線通信において, 複数のベンチマーク方式と比較して優れた性能が得られる。
論文 参考訳(メタデータ) (2023-12-02T09:12:12Z) - Reasoning with the Theory of Mind for Pragmatic Semantic Communication [62.87895431431273]
本稿では,実用的な意味コミュニケーションフレームワークを提案する。
2つの知性エージェント間の効果的な目標指向情報共有を可能にする。
数値的な評価は、少ないビット量で効率的な通信を実現するためのフレームワークの能力を示している。
論文 参考訳(メタデータ) (2023-11-30T03:36:19Z) - Generative AI-aided Joint Training-free Secure Semantic Communications
via Multi-modal Prompts [89.04751776308656]
本稿では,多モデルプロンプトを用いたGAI支援型SemComシステムを提案する。
セキュリティ上の懸念に応えて、フレンドリーなジャマーによって支援される隠蔽通信の応用を紹介する。
論文 参考訳(メタデータ) (2023-09-05T23:24:56Z) - Communication-Efficient Framework for Distributed Image Semantic
Wireless Transmission [68.69108124451263]
IoTデバイスを用いたマルチタスク分散画像伝送のためのFederated Learning-based semantic communication (FLSC)フレームワーク。
各リンクは階層型視覚変換器(HVT)ベースの抽出器とタスク適応トランスレータで構成される。
チャネル状態情報に基づく多重出力多重出力伝送モジュール。
論文 参考訳(メタデータ) (2023-08-07T16:32:14Z) - Cognitive Semantic Communication Systems Driven by Knowledge Graph:
Principle, Implementation, and Performance Evaluation [74.38561925376996]
単一ユーザと複数ユーザのコミュニケーションシナリオに対して,認知意味コミュニケーションフレームワークが2つ提案されている。
知識グラフから推論規則をマイニングすることにより,効果的な意味補正アルゴリズムを提案する。
マルチユーザ認知型セマンティックコミュニケーションシステムにおいて,異なるユーザのメッセージを識別するために,メッセージ復元アルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-03-15T12:01:43Z) - Non-Orthogonal Multiple Access Enhanced Multi-User Semantic
Communication [7.231199109999097]
本稿では,NomaSC(Non-Orthogonal multiple access)に基づくマルチユーザセマンティックコミュニケーションシステムを提案する。
システムは、ソース情報の多様性を持つ複数のユーザのセマンティックトランスミッションをサポートすることができる。
論文 参考訳(メタデータ) (2023-03-12T07:32:42Z) - Semantic Communication Enabling Robust Edge Intelligence for
Time-Critical IoT Applications [87.05763097471487]
本稿では、時間クリティカルなIoTアプリケーションのためのセマンティック通信を用いて、堅牢なエッジインテリジェンスを設計することを目的とする。
本稿では,画像DCT係数が推定精度に与える影響を解析し,オフロードのためのチャネル非依存の有効性符号化を提案する。
論文 参考訳(メタデータ) (2022-11-24T20:13:17Z) - Emergent Quantized Communication [34.31732248872158]
本稿では,メッセージの量子化という,離散的なコミュニケーションを実現するための代替手法を提案する。
メッセージの量子化により、モデルのエンドツーエンドのトレーニングが可能になり、複数のセットアップで優れたパフォーマンスを実現します。
論文 参考訳(メタデータ) (2022-11-04T12:39:45Z) - Learning Task-Oriented Communication for Edge Inference: An Information
Bottleneck Approach [3.983055670167878]
ローエンドエッジ装置は、ローカルデータサンプルの抽出された特徴ベクトルを強力なエッジサーバに送信して処理する。
帯域幅が限られているため、データを低遅延推論のための情報的かつコンパクトな表現に符号化することが重要である。
特徴抽出,ソース符号化,チャネル符号化を協調的に最適化する学習型通信方式を提案する。
論文 参考訳(メタデータ) (2021-02-08T12:53:32Z) - Deep Multi-Task Learning for Cooperative NOMA: System Design and
Principles [52.79089414630366]
我々は,近年のディープラーニング(DL)の進歩を反映した,新しいディープ・コラボレーティブなNOMAスキームを開発する。
我々は,システム全体を包括的に最適化できるように,新しいハイブリッドカスケードディープニューラルネットワーク(DNN)アーキテクチャを開発した。
論文 参考訳(メタデータ) (2020-07-27T12:38:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。