論文の概要: Rate-Adaptive Coding Mechanism for Semantic Communications With
Multi-Modal Data
- arxiv url: http://arxiv.org/abs/2305.10773v1
- Date: Thu, 18 May 2023 07:31:37 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-19 16:23:03.965735
- Title: Rate-Adaptive Coding Mechanism for Semantic Communications With
Multi-Modal Data
- Title（参考訳）: マルチモーダルデータを用いた意味コミュニケーションのためのレート適応符号化機構
- Authors: Yangshuo He, Guanding Yu, Yunlong Cai
- Abstract要約: 本稿では,従来のチャネルエンコーダ/デコーダを組み込んだ分散マルチモーダルセマンティック通信フレームワークを提案する。
様々な種類のマルチモーダルなセマンティックタスクに対して、一般的なレート適応型符号化機構を確立する。
シミュレーションの結果,提案手法は従来のコミュニケーションシステムと既存のセマンティック通信システムより優れていることがわかった。
- 参考スコア（独自算出の注目度）: 23.597759255020296
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, the ever-increasing demand for bandwidth in multi-modal
communication systems requires a paradigm shift. Powered by deep learning,
semantic communications are applied to multi-modal scenarios to boost
communication efficiency and save communication resources. However, the
existing end-to-end neural network (NN) based framework without the channel
encoder/decoder is incompatible with modern digital communication systems.
Moreover, most end-to-end designs are task-specific and require re-design and
re-training for new tasks, which limits their applications. In this paper, we
propose a distributed multi-modal semantic communication framework
incorporating the conventional channel encoder/decoder. We adopt NN-based
semantic encoder and decoder to extract correlated semantic information
contained in different modalities, including speech, text, and image. Based on
the proposed framework, we further establish a general rate-adaptive coding
mechanism for various types of multi-modal semantic tasks. In particular, we
utilize unequal error protection based on semantic importance, which is derived
by evaluating the distortion bound of each modality. We further formulate and
solve an optimization problem that aims at minimizing inference delay while
maintaining inference accuracy for semantic tasks. Numerical results show that
the proposed mechanism fares better than both conventional communication and
existing semantic communication systems in terms of task performance, inference
delay, and deployment complexity.
- Abstract（参考訳）: 近年,マルチモーダル通信システムにおける帯域幅需要の増大には,パラダイムシフトが必要である。
深層学習によるセマンティックコミュニケーションは,コミュニケーション効率の向上と通信資源の節約のために,マルチモーダルシナリオに適用される。
しかし、チャネルエンコーダ/デコーダのない既存のエンドツーエンドニューラルネットワーク(NN)ベースのフレームワークは、現代のデジタル通信システムと互換性がない。
さらに、エンド・ツー・エンドの設計のほとんどはタスク固有であり、アプリケーションを制限する新しいタスクのために再設計と再トレーニングが必要となる。
本稿では,従来のチャネルエンコーダ/デコーダを組み込んだ分散マルチモーダル意味コミュニケーションフレームワークを提案する。
nnベースのセマンティックエンコーダとデコーダを採用し,音声,テキスト,画像など,異なるモーダリティに含まれる相関した意味情報を抽出する。
提案手法に基づき,様々なマルチモーダル意味的タスクに対する一般的なレート適応型符号化機構をさらに確立する。
特に,各モダリティの歪み境界を評価することによって導かれる意味的重要性に基づく不等な誤り保護を利用する。
さらに,意味的タスクの推論精度を維持しつつ,推論遅延を最小限に抑える最適化問題を定式化し,解決する。
数値計算の結果,提案手法は従来のコミュニケーションシステムと既存のセマンティック通信システムの両方よりも,タスク性能,推論遅延,デプロイメントの複雑さの点で優れていることがわかった。
関連論文リスト
- Semantic Communication for Cooperative Perception using HARQ [51.148203799109304]
我々は重要セマンティック情報を抽出するために重要地図を活用し、協調的な知覚セマンティックコミュニケーションフレームワークを導入する。
周波数分割多重化(OFDM)とチャネル推定と等化戦略を併用して,時間変化によるマルチパスフェーディングによる課題に対処する。
我々は,ハイブリッド自動繰り返し要求(HARQ)の精神において,我々の意味コミュニケーションフレームワークと統合された新しい意味エラー検出手法を提案する。
論文 参考訳（メタデータ） (2024-08-29T08:53:26Z) - Adaptive Semantic Token Selection for AI-native Goal-oriented Communications [11.92172357956248]
本稿では,AIネイティブな目標指向通信のための新しい設計を提案する。
我々は、帯域幅と計算量に対する動的推論制約の下でトランスフォーマーニューラルネットワークを利用する。
提案手法は,最先端のトークン選択機構よりも優れていることを示す。
論文 参考訳（メタデータ） (2024-04-25T13:49:50Z) - Latency-Aware Generative Semantic Communications with Pre-Trained Diffusion Models [43.27015039765803]
我々は,事前学習した生成モデルを用いた遅延認識型セマンティックコミュニケーションフレームワークを開発した。
我々は,超低レート,低レイテンシ,チャネル適応型セマンティック通信を実証する。
論文 参考訳（メタデータ） (2024-03-25T23:04:09Z) - Reasoning with the Theory of Mind for Pragmatic Semantic Communication [62.87895431431273]
本稿では,実用的な意味コミュニケーションフレームワークを提案する。
2つの知性エージェント間の効果的な目標指向情報共有を可能にする。
数値的な評価は、少ないビット量で効率的な通信を実現するためのフレームワークの能力を示している。
論文 参考訳（メタデータ） (2023-11-30T03:36:19Z) - Generative AI-aided Joint Training-free Secure Semantic Communications
via Multi-modal Prompts [89.04751776308656]
本稿では,多モデルプロンプトを用いたGAI支援型SemComシステムを提案する。
セキュリティ上の懸念に応えて、フレンドリーなジャマーによって支援される隠蔽通信の応用を紹介する。
論文 参考訳（メタデータ） (2023-09-05T23:24:56Z) - Communication-Efficient Framework for Distributed Image Semantic
Wireless Transmission [68.69108124451263]
IoTデバイスを用いたマルチタスク分散画像伝送のためのFederated Learning-based semantic communication (FLSC)フレームワーク。
各リンクは階層型視覚変換器(HVT)ベースの抽出器とタスク適応トランスレータで構成される。
チャネル状態情報に基づく多重出力多重出力伝送モジュール。
論文 参考訳（メタデータ） (2023-08-07T16:32:14Z) - Cognitive Semantic Communication Systems Driven by Knowledge Graph:
Principle, Implementation, and Performance Evaluation [74.38561925376996]
単一ユーザと複数ユーザのコミュニケーションシナリオに対して,認知意味コミュニケーションフレームワークが2つ提案されている。
知識グラフから推論規則をマイニングすることにより,効果的な意味補正アルゴリズムを提案する。
マルチユーザ認知型セマンティックコミュニケーションシステムにおいて,異なるユーザのメッセージを識別するために,メッセージ復元アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-03-15T12:01:43Z) - Non-Orthogonal Multiple Access Enhanced Multi-User Semantic
Communication [7.231199109999097]
本稿では,NomaSC(Non-Orthogonal multiple access)に基づくマルチユーザセマンティックコミュニケーションシステムを提案する。
システムは、ソース情報の多様性を持つ複数のユーザのセマンティックトランスミッションをサポートすることができる。
論文 参考訳（メタデータ） (2023-03-12T07:32:42Z) - Emergent Quantized Communication [34.31732248872158]
本稿では,メッセージの量子化という,離散的なコミュニケーションを実現するための代替手法を提案する。
メッセージの量子化により、モデルのエンドツーエンドのトレーニングが可能になり、複数のセットアップで優れたパフォーマンスを実現します。
論文 参考訳（メタデータ） (2022-11-04T12:39:45Z) - Deep Multi-Task Learning for Cooperative NOMA: System Design and
Principles [52.79089414630366]
我々は,近年のディープラーニング(DL)の進歩を反映した,新しいディープ・コラボレーティブなNOMAスキームを開発する。
我々は,システム全体を包括的に最適化できるように,新しいハイブリッドカスケードディープニューラルネットワーク(DNN)アーキテクチャを開発した。
論文 参考訳（メタデータ） (2020-07-27T12:38:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。