論文の概要: Attention-based UNet enabled Lightweight Image Semantic Communication
System over Internet of Things
- arxiv url: http://arxiv.org/abs/2401.07329v1
- Date: Sun, 14 Jan 2024 16:46:50 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-17 18:42:40.988220
- Title: Attention-based UNet enabled Lightweight Image Semantic Communication
System over Internet of Things
- Title（参考訳）: 注意型UNetによるモノのインターネット上の軽量画像セマンティック通信システム
- Authors: Guoxin Ma, Haonan Tong, Nuocheng Yang, and Changchuan Yin
- Abstract要約: モノのインターネット(IoT)デバイス上に展開される軽量な画像意味コミュニケーションシステムの問題について検討する。
本稿では,低計算複雑性と小型モデルサイズを実現する軽量画像意味コミュニケーション (LSSC) システムを提案する。
- 参考スコア（独自算出の注目度）: 4.62215026195301
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: This paper studies the problem of the lightweight image semantic
communication system that is deployed on Internet of Things (IoT) devices. In
the considered system model, devices must use semantic communication techniques
to support user behavior recognition in ultimate video service with high data
transmission efficiency. However, it is computationally expensive for IoT
devices to deploy semantic codecs due to the complex calculation processes of
deep learning (DL) based codec training and inference. To make it affordable
for IoT devices to deploy semantic communication systems, we propose an
attention-based UNet enabled lightweight image semantic communication (LSSC)
system, which achieves low computational complexity and small model size. In
particular, we first let the LSSC system train the codec at the edge server to
reduce the training computation load on IoT devices. Then, we introduce the
convolutional block attention module (CBAM) to extract the image semantic
features and decrease the number of downsampling layers thus reducing the
floating-point operations (FLOPs). Finally, we experimentally adjust the
structure of the codec and find out the optimal number of downsampling layers.
Simulation results show that the proposed LSSC system can reduce the semantic
codec FLOPs by 14%, and reduce the model size by 55%, with a sacrifice of 3%
accuracy, compared to the baseline. Moreover, the proposed scheme can achieve a
higher transmission accuracy than the traditional communication scheme in the
low channel signal-to-noise (SNR) region.
- Abstract（参考訳）: 本稿では,モノのインターネット(IoT)デバイス上に展開される軽量画像意味コミュニケーションシステムの問題について検討する。
考慮されたシステムモデルでは、デバイスはデータ伝送効率の高い究極のビデオサービスにおけるユーザの行動認識をサポートするためにセマンティック通信技術を使用する必要がある。
しかし、ディープラーニング(DL)ベースのコーデックトレーニングと推論の複雑な計算プロセスのため、IoTデバイスがセマンティックコーデックをデプロイするのは計算コストがかかる。
セマンティック通信システムをIoTデバイスで展開するために,低計算複雑性と小型モデルサイズを実現する,注目ベースの軽量画像セマンティック通信(LSSC)システムを提案する。
特に,我々はまず,エッジサーバのコーデックをLSSCシステムにトレーニングさせ,IoTデバイス上でのトレーニング計算負荷を低減する。
次に,畳み込みブロックアテンションモジュール(cbam)を導入し,画像意味的特徴を抽出し,ダウンサンプリング層数を減らし,浮動小数点演算(flops)を削減する。
最後に,コーデックの構造を実験的に調整し,ダウンサンプリング層の最適数を求める。
シミュレーションの結果,提案するLSSCシステムにより,意味コーデックFLOPを14%削減し,モデルサイズを55%削減できることがわかった。
さらに,提案方式は低チャネルsnr(signal-to-noise)領域において,従来の通信方式よりも高い伝送精度を実現することができる。
関連論文リスト
- Semantic Successive Refinement: A Generative AI-aided Semantic Communication Framework [27.524671767937512]
本稿では,単一ユーザシナリオを対象とした新しいジェネレーティブAIセマンティックコミュニケーション(GSC)システムを提案する。
送信側では、Swin Transformerをベースとしたジョイントソースチャネル符号化機構を用いて、効率的なセマンティック特徴抽出を行う。
受信側では、高度な拡散モデル(DM)が劣化した信号から高品質な画像を再構成し、知覚の詳細を高める。
論文 参考訳（メタデータ） (2024-07-31T06:08:51Z) - VideoQA-SC: Adaptive Semantic Communication for Video Question Answering [21.0279034601774]
本稿では,ビデオQA-SCと呼ばれるビデオ質問応答タスクのためのエンドツーエンドのSCシステムを提案する。
我々のゴールは、ノイズや失速する無線チャンネル上のビデオセマンティクスに基づいて、ビデオQAタスクを直接実行することである。
ビデオアプリケーションにおけるタスク指向のSCシステム設計の可能性を示す。
論文 参考訳（メタデータ） (2024-05-17T06:11:10Z) - Visual Language Model based Cross-modal Semantic Communication Systems [42.321208020228894]
本稿では,視覚言語モデルに基づくクロスモーダル・セマンティックコミュニケーションシステムを提案する。
VLM−CSCは、3つの新規成分を含む。
実験により, CSCシステムの有効性, 適応性, 堅牢性を検証した。
論文 参考訳（メタデータ） (2024-05-06T08:59:16Z) - Knowledge Distillation Based Semantic Communications For Multiple Users [10.770552656390038]
本稿では,複数のユーザを対象としたセマンティックコミュニケーション(SemCom)システムについて考察する。
本稿では,トランスフォーマーベースのエンコーダデコーダをセマンティックエンコーダデコーダとして実装し,チャネルエンコーダデコーダとして完全に接続されたニューラルネットワークを実装した知識蒸留(KD)システムを提案する。
数値計算の結果,KDは予期せぬ干渉に適用した場合のロバスト性や一般化能力を大幅に向上し,モデルサイズを圧縮した場合の性能損失を低減できることがわかった。
論文 参考訳（メタデータ） (2023-11-23T03:28:14Z) - Communication-Efficient Framework for Distributed Image Semantic
Wireless Transmission [68.69108124451263]
IoTデバイスを用いたマルチタスク分散画像伝送のためのFederated Learning-based semantic communication (FLSC)フレームワーク。
各リンクは階層型視覚変換器(HVT)ベースの抽出器とタスク適応トランスレータで構成される。
チャネル状態情報に基づく多重出力多重出力伝送モジュール。
論文 参考訳（メタデータ） (2023-08-07T16:32:14Z) - Vector Quantized Semantic Communication System [22.579525825992416]
我々は,VQ-DeepSCという画像伝送のための深層学習可能なベクトル量子化(VQ)セマンティック通信システムを開発した。
具体的には、画像のマルチスケールな意味的特徴を抽出し、マルチスケールな意味的埋め込み空間を導入するCNNベースのトランシーバを提案する。
我々は、PatchGAN識別器を導入して、受信画像の品質を向上させるために、敵対訓練を実践する。
論文 参考訳（メタデータ） (2022-09-23T10:58:23Z) - Deep Learning-Based Rate-Splitting Multiple Access for Reconfigurable
Intelligent Surface-Aided Tera-Hertz Massive MIMO [56.022764337221325]
再構成可能なインテリジェントサーフェス(RIS)は,Tera-Hertz大規模マルチインプットマルチアウトプット(MIMO)通信システムのサービスカバレッジを大幅に向上させることができる。
しかし、パイロットとフィードバック信号のオーバーヘッドが限定された正確な高次元チャネル状態情報(CSI)を得ることは困難である。
本稿では、RIS支援Tera-Hertzマルチユーザアクセスシステムのための、ディープラーニング(DL)に基づくレート分割多重アクセス方式を提案する。
論文 参考訳（メタデータ） (2022-09-18T03:07:37Z) - ZippyPoint: Fast Interest Point Detection, Description, and Matching
through Mixed Precision Discretization [71.91942002659795]
我々は,ネットワーク量子化技術を用いて推論を高速化し,計算限定プラットフォームでの利用を可能にする。
バイナリディスクリプタを用いた効率的な量子化ネットワークZippyPointは,ネットワーク実行速度,ディスクリプタマッチング速度,3Dモデルサイズを改善する。
これらの改善は、ホモグラフィー推定、視覚的ローカライゼーション、マップフリーな視覚的再ローカライゼーションのタスクで評価されるように、小さなパフォーマンス劣化をもたらす。
論文 参考訳（メタデータ） (2022-03-07T18:59:03Z) - A Study of Designing Compact Audio-Visual Wake Word Spotting System
Based on Iterative Fine-Tuning in Neural Network Pruning [57.28467469709369]
視覚情報を利用した小型音声覚醒単語スポッティング(WWS)システムの設計について検討する。
繰り返し微調整方式(LTH-IF)で抽選券仮説を通したニューラルネットワークプルーニング戦略を導入する。
提案システムでは,ノイズ条件の異なる単一モード(オーディオのみ,ビデオのみ)システムに対して,大幅な性能向上を実現している。
論文 参考訳（メタデータ） (2022-02-17T08:26:25Z) - An Adaptive Device-Edge Co-Inference Framework Based on Soft
Actor-Critic [72.35307086274912]
高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。
本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。
レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
論文 参考訳（メタデータ） (2022-01-09T09:31:50Z) - Learning Frequency-aware Dynamic Network for Efficient Super-Resolution [56.98668484450857]
本稿では、離散コサイン変換(dct)領域の係数に応じて入力を複数の部分に分割する新しい周波数認識動的ネットワークについて検討する。
実際、高周波部は高価な操作で処理され、低周波部は計算負荷を軽減するために安価な操作が割り当てられる。
ベンチマークSISRモデルおよびデータセット上での実験は、周波数認識動的ネットワークが様々なSISRニューラルネットワークに使用できることを示している。
論文 参考訳（メタデータ） (2021-03-15T12:54:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。