論文の概要: Vision Transformer-based Semantic Communications With Importance-Aware Quantization
- arxiv url: http://arxiv.org/abs/2412.06038v1
- Date: Sun, 08 Dec 2024 19:24:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-10 14:52:47.100206
- Title: Vision Transformer-based Semantic Communications With Importance-Aware Quantization
- Title（参考訳）: 意味認識型量子化を用いた視覚変換器に基づく意味的コミュニケーション
- Authors: Joohyuk Park, Yongjeong Oh, Yongjune Kim, Yo-Seb Jeon,
- Abstract要約: 本稿では、無線画像伝送のための重要量化(IAQ)を用いた視覚変換器(ViT)に基づくセマンティック通信システムを提案する。
筆者らのIAQフレームワークは, エラーのない, 現実的な通信シナリオにおいて, 従来の画像圧縮手法よりも優れていることを示す。
- 参考スコア（独自算出の注目度）: 13.328970689723096
- License:
- Abstract: Semantic communications provide significant performance gains over traditional communications by transmitting task-relevant semantic features through wireless channels. However, most existing studies rely on end-to-end (E2E) training of neural-type encoders and decoders to ensure effective transmission of these semantic features. To enable semantic communications without relying on E2E training, this paper presents a vision transformer (ViT)-based semantic communication system with importance-aware quantization (IAQ) for wireless image transmission. The core idea of the presented system is to leverage the attention scores of a pretrained ViT model to quantify the importance levels of image patches. Based on this idea, our IAQ framework assigns different quantization bits to image patches based on their importance levels. This is achieved by formulating a weighted quantization error minimization problem, where the weight is set to be an increasing function of the attention score. Then, an optimal incremental allocation method and a low-complexity water-filling method are devised to solve the formulated problem. Our framework is further extended for realistic digital communication systems by modifying the bit allocation problem and the corresponding allocation methods based on an equivalent binary symmetric channel (BSC) model. Simulations on single-view and multi-view image classification tasks show that our IAQ framework outperforms conventional image compression methods in both error-free and realistic communication scenarios.
- Abstract（参考訳）: セマンティック通信は、無線チャネルを介してタスク関連セマンティックな特徴を伝達することにより、従来の通信よりも大きな性能向上をもたらす。
しかしながら、既存の研究の多くは、これらのセマンティックな特徴を効果的に伝達するために、ニューラルタイプエンコーダとデコーダのエンドツーエンド(E2E)トレーニングに依存している。
本稿では,E2Eトレーニングに頼ることなくセマンティックコミュニケーションを実現するために,無線画像伝送のための重要量化(IAQ)を備えた視覚変換器(ViT)ベースのセマンティックコミュニケーションシステムを提案する。
提案システムの中核となる考え方は、事前訓練されたViTモデルの注意スコアを利用して、画像パッチの重要度を定量化することである。
この考え方に基づいて、IAQフレームワークは、その重要性レベルに基づいて、異なる量子化ビットを画像パッチに割り当てる。
これは、重み付け量子化誤差最小化問題を定式化することにより達成される。
そこで, 定式化問題を解くため, 最適インクリメンタルアロケーション法と低複雑水充填法を考案した。
本フレームワークは,ビット割り当て問題と等価なバイナリ対称チャネル(BSC)モデルに基づいて対応する割り当て方法を変更することで,現実的なデジタル通信システムのためにさらに拡張されている。
単視点および多視点画像分類タスクのシミュレーションにより,IAQフレームワークは,エラーのない,現実的な通信シナリオにおいて,従来の画像圧縮手法よりも優れていることを示す。
関連論文リスト
- Semantic Communication for Cooperative Perception using HARQ [51.148203799109304]
我々は重要セマンティック情報を抽出するために重要地図を活用し、協調的な知覚セマンティックコミュニケーションフレームワークを導入する。
周波数分割多重化(OFDM)とチャネル推定と等化戦略を併用して,時間変化によるマルチパスフェーディングによる課題に対処する。
我々は,ハイブリッド自動繰り返し要求(HARQ)の精神において,我々の意味コミュニケーションフレームワークと統合された新しい意味エラー検出手法を提案する。
論文 参考訳（メタデータ） (2024-08-29T08:53:26Z) - Trustworthy Image Semantic Communication with GenAI: Explainablity, Controllability, and Efficiency [59.15544887307901]
画像意味コミュニケーション(ISC)は,高効率な映像コンテンツ伝送を実現する可能性に注目されている。
既存のISCシステムは、解釈可能性、操作性、互換性の課題に直面している。
我々は、複数の下流推論タスクにGenerative Artificial Intelligence(GenAI)を利用する新しい信頼できるISCフレームワークを提案する。
論文 参考訳（メタデータ） (2024-08-07T14:32:36Z) - Visual Language Model based Cross-modal Semantic Communication Systems [42.321208020228894]
本稿では,視覚言語モデルに基づくクロスモーダル・セマンティックコミュニケーションシステムを提案する。
VLM−CSCは、3つの新規成分を含む。
実験により, CSCシステムの有効性, 適応性, 堅牢性を検証した。
論文 参考訳（メタデータ） (2024-05-06T08:59:16Z) - Adaptive Semantic Token Selection for AI-native Goal-oriented Communications [11.92172357956248]
本稿では,AIネイティブな目標指向通信のための新しい設計を提案する。
我々は、帯域幅と計算量に対する動的推論制約の下でトランスフォーマーニューラルネットワークを利用する。
提案手法は,最先端のトークン選択機構よりも優れていることを示す。
論文 参考訳（メタデータ） (2024-04-25T13:49:50Z) - Agent-driven Generative Semantic Communication with Cross-Modality and Prediction [57.335922373309074]
本稿では,強化学習に基づくエージェント駆動型ジェネリックセマンティックコミュニケーションフレームワークを提案する。
本研究では, エージェント支援型セマンティックエンコーダを開発し, 適応的セマンティック抽出とサンプリングを行う。
設計モデルの有効性をUA-DETRACデータセットを用いて検証し、全体的なA-GSCフレームワークの性能向上を実証した。
論文 参考訳（メタデータ） (2024-04-10T13:24:27Z) - Reasoning with the Theory of Mind for Pragmatic Semantic Communication [62.87895431431273]
本稿では,実用的な意味コミュニケーションフレームワークを提案する。
2つの知性エージェント間の効果的な目標指向情報共有を可能にする。
数値的な評価は、少ないビット量で効率的な通信を実現するためのフレームワークの能力を示している。
論文 参考訳（メタデータ） (2023-11-30T03:36:19Z) - Communication-Efficient Framework for Distributed Image Semantic
Wireless Transmission [68.69108124451263]
IoTデバイスを用いたマルチタスク分散画像伝送のためのFederated Learning-based semantic communication (FLSC)フレームワーク。
各リンクは階層型視覚変換器(HVT)ベースの抽出器とタスク適応トランスレータで構成される。
チャネル状態情報に基づく多重出力多重出力伝送モジュール。
論文 参考訳（メタデータ） (2023-08-07T16:32:14Z) - Vector Quantized Semantic Communication System [22.579525825992416]
我々は,VQ-DeepSCという画像伝送のための深層学習可能なベクトル量子化(VQ)セマンティック通信システムを開発した。
具体的には、画像のマルチスケールな意味的特徴を抽出し、マルチスケールな意味的埋め込み空間を導入するCNNベースのトランシーバを提案する。
我々は、PatchGAN識別器を導入して、受信画像の品質を向上させるために、敵対訓練を実践する。
論文 参考訳（メタデータ） (2022-09-23T10:58:23Z) - Task-Oriented Sensing, Computation, and Communication Integration for
Multi-Device Edge AI [108.08079323459822]
本稿では,AIモデルの分割推論と統合センシング通信(ISAC)を併用した,新しいマルチインテリジェントエッジ人工レイテンシ(AI)システムについて検討する。
推定精度は近似的だが抽出可能な計量、すなわち判別利得を用いて測定する。
論文 参考訳（メタデータ） (2022-07-03T06:57:07Z) - VTAMIQ: Transformers for Attention Modulated Image Quality Assessment [0.0]
本稿では,VTAMIQ(VTAMIQ)を用いた新しい全参照IQA手法を提案する。
本手法は既存のIQAデータセット上での競合や最先端の性能を実現する。
VTAMIQは、分類タスクとIQAタスクの両方に対して大規模な事前訓練を行うことで、目に見えない画像と歪みの集合によく一般化する。
論文 参考訳（メタデータ） (2021-10-04T18:35:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。