論文の概要: Semantic Communication based on Large Language Model for Underwater Image Transmission
- arxiv url: http://arxiv.org/abs/2408.12616v2
- Date: Mon, 26 Aug 2024 03:47:06 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-27 20:20:40.617203
- Title: Semantic Communication based on Large Language Model for Underwater Image Transmission
- Title（参考訳）: 水中画像伝送のための大規模言語モデルに基づく意味コミュニケーション
- Authors: Weilong Chen, Wenxuan Xu, Haoran Chen, Xinran Zhang, Zhijin Qin, Yanru Zhang, Zhu Han,
- Abstract要約: 従来の水中通信は、低帯域幅、高レイテンシ、ノイズに対する感受性といった制限に直面している。
大規模言語モデル(LLM)に基づく新しい意味コミュニケーションフレームワークを提案する。
私たちのフレームワークは、データ全体のサイズをオリジナルの0.8%に削減します。
- 参考スコア（独自算出の注目度）: 36.56805696235768
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Underwater communication is essential for environmental monitoring, marine biology research, and underwater exploration. Traditional underwater communication faces limitations like low bandwidth, high latency, and susceptibility to noise, while semantic communication (SC) offers a promising solution by focusing on the exchange of semantics rather than symbols or bits. However, SC encounters challenges in underwater environments, including semantic information mismatch and difficulties in accurately identifying and transmitting critical information that aligns with the diverse requirements of underwater applications. To address these challenges, we propose a novel Semantic Communication (SC) framework based on Large Language Models (LLMs). Our framework leverages visual LLMs to perform semantic compression and prioritization of underwater image data according to the query from users. By identifying and encoding key semantic elements within the images, the system selectively transmits high-priority information while applying higher compression rates to less critical regions. On the receiver side, an LLM-based recovery mechanism, along with Global Vision ControlNet and Key Region ControlNet networks, aids in reconstructing the images, thereby enhancing communication efficiency and robustness. Our framework reduces the overall data size to 0.8\% of the original. Experimental results demonstrate that our method significantly outperforms existing approaches, ensuring high-quality, semantically accurate image reconstruction.
- Abstract（参考訳）: 水中通信は、環境モニタリング、海洋生物学研究、水中探査に不可欠である。
従来の水中通信は、低帯域幅、高レイテンシ、ノイズに対する感受性といった制限に直面しているが、セマンティック通信(SC)はシンボルやビットではなくセマンティクスの交換に焦点を当てることで、有望な解決策を提供する。
しかし、SCは、セマンティックな情報ミスマッチや、水中アプリケーションの多様な要件に沿った重要な情報を正確に識別し伝達することの難しさなど、水中環境における課題に直面している。
これらの課題に対処するため,我々はLarge Language Models (LLMs) に基づいた新しいセマンティックコミュニケーション(SC)フレームワークを提案する。
本フレームワークは,ユーザからの問い合わせに応じて,視覚的LLMを利用して水中画像データのセマンティック圧縮と優先順位付けを行う。
画像内のキーセマンティック要素を識別し、符号化することにより、低臨界領域に高い圧縮率を適用しながら、高優先度情報を選択的に送信する。
受信側では、LLMベースのリカバリ機構とGlobal Vision ControlNetとKey Region ControlNetネットワークが画像の再構成を支援し、通信効率と堅牢性を向上させる。
我々のフレームワークは、データ全体のサイズをオリジナルの0.8\%に減らします。
実験の結果,提案手法は既存の手法よりも優れており,高品質でセマンティックな画像再構成の精度が保証されている。
関連論文リスト
- Advanced Underwater Image Quality Enhancement via Hybrid Super-Resolution Convolutional Neural Networks and Multi-Scale Retinex-Based Defogging Techniques [0.0]
この研究は、提案されたアプローチの有効性をさらに説明するために、現実世界の水中データセットに関する広範な実験を行っている。
海洋探査、水中ロボティクス、自律水中車両といったリアルタイムの水中アプリケーションでは、ディープラーニングと従来の画像処理技術を組み合わせることで、計算効率の良いフレームワークと優れた結果が得られる。
論文 参考訳（メタデータ） (2024-10-18T08:40:26Z) - Trustworthy Image Semantic Communication with GenAI: Explainablity, Controllability, and Efficiency [59.15544887307901]
画像意味コミュニケーション(ISC)は,高効率な映像コンテンツ伝送を実現する可能性に注目されている。
既存のISCシステムは、解釈可能性、操作性、互換性の課題に直面している。
我々は、複数の下流推論タスクにGenerative Artificial Intelligence(GenAI)を利用する新しい信頼できるISCフレームワークを提案する。
論文 参考訳（メタデータ） (2024-08-07T14:32:36Z) - WaterMamba: Visual State Space Model for Underwater Image Enhancement [17.172623370407155]
水中イメージングは、光の伝播や水中の吸収に影響を及ぼす要因によって、しばしば品質の低下に悩まされる。
画像品質を向上させるため、畳み込みニューラルネットワーク(CNN)とトランスフォーマーに基づく水中画像強調法(UIE)が提案されている。
計算複雑性と高度水中画像劣化を考慮して,UIEの線形計算複雑性を持つ状態空間モデルであるWaterMambaを提案する。
論文 参考訳（メタデータ） (2024-05-14T08:26:29Z) - Transformer-Aided Semantic Communications [28.63893944806149]
我々は、入力画像の圧縮とコンパクトな表現のために、視覚変換器を用いる。
変圧器固有のアテンション機構を用いることで、アテンションマスクを作成する。
提案手法の有効性をTinyImageNetデータセットを用いて評価した。
論文 参考訳（メタデータ） (2024-05-02T17:50:53Z) - DGNet: Dynamic Gradient-Guided Network for Water-Related Optics Image
Enhancement [77.0360085530701]
水中画像強調(UIE)は、水中環境によって引き起こされる複雑な劣化のために難しい課題である。
従来の手法では、劣化過程を理想化し、中音や物体の動きが画像の特徴の分布に与える影響を無視することが多い。
提案手法では,予測画像を用いて疑似ラベルを動的に更新し,動的勾配を加えてネットワークの勾配空間を最適化する。
論文 参考訳（メタデータ） (2023-12-12T06:07:21Z) - PUGAN: Physical Model-Guided Underwater Image Enhancement Using GAN with
Dual-Discriminators [120.06891448820447]
鮮明で視覚的に快適な画像を得る方法は、人々の共通の関心事となっている。
水中画像強調(UIE)の課題も、時間とともに現れた。
本稿では,UIE のための物理モデル誘導型 GAN モデルを提案する。
我々のPUGANは質的および定量的な測定値において最先端の手法より優れています。
論文 参考訳（メタデータ） (2023-06-15T07:41:12Z) - Semantic-aware Texture-Structure Feature Collaboration for Underwater
Image Enhancement [58.075720488942125]
水中画像の強調は海洋工学や水生ロボット工学において重要な技術として注目されている。
我々は,高レベルな意味認識事前学習モデルと協調して,効率的でコンパクトな拡張ネットワークを開発する。
また,提案手法を水中の有意な物体検出タスクに適用し,高レベルの視覚タスクに適した意味認識能力を明らかにする。
論文 参考訳（メタデータ） (2022-11-19T07:50:34Z) - Towards Semantic Communications: Deep Learning-Based Image Semantic
Coding [42.453963827153856]
我々は,よりセマンティクスや帯域幅に敏感な画像データに対するセマンティクス通信を考案した。
画素レベルを超えて画像を符号化する強化学習に基づく適応意味符号化(RL-ASC)手法を提案する。
実験の結果,提案したRL-ASCはノイズ耐性があり,視覚的に快適でセマンティックな一貫した画像の再構成が可能であった。
論文 参考訳（メタデータ） (2022-08-08T12:29:55Z) - Perceptual Learned Source-Channel Coding for High-Fidelity Image
Semantic Transmission [7.692038874196345]
本稿では, 深部JSCCの最適化のために, 対向損失を導入する。
我々の新しい深層JSCCアーキテクチャは、エンコーダ、無線チャネル、デコーダ/ジェネレータ、および識別器を組み合わせたものである。
ユーザスタディでは、知覚的に類似したエンドツーエンドの画像伝送品質を達成することで、約50%の無線チャネル帯域幅コストを節約できることを確認した。
論文 参考訳（メタデータ） (2022-05-26T03:05:13Z) - Dense Attention Fluid Network for Salient Object Detection in Optical
Remote Sensing Images [193.77450545067967]
光リモートセンシング画像(RSI)における有意物体検出のためのエンド・ツー・エンドDense Attention Fluid Network(DAFNet)を提案する。
GCA(Global Context-Aware Attention)モジュールは、長距離の意味的関係を適応的にキャプチャするために提案される。
我々は、2000枚の画像とピクセルワイドなサリエンシアノテーションを含むSODのための新しい、挑戦的な光学RSIデータセットを構築した。
論文 参考訳（メタデータ） (2020-11-26T06:14:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。