Fugu-MT 論文翻訳(概要): Semantic Communication based on Large Language Model for Underwater Image Transmission

論文の概要: Semantic Communication based on Large Language Model for Underwater Image Transmission

arxiv url: http://arxiv.org/abs/2408.12616v2
Date: Mon, 26 Aug 2024 03:47:06 GMT
ステータス: 処理完了
システム内更新日: 2024-08-27 20:20:40.617203
Title: Semantic Communication based on Large Language Model for Underwater Image Transmission
Title（参考訳）: 水中画像伝送のための大規模言語モデルに基づく意味コミュニケーション
Authors: Weilong Chen, Wenxuan Xu, Haoran Chen, Xinran Zhang, Zhijin Qin, Yanru Zhang, Zhu Han,
Abstract要約: 従来の水中通信は、低帯域幅、高レイテンシ、ノイズに対する感受性といった制限に直面している。大規模言語モデル(LLM)に基づく新しい意味コミュニケーションフレームワークを提案する。私たちのフレームワークは、データ全体のサイズをオリジナルの0.8%に削減します。
参考スコア（独自算出の注目度）: 36.56805696235768
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Underwater communication is essential for environmental monitoring, marine biology research, and underwater exploration. Traditional underwater communication faces limitations like low bandwidth, high latency, and susceptibility to noise, while semantic communication (SC) offers a promising solution by focusing on the exchange of semantics rather than symbols or bits. However, SC encounters challenges in underwater environments, including semantic information mismatch and difficulties in accurately identifying and transmitting critical information that aligns with the diverse requirements of underwater applications. To address these challenges, we propose a novel Semantic Communication (SC) framework based on Large Language Models (LLMs). Our framework leverages visual LLMs to perform semantic compression and prioritization of underwater image data according to the query from users. By identifying and encoding key semantic elements within the images, the system selectively transmits high-priority information while applying higher compression rates to less critical regions. On the receiver side, an LLM-based recovery mechanism, along with Global Vision ControlNet and Key Region ControlNet networks, aids in reconstructing the images, thereby enhancing communication efficiency and robustness. Our framework reduces the overall data size to 0.8\% of the original. Experimental results demonstrate that our method significantly outperforms existing approaches, ensuring high-quality, semantically accurate image reconstruction.
Abstract（参考訳）: 水中通信は、環境モニタリング、海洋生物学研究、水中探査に不可欠である。従来の水中通信は、低帯域幅、高レイテンシ、ノイズに対する感受性といった制限に直面しているが、セマンティック通信(SC)はシンボルやビットではなくセマンティクスの交換に焦点を当てることで、有望な解決策を提供する。しかし、SCは、セマンティックな情報ミスマッチや、水中アプリケーションの多様な要件に沿った重要な情報を正確に識別し伝達することの難しさなど、水中環境における課題に直面している。これらの課題に対処するため,我々はLarge Language Models (LLMs) に基づいた新しいセマンティックコミュニケーション(SC)フレームワークを提案する。本フレームワークは,ユーザからの問い合わせに応じて,視覚的LLMを利用して水中画像データのセマンティック圧縮と優先順位付けを行う。画像内のキーセマンティック要素を識別し、符号化することにより、低臨界領域に高い圧縮率を適用しながら、高優先度情報を選択的に送信する。受信側では、LLMベースのリカバリ機構とGlobal Vision ControlNetとKey Region ControlNetネットワークが画像の再構成を支援し、通信効率と堅牢性を向上させる。我々のフレームワークは、データ全体のサイズをオリジナルの0.8\%に減らします。実験の結果,提案手法は既存の手法よりも優れており,高品質でセマンティックな画像再構成の精度が保証されている。

関連論文リスト

Underwater Image Quality Assessment: A Perceptual Framework Guided by Physical Imaging [52.860312888450096]
PIGUIQAと呼ばれる水中画像品質評価(UIQA)のための物理画像誘導フレームワークを提案する。提案手法に物理に基づく水中画像推定を取り入れ,直接透過減衰と後方散乱が画質に与える影響を計測する歪み測定値を定義した。 PIGUIQAは水中画像品質予測における最先端性能を実現し,高い一般化性を示す。
論文参考訳（メタデータ） (2024-12-20T03:31:45Z)
Vision Transformer-based Semantic Communications With Importance-Aware Quantization [13.328970689723096]
本稿では、無線画像伝送のための重要量化(IAQ)を用いた視覚変換器(ViT)に基づくセマンティック通信システムを提案する。筆者らのIAQフレームワークは, エラーのない, 現実的な通信シナリオにおいて, 従来の画像圧縮手法よりも優れていることを示す。
論文参考訳（メタデータ） (2024-12-08T19:24:47Z)
HoliSDiP: Image Super-Resolution via Holistic Semantics and Diffusion Prior [62.04939047885834]
本稿では,意味的セグメンテーションを活用するフレームワークであるHoliSDiPについて述べる。本手法では, セグメンテーションマスクと空間CLIPマップを用いて, セグメンテーションガイダンスを導入しながら, セグメンテーションラベルを簡潔なテキストプロンプトとして利用する。
論文参考訳（メタデータ） (2024-11-27T15:22:44Z)
Advanced Underwater Image Quality Enhancement via Hybrid Super-Resolution Convolutional Neural Networks and Multi-Scale Retinex-Based Defogging Techniques [0.0]
この研究は、提案されたアプローチの有効性をさらに説明するために、現実世界の水中データセットに関する広範な実験を行っている。海洋探査、水中ロボティクス、自律水中車両といったリアルタイムの水中アプリケーションでは、ディープラーニングと従来の画像処理技術を組み合わせることで、計算効率の良いフレームワークと優れた結果が得られる。
論文参考訳（メタデータ） (2024-10-18T08:40:26Z)
Trustworthy Image Semantic Communication with GenAI: Explainablity, Controllability, and Efficiency [59.15544887307901]
画像意味コミュニケーション(ISC)は,高効率な映像コンテンツ伝送を実現する可能性に注目されている。既存のISCシステムは、解釈可能性、操作性、互換性の課題に直面している。我々は、複数の下流推論タスクにGenerative Artificial Intelligence(GenAI)を利用する新しい信頼できるISCフレームワークを提案する。
論文参考訳（メタデータ） (2024-08-07T14:32:36Z)
Transformer-Aided Semantic Communications [28.63893944806149]
我々は、入力画像の圧縮とコンパクトな表現のために、視覚変換器を用いる。変圧器固有のアテンション機構を用いることで、アテンションマスクを作成する。提案手法の有効性をTinyImageNetデータセットを用いて評価した。
論文参考訳（メタデータ） (2024-05-02T17:50:53Z)
DGNet: Dynamic Gradient-Guided Network for Water-Related Optics Image Enhancement [77.0360085530701]
水中画像強調(UIE)は、水中環境によって引き起こされる複雑な劣化のために難しい課題である。従来の手法では、劣化過程を理想化し、中音や物体の動きが画像の特徴の分布に与える影響を無視することが多い。提案手法では,予測画像を用いて疑似ラベルを動的に更新し,動的勾配を加えてネットワークの勾配空間を最適化する。
論文参考訳（メタデータ） (2023-12-12T06:07:21Z)
Semantic-aware Texture-Structure Feature Collaboration for Underwater Image Enhancement [58.075720488942125]
水中画像の強調は海洋工学や水生ロボット工学において重要な技術として注目されている。我々は,高レベルな意味認識事前学習モデルと協調して,効率的でコンパクトな拡張ネットワークを開発する。また,提案手法を水中の有意な物体検出タスクに適用し,高レベルの視覚タスクに適した意味認識能力を明らかにする。
論文参考訳（メタデータ） (2022-11-19T07:50:34Z)
Towards Semantic Communications: Deep Learning-Based Image Semantic Coding [42.453963827153856]
我々は,よりセマンティクスや帯域幅に敏感な画像データに対するセマンティクス通信を考案した。画素レベルを超えて画像を符号化する強化学習に基づく適応意味符号化(RL-ASC)手法を提案する。実験の結果,提案したRL-ASCはノイズ耐性があり,視覚的に快適でセマンティックな一貫した画像の再構成が可能であった。
論文参考訳（メタデータ） (2022-08-08T12:29:55Z)
Perceptual Learned Source-Channel Coding for High-Fidelity Image Semantic Transmission [7.692038874196345]
本稿では, 深部JSCCの最適化のために, 対向損失を導入する。我々の新しい深層JSCCアーキテクチャは、エンコーダ、無線チャネル、デコーダ/ジェネレータ、および識別器を組み合わせたものである。ユーザスタディでは、知覚的に類似したエンドツーエンドの画像伝送品質を達成することで、約50%の無線チャネル帯域幅コストを節約できることを確認した。
論文参考訳（メタデータ） (2022-05-26T03:05:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。