論文の概要: Knowledge-Base based Semantic Image Transmission Using CLIP

• arxiv url: http://arxiv.org/abs/2504.01053v1
• Date: Tue, 01 Apr 2025 12:53:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-03 13:24:31.754205
• Title: Knowledge-Base based Semantic Image Transmission Using CLIP
• Title（参考訳）: CLIPを用いた知識ベース・セマンティック画像伝送
• Authors: Chongyang Li, Yanmei He, Tianqian Zhang, Mingjian He, Shouyin Liu,
• Abstract要約: 本稿では,画像伝送のための知識ベース(KB)支援型セマンティックコミュニケーションフレームワークを提案する。 提案システムはセマンティック・アウェア・コミュニケーションシステムのための新しい評価パラダイムを提供する。
• 参考スコア（独自算出の注目度）: 0.7323373755126116
• License:
• Abstract: This paper proposes a novel knowledge-Base (KB) assisted semantic communication framework for image transmission. At the receiver, a Facebook AI Similarity Search (FAISS) based vector database is constructed by extracting semantic embeddings from images using the Contrastive Language-Image Pre-Training (CLIP) model. During transmission, the transmitter first extracts a 512-dimensional semantic feature using the CLIP model, then compresses it with a lightweight neural network for transmission. After receiving the signal, the receiver reconstructs the feature back to 512 dimensions and performs similarity matching from the KB to retrieve the most semantically similar image. Semantic transmission success is determined by category consistency between the transmitted and retrieved images, rather than traditional metrics like Peak Signal-to-Noise Ratio (PSNR). The proposed system prioritizes semantic accuracy, offering a new evaluation paradigm for semantic-aware communication systems. Experimental validation on CIFAR100 demonstrates the effectiveness of the framework in achieving semantic image transmission.
• Abstract（参考訳）: 本稿では,画像伝送のための知識ベース(KB)支援型セマンティックコミュニケーションフレームワークを提案する。 受信機では、Contrastive Language-Image Pre-Training(CLIP)モデルを用いて画像からセマンティック埋め込みを抽出することにより、Facebook AI similarity Search(FAISS)ベースのベクトルデータベースを構築する。 送信中、送信者はまずCLIPモデルを使用して512次元のセマンティック特徴を抽出し、送信用の軽量ニューラルネットワークで圧縮する。 受信機は、信号を受信した後、特徴を512次元に再構成し、KBから類似性マッチングを行い、最も意味的に類似した画像を取得する。 セマンティックトランスミッションの成功は、Pak Signal-to-Noise Ratio (PSNR)のような従来のメトリクスではなく、送信された画像と検索された画像のカテゴリ一貫性によって決定される。 提案システムはセマンティック・アウェア・コミュニケーションシステムのための新しい評価パラダイムを提供する。 CIFAR100での実験的検証は、セマンティック・イメージ・トランスミッションの実現におけるフレームワークの有効性を示す。

関連論文リスト

• Generative Video Semantic Communication via Multimodal Semantic Fusion with Large Model [55.71885688565501]
  本稿では,高品質な映像再構成を実現するために,意味情報を抽出し,送信するスケーラブルなビデオ意味コミュニケーションフレームワークを提案する。 具体的には、送信機では、それぞれテキストと構造的意味論として機能するソースビデオから記述と他の条件信号を抽出する。 受信機では、拡散に基づくGenAI大モデルを用いて、ビデオの再構成のために複数のモーダルのセマンティクスを融合させる。
  論文  参考訳（メタデータ） (2025-02-19T15:59:07Z)
• SQ-GAN: Semantic Image Communications Using Masked Vector Quantization [55.02795214161371]
  本研究ではセマンティック・マスケッドVQ-GAN(SQ-GAN)を導入し,セマンティック・タスク指向通信のための画像圧縮を最適化する手法を提案する。 SQ-GANは、セマンティックセマンティックセグメンテーションと新しいセマンティック条件適応マスクモジュール(SAMM)を使用して、画像のセマンティックな重要な特徴を選択的にエンコードする。
  論文  参考訳（メタデータ） (2025-02-13T17:35:57Z)
• Vision Transformer-based Semantic Communications With Importance-Aware Quantization [13.328970689723096]
  本稿では、無線画像伝送のための重要量化(IAQ)を用いた視覚変換器(ViT)に基づくセマンティック通信システムを提案する。 筆者らのIAQフレームワークは, エラーのない, 現実的な通信シナリオにおいて, 従来の画像圧縮手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-12-08T19:24:47Z)
• Trustworthy Image Semantic Communication with GenAI: Explainablity, Controllability, and Efficiency [59.15544887307901]
  画像意味コミュニケーション(ISC)は,高効率な映像コンテンツ伝送を実現する可能性に注目されている。 既存のISCシステムは、解釈可能性、操作性、互換性の課題に直面している。 我々は、複数の下流推論タスクにGenerative Artificial Intelligence(GenAI)を利用する新しい信頼できるISCフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-07T14:32:36Z)
• Semantic Similarity Score for Measuring Visual Similarity at Semantic Level [5.867765921443141]
  シーングラフ生成とグラフマッチングに基づくセマンティック類似度スコア(Semantic similarity Score)のセマンティック評価指標を提案する。 このメトリクスは、画像の意味レベル情報のセマンティックレベルの違いを測定することができ、視覚的意味コミュニケーションシステムにおける評価に使用できる。
  論文  参考訳（メタデータ） (2024-06-06T08:51:26Z)
• Image Generative Semantic Communication with Multi-Modal Similarity Estimation for Resource-Limited Networks [2.2997117992292764]
  本研究では,多様な意味情報を利用したマルチモーダル画像伝送方式を提案する。 提案手法は,原画像からマルチモーダルな意味情報を抽出し,それを受信機に送信する。 受信機は画像生成モデルを用いて複数の画像を生成し、意味的類似性に基づいて出力画像を選択する。
  論文  参考訳（メタデータ） (2024-04-17T11:42:39Z)
• Reasoning with the Theory of Mind for Pragmatic Semantic Communication [62.87895431431273]
  本稿では,実用的な意味コミュニケーションフレームワークを提案する。 2つの知性エージェント間の効果的な目標指向情報共有を可能にする。 数値的な評価は、少ないビット量で効率的な通信を実現するためのフレームワークの能力を示している。
  論文  参考訳（メタデータ） (2023-11-30T03:36:19Z)
• Progressive Tree-Structured Prototype Network for End-to-End Image Captioning [74.8547752611337]
  本稿では,新しいプログレッシブツリー構造型プロトタイプネットワーク(PTSN)を提案する。 PTSNは、階層的テキスト意味論をモデル化することによって、適切な意味論で予測語の範囲を狭める最初の試みである。 提案手法は,144.2%(シングルモデル),146.5%(4モデルのアンサンブル),141.4%(c5),143.9%(c40)のCIDErを公式オンラインテストサーバ上でスコアする。
  論文  参考訳（メタデータ） (2022-11-17T11:04:00Z)
• Towards Semantic Communications: Deep Learning-Based Image Semantic Coding [42.453963827153856]
  我々は,よりセマンティクスや帯域幅に敏感な画像データに対するセマンティクス通信を考案した。 画素レベルを超えて画像を符号化する強化学習に基づく適応意味符号化(RL-ASC)手法を提案する。 実験の結果,提案したRL-ASCはノイズ耐性があり,視覚的に快適でセマンティックな一貫した画像の再構成が可能であった。
  論文  参考訳（メタデータ） (2022-08-08T12:29:55Z)
• Semantic Image Synthesis via Diffusion Models [159.4285444680301]
  Denoising Diffusion Probabilistic Models (DDPM) は様々な画像生成タスクにおいて顕著な成功を収めた。 セマンティック画像合成に関する最近の研究は、主に「GAN(Generative Adversarial Nets)」に追従している。
  論文  参考訳（メタデータ） (2022-06-30T18:31:51Z)
• Wireless Transmission of Images With The Assistance of Multi-level Semantic Information [16.640928669609934]
  MLSCイメージ(MLSC-image)は、無線画像伝送のためのマルチレベルセマンティックアウェアメント通信システムである。 テキストセマンティクスをキャプチャするために事前訓練された画像キャプションと、そのセマンティクスを得るために事前訓練された画像セマンティクスモデルを用いる。 提案した意味コミュニケーションシステムの有効性と効率を数値計算により検証した。
  論文  参考訳（メタデータ） (2022-02-08T16:25:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。