論文の概要: WVSC: Wireless Video Semantic Communication with Multi-frame Compensation

• arxiv url: http://arxiv.org/abs/2503.21197v1
• Date: Thu, 27 Mar 2025 06:27:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-28 12:51:26.953258
• Title: WVSC: Wireless Video Semantic Communication with Multi-frame Compensation
• Title（参考訳）: WVSC:マルチフレーム補償による無線ビデオセマンティック通信
• Authors: Bingyan Xie, Yongpeng Wu, Yuxuan Shi, Biqian Feng, Wenjun Zhang, Jihong Park, Tony Q. S. Quek,
• Abstract要約: 既存の無線ビデオ伝送方式は画素レベルで直接映像符号化を行う。 本稿では,WVSCと略される無線ビデオセマンティック通信フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 56.63352157833874
• License:
• Abstract: Existing wireless video transmission schemes directly conduct video coding in pixel level, while neglecting the inner semantics contained in videos. In this paper, we propose a wireless video semantic communication framework, abbreviated as WVSC, which integrates the idea of semantic communication into wireless video transmission scenarios. WVSC first encodes original video frames as semantic frames and then conducts video coding based on such compact representations, enabling the video coding in semantic level rather than pixel level. Moreover, to further reduce the communication overhead, a reference semantic frame is introduced to substitute motion vectors of each frame in common video coding methods. At the receiver, multi-frame compensation (MFC) is proposed to produce compensated current semantic frame with a multi-frame fusion attention module. With both the reference frame transmission and MFC, the bandwidth efficiency improves with satisfying video transmission performance. Experimental results verify the performance gain of WVSC over other DL-based methods e.g. DVSC about 1 dB and traditional schemes about 2 dB in terms of PSNR.
• Abstract（参考訳）: 既存の無線ビデオ伝送方式は、ビデオに含まれる内部意味を無視しながら、ピクセルレベルで直接ビデオ符号化を行う。 本稿では,WVSCと略される無線ビデオセマンティック通信フレームワークを提案する。 WVSCはまず、オリジナルのビデオフレームをセマンティックフレームとしてエンコードし、その後、そのようなコンパクトな表現に基づいてビデオコーディングを行う。 さらに、通信オーバーヘッドをさらに軽減するために、共通ビデオ符号化方式で各フレームの運動ベクトルを代用する参照セマンティックフレームを導入する。 受信機では、MFC(Multi-frame compensation)が提案され、マルチフレーム融合アテンションモジュールを用いた補償電流セマンティックフレームが生成される。 基準フレーム伝送とMFCの両方により、映像伝送性能を満足して帯域幅効率が向上する。 実験結果から,PSNRでは1dBのDVSC,PSNRでは2dBの従来のスキームなど,他のDLベースの手法と比較してWVSCの性能向上が検証された。

関連論文リスト

• Generative Video Semantic Communication via Multimodal Semantic Fusion with Large Model [55.71885688565501]
  本稿では,高品質な映像再構成を実現するために,意味情報を抽出し,送信するスケーラブルなビデオ意味コミュニケーションフレームワークを提案する。 具体的には、送信機では、それぞれテキストと構造的意味論として機能するソースビデオから記述と他の条件信号を抽出する。 受信機では、拡散に基づくGenAI大モデルを用いて、ビデオの再構成のために複数のモーダルのセマンティクスを融合させる。
  論文  参考訳（メタデータ） (2025-02-19T15:59:07Z)
• Cross-Layer Encrypted Semantic Communication Framework for Panoramic Video Transmission [11.438045765196332]
  パノラマビデオ伝送のための層間暗号化セマンティック通信(CLESC)フレームワークを提案する。 セマンティック情報の重要性に基づいて,CRC,チャネル符号化,再送方式を動的に調整する適応型クロス層伝送機構を提案する。 従来のクロス層伝送方式と比較して、CLESCフレームワークは帯域幅を85%削減できる。
  論文  参考訳（メタデータ） (2024-11-19T07:18:38Z)
• When Video Coding Meets Multimodal Large Language Models: A Unified Paradigm for Video Coding [118.72266141321647]
  CMVC(Cross-Modality Video Coding)は、ビデオ符号化における多モード表現とビデオ生成モデルを探索する先駆的な手法である。 復号化の際には、以前に符号化されたコンポーネントとビデオ生成モデルを利用して複数の復号モードを生成する。 TT2Vは効果的な意味再構成を実現し,IT2Vは競争力のある知覚整合性を示した。
  論文  参考訳（メタデータ） (2024-08-15T11:36:18Z)
• Synchronous Multi-modal Semantic Communication System with Packet-level Coding [20.397350999784276]
  パケットレベル符号化を用いた同期型マルチモーダルセマンティック通信システム(SyncSC)を提案する。 意味的・時間的同期を実現するため、3Dモーフィブルモード(3DMM)係数とテキストを意味論として送信する。 消去チャネル下でのセマンティックパケットの保護を目的として,パケット損失率が高い場合でも一定の視覚的品質を維持できるパケットレベルフォワード誤り訂正法(PacSC)を提案する。
  論文  参考訳（メタデータ） (2024-08-08T15:42:00Z)
• Neighbor Correspondence Matching for Flow-based Video Frame Synthesis [90.14161060260012]
  フローベースフレーム合成のための近傍対応マッチング(NCM)アルゴリズムを提案する。 NCMは現在のフレームに依存しない方法で実行され、各ピクセルの時空間近傍でマルチスケールの対応を確立する。 粗いスケールのモジュールは、近隣の対応を利用して大きな動きを捉えるように設計されている。
  論文  参考訳（メタデータ） (2022-07-14T09:17:00Z)
• Wireless Deep Video Semantic Transmission [14.071114007641313]
  本稿では,無線チャネル上でのエンドツーエンドビデオ伝送を実現するための,高効率なディープ・ジョイント・ソース・チャネル符号化手法を提案する。 我々のフレームワークはディープビデオセマンティックトランスミッション (DVST) という名前で収集される。
  論文  参考訳（メタデータ） (2022-05-26T03:26:43Z)
• A Coding Framework and Benchmark towards Low-Bitrate Video Understanding [63.05385140193666]
  我々は,従来のコーデックとニューラルネットワーク(NN)の両方を活用する,従来型ニューラル混合符号化フレームワークを提案する。 このフレームワークは、動画の移動効率の良いセマンティック表現を確実に保持することで最適化される。 8つのデータセットに3つのダウンストリームタスクを備えた低ビットレートビデオ理解ベンチマークを構築し、このアプローチの顕著な優位性を実証した。
  論文  参考訳（メタデータ） (2022-02-06T16:29:15Z)
• Super-Resolving Compressed Video in Coding Chain [27.994055823226848]
  レファレンスベースのDCNNと連携する混合解像度符号化フレームワークを提案する。 この新しい符号化チェーンにおいて、基準ベースDCNNは、低解像度(LR)圧縮ビデオからデコーダ側の高解像度(HR)クリーンバージョンへの直接マッピングを学習する。
  論文  参考訳（メタデータ） (2021-03-26T03:39:54Z)
• An Emerging Coding Paradigm VCM: A Scalable Coding Approach Beyond Feature and Signal [99.49099501559652]
  Video Coding for Machine (VCM)は、視覚的特徴圧縮と古典的なビデオ符号化のギャップを埋めることを目的としている。 我々は,学習した動きパターンのガイダンスを用いて,映像フレームを再構成するために条件付き深層生成ネットワークを用いる。 予測モデルを介してスパース動作パターンを抽出することを学ぶことにより、特徴表現をエレガントに活用し、符号化されたフレームの外観を生成する。
  論文  参考訳（メタデータ） (2020-01-09T14:18:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。