論文の概要: Semantic-Aware Joint Source-Channel Optimization for Encoder-Agnostic Digital Video Communication
- arxiv url: http://arxiv.org/abs/2609.39296v1
- Date: Wed, 30 Sep 2026 08:40:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 18:57:27.451484
- Title: Semantic-Aware Joint Source-Channel Optimization for Encoder-Agnostic Digital Video Communication
- Title（参考訳）: Encoder-Agnostic Digital Video通信のための意味認識型ジョイントソースチャネル最適化
- Abstract要約: 映像のセマンティックコミュニケーションは,映像の伝送効率を向上させるための有望なアプローチとして注目されている。
プラグインモジュールとして既存のデジタルビデオ通信システムに統合可能な,軽量なセマンティック・アウェア・ジョイント・ソースチャネル最適化(SAJSCO)方式を提案する。
SAJSCOは、H.265で最大1.448dB、DCVC-RTで最大0.033のLPIPS削減を実現している。
- 参考スコア（独自算出の注目度）: 14.489514176126582
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Video semantic communication has attracted increasing attention as a promising approach to improving video transmission efficiency. However, most existing approaches rely on computationally intensive deep learning-based video encoders and decoders, which hinders their deployment in resource-constrained scenarios. To address this issue, we propose a lightweight semantic-aware joint source-channel optimization (SAJSCO) scheme that can be integrated into existing digital video communication systems as a plug-in module. Specifically, we develop a video communication system model in which the transmitter jointly optimizes source and channel coding parameters based on the inter-frame semantic importance of the input video and estimated channel state information. On this basis, we formulate an optimization problem that maximizes semantic importance weighted video reconstruction quality under a maximum bitrate constraint. To solve it, we first quantify inter-frame semantic importance using a cosine similarity-based metric with a shifted window mechanism. We then develop a multi-actor proximal policy optimization (MPPO) algorithm to solve the formulated problem by jointly adapting the source compression rate and channel coding rate. The learned policy can be directly applied to different video encoders without encoder-specific retraining or fine-tuning. SAJSCO achieves Bjøntegaard Delta rate reductions of 34.86\% and 18.01\% when integrated with H.265, a conventional video encoder, and DCVC-RT, a deep learning-based video encoder. Over-the-air experiments on a hardware testbed further demonstrate a PSNR gain of up to 1.448 dB with H.265 and an LPIPS reduction of up to 0.033 with DCVC-RT compared with the respective best-performing fixed-parameter baselines.
- Abstract（参考訳）: 映像のセマンティックコミュニケーションは,映像の伝送効率を向上させるための有望なアプローチとして注目されている。
しかし、既存のアプローチのほとんどは、計算集約的なディープラーニングベースのビデオエンコーダとデコーダに依存しており、リソース制約のあるシナリオへの展開を妨げる。
そこで本研究では,既存のデジタルビデオ通信システムにプラグインモジュールとして組み込むことのできる,軽量なセマンティック・アウェア・ジョイント・ソース・チャネル最適化(SAJSCO)方式を提案する。
具体的には、入力ビデオのフレーム間セマンティックな重要性と推定チャネル状態情報に基づいて、送信者がソースとチャネルの符号化パラメータを共同で最適化するビデオ通信システムモデルを開発する。
そこで我々は,最大ビットレート制約の下で,意味的重要度重み付けされたビデオ再構成品質を最大化する最適化問題を定式化する。
そこで我々はまず,コサイン類似度に基づくメトリクスとシフトウインドウ機構を用いて,フレーム間のセマンティックな重要性を定量化する。
そこで我々は,ソース圧縮率とチャネル符号化率を併用して定式化問題を解くために,MPPOアルゴリズムを開発した。
学習方針は、エンコーダ固有のリトレーニングや微調整なしに、異なるビデオエンコーダに直接適用することができる。
SAJSCOは、従来のビデオエンコーダであるH.265とディープラーニングベースのビデオエンコーダであるDCVC-RTとの統合により、Bjøntegaard Deltaレートの34.86\%と18.01\%の低下を達成している。
ハードウェアテストベッドでのオーバー・ザ・エア実験では、PSNRはH.265で1.448dBまで上昇し、LPIPSはDCVC-RTで0.033まで低下した。
関連論文リスト
- Context Video Semantic Transmission with Variable Length and Rate Coding over MIMO Channels [49.624608869195065]
無線ビデオ伝送のためのコンテキストビデオセマンティックトランスミッション(CVST)フレームワークを提案する。
我々は、特徴群と多重入力多重出力(MIMO)サブチャネルの関係を明確に定式化するために、コンテキストチャネル相関マップを学習する。
近年の無線ビデオ・セマンティック・コミュニケーション・アプローチにおいて,標準化された分離符号化方式に対して性能が大幅に向上したことを示す。
論文 参考訳（メタデータ） (2025-12-23T10:48:43Z) - REGEN: Learning Compact Video Embedding with (Re-)Generative Decoder [52.698595889988766]
生成モデルのためのビデオ埋め込み学習について,新しい視点を提示する。
入力ビデオの正確な再生を必要とせず、効果的な埋め込みは視覚的に妥当な再構築に焦点を当てるべきである。
本稿では,従来のエンコーダ・デコーダ・ビデオ埋め込みをエンコーダ・ジェネレータ・フレームワークに置き換えることを提案する。
論文 参考訳（メタデータ） (2025-03-11T17:51:07Z) - Video-Panda: Parameter-efficient Alignment for Encoder-free Video-Language Models [26.866184981409607]
本稿では,計算オーバーヘッドを大幅に削減しつつ,競争性能を向上するビデオ言語理解のための効率的なエンコーダレス手法を提案する。
本稿では,ビデオ入力を直接処理する時空間アライメントブロック(STAB)を提案する。
本モデルでは,標準ベンチマークによるオープンエンドビデオ質問応答に対して,エンコーダに基づくアプローチに匹敵する,あるいは優れた性能を実現する。
論文 参考訳（メタデータ） (2024-12-24T18:59:56Z) - When Video Coding Meets Multimodal Large Language Models: A Unified Paradigm for Video Coding [118.72266141321647]
CMVC(Cross-Modality Video Coding)は、ビデオ符号化における多モード表現とビデオ生成モデルを探索する先駆的な手法である。
復号化の際には、以前に符号化されたコンポーネントとビデオ生成モデルを利用して複数の復号モードを生成する。
TT2Vは効果的な意味再構成を実現し,IT2Vは競争力のある知覚整合性を示した。
論文 参考訳（メタデータ） (2024-08-15T11:36:18Z) - Accelerating Learned Video Compression via Low-Resolution Representation Learning [18.399027308582596]
低解像度表現学習に焦点を当てた学習ビデオ圧縮のための効率最適化フレームワークを提案する。
提案手法は,H.266参照ソフトウェアVTMの低遅延P構成と同等の性能を実現する。
論文 参考訳（メタデータ） (2024-07-23T12:02:57Z) - Compression-Realized Deep Structural Network for Video Quality Enhancement [78.13020206633524]
本稿では,圧縮ビデオの品質向上の課題に焦点をあてる。
既存の手法のほとんどは、圧縮コーデック内での事前処理を最適に活用するための構造設計を欠いている。
新しいパラダイムは、より意識的な品質向上プロセスのために緊急に必要である。
論文 参考訳（メタデータ） (2024-05-10T09:18:17Z) - Wireless Deep Video Semantic Transmission [14.071114007641313]
本稿では,無線チャネル上でのエンドツーエンドビデオ伝送を実現するための,高効率なディープ・ジョイント・ソース・チャネル符号化手法を提案する。
我々のフレームワークはディープビデオセマンティックトランスミッション (DVST) という名前で収集される。
論文 参考訳（メタデータ） (2022-05-26T03:26:43Z) - A Coding Framework and Benchmark towards Low-Bitrate Video Understanding [63.05385140193666]
我々は,従来のコーデックとニューラルネットワーク(NN)の両方を活用する,従来型ニューラル混合符号化フレームワークを提案する。
このフレームワークは、動画の移動効率の良いセマンティック表現を確実に保持することで最適化される。
8つのデータセットに3つのダウンストリームタスクを備えた低ビットレートビデオ理解ベンチマークを構築し、このアプローチの顕著な優位性を実証した。
論文 参考訳（メタデータ） (2022-02-06T16:29:15Z) - DeepWiVe: Deep-Learning-Aided Wireless Video Transmission [0.0]
We present DeepWiVe, the first-ever end-to-end joint source-channel coding (JSCC) video transmission scheme。
ディープニューラルネットワーク(DNN)を使用して、ビデオ信号をチャネルシンボルにマッピングし、ビデオ圧縮、チャネルコーディング、変調ステップを1つのニューラルトランスフォーメーションに組み合わせます。
この結果から,DeepWiVeは従来の分離方式のディジタル通信方式で普及している崖効果を克服できることがわかった。
論文 参考訳（メタデータ） (2021-11-25T11:34:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。