論文の概要: Wireless Deep Video Semantic Transmission
- arxiv url: http://arxiv.org/abs/2205.13129v1
- Date: Thu, 26 May 2022 03:26:43 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-27 14:57:31.268482
- Title: Wireless Deep Video Semantic Transmission
- Title(参考訳): ワイヤレスディープビデオセマンティックトランスミッション
- Authors: Sixian Wang, Jincheng Dai, Zijian Liang, Kai Niu, Zhongwei Si, Chao
Dong, Xiaoqi Qin, Ping Zhang
- Abstract要約: 本稿では,無線チャネル上でのエンドツーエンドビデオ伝送を実現するための,高効率なディープ・ジョイント・ソース・チャネル符号化手法を提案する。
我々のフレームワークはディープビデオセマンティックトランスミッション (DVST) という名前で収集される。
- 参考スコア(独自算出の注目度): 14.071114007641313
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we design a new class of high-efficiency deep joint
source-channel coding methods to achieve end-to-end video transmission over
wireless channels. The proposed methods exploit nonlinear transform and
conditional coding architecture to adaptively extract semantic features across
video frames, and transmit semantic feature domain representations over
wireless channels via deep joint source-channel coding. Our framework is
collected under the name deep video semantic transmission (DVST). In
particular, benefiting from the strong temporal prior provided by the feature
domain context, the learned nonlinear transform function becomes temporally
adaptive, resulting in a richer and more accurate entropy model guiding the
transmission of current frame. Accordingly, a novel rate adaptive transmission
mechanism is developed to customize deep joint source-channel coding for video
sources. It learns to allocate the limited channel bandwidth within and among
video frames to maximize the overall transmission performance. The whole DVST
design is formulated as an optimization problem whose goal is to minimize the
end-to-end transmission rate-distortion performance under perceptual quality
metrics or machine vision task performance metrics. Across standard video
source test sequences and various communication scenarios, experiments show
that our DVST can generally surpass traditional wireless video coded
transmission schemes. The proposed DVST framework can well support future
semantic communications due to its video content-aware and machine vision task
integration abilities.
- Abstract(参考訳): 本稿では,無線チャネル上でのエンドツーエンドビデオ伝送を実現するための,高効率なディープジョイントソースチャネル符号化手法を設計する。
提案手法は,ビデオフレーム間の意味的特徴を適応的に抽出し,無線チャネル上の意味的特徴領域表現を深層結合型通信路符号化により送信するために,非線形変換と条件付き符号化アーキテクチャを利用する。
我々のフレームワークはディープビデオセマンティックトランスミッション (DVST) という名前で収集される。
特に、特徴領域コンテキストによって提供される強い時間的事前の利点により、学習された非線形変換関数は時間的適応となり、その結果、現在のフレームの伝達を導くリッチでより正確なエントロピーモデルが得られる。
そこで,ビデオソースのディープジョイントソースチャネル符号化をカスタマイズするために,新しいレート適応伝送機構を開発した。
送信性能を最大化するために、ビデオフレーム内およびビデオフレーム間のチャンネル帯域幅を割り当てることを学ぶ。
DVST全体の設計は、知覚的品質指標やマシンビジョンタスクパフォーマンス指標の下でのエンドツーエンドの伝送速度歪み性能を最小化する最適化問題として定式化されている。
標準的なビデオソーステストシーケンスや様々な通信シナリオを通じて、我々のDVSTは一般的に従来の無線ビデオ符号化伝送方式を超越できることを示す実験である。
提案するDVSTフレームワークは,ビデオコンテンツ認識とマシンビジョンタスク統合機能により,将来的なセマンティックコミュニケーションを十分にサポートすることができる。
関連論文リスト
- Cross-layer scheme for low latency multiple description video streaming
over Vehicular Ad-hoc NETworks (VANETs) [2.2124180701409233]
HEVC標準はリアルタイムビデオストリーミングに非常に有望だ。
新しい最先端のビデオ符号化(HEVC)標準は、リアルタイムビデオストリーミングに非常に有望である。
本稿では,車載通信における映像品質を向上させるために,独自のクロスレイヤーシステムを提案する。
論文 参考訳(メタデータ) (2023-11-05T14:34:58Z) - Communication-Efficient Framework for Distributed Image Semantic
Wireless Transmission [68.69108124451263]
IoTデバイスを用いたマルチタスク分散画像伝送のためのFederated Learning-based semantic communication (FLSC)フレームワーク。
各リンクは階層型視覚変換器(HVT)ベースの抽出器とタスク適応トランスレータで構成される。
チャネル状態情報に基づく多重出力多重出力伝送モジュール。
論文 参考訳(メタデータ) (2023-08-07T16:32:14Z) - VNVC: A Versatile Neural Video Coding Framework for Efficient
Human-Machine Vision [59.632286735304156]
コード化された表現をピクセルに復号することなく直接拡張・解析することがより効率的である。
再構成と直接拡張/分析の両方をサポートするために,コンパクト表現の学習を目標とする汎用型ニューラルビデオ符号化(VNVC)フレームワークを提案する。
論文 参考訳(メタデータ) (2023-06-19T03:04:57Z) - Toward Adaptive Semantic Communications: Efficient Data Transmission via
Online Learned Nonlinear Transform Source-Channel Coding [11.101344530143303]
深層学習モデルの過剰適合性を利用したオンライン学習型ジョイントソースとチャネルコーディング手法を提案する。
具体的には,市販の事前訓練型モデルを軽量なオンライン方式で展開し,ソースデータと環境領域の分散シフトに適応させる。
私たちはオーバーフィットの概念を極端に捉え、モデルや表現を個々のデータやチャネル状態インスタンスに適応させる実装フレンドリな一連のメソッドを提案します。
論文 参考訳(メタデータ) (2022-11-08T16:00:27Z) - Neural Data-Dependent Transform for Learned Image Compression [72.86505042102155]
ニューラルデータに依存した変換を構築し,各画像の符号化効率を最適化する連続オンラインモード決定機構を導入する。
実験の結果,提案したニューラルシンタクス設計と連続オンラインモード決定機構の有効性が示された。
論文 参考訳(メタデータ) (2022-03-09T14:56:48Z) - Nonlinear Transform Source-Channel Coding for Semantic Communications [7.81628437543759]
本稿では,非線形変換の下での音源分布に密に適応できる,高効率なディープジョイントソースチャネル符号化法を提案する。
本モデルでは, 非線形変換を強みとして組み込んで, 音源のセマンティックな特徴を効果的に抽出する。
特に、NTSCC法は、その活発なコンテンツ認識能力のために、将来的なセマンティックコミュニケーションをサポートする可能性がある。
論文 参考訳(メタデータ) (2021-12-21T03:30:46Z) - DeepWiVe: Deep-Learning-Aided Wireless Video Transmission [0.0]
We present DeepWiVe, the first-ever end-to-end joint source-channel coding (JSCC) video transmission scheme。
ディープニューラルネットワーク(DNN)を使用して、ビデオ信号をチャネルシンボルにマッピングし、ビデオ圧縮、チャネルコーディング、変調ステップを1つのニューラルトランスフォーメーションに組み合わせます。
この結果から,DeepWiVeは従来の分離方式のディジタル通信方式で普及している崖効果を克服できることがわかった。
論文 参考訳(メタデータ) (2021-11-25T11:34:24Z) - Hierarchical Multimodal Transformer to Summarize Videos [103.47766795086206]
変換器の大成功とビデオの自然な構造(フレームショットビデオ)に触発された階層変換器は,映像要約のために開発された。
2種類の情報を統合するために、2ストリーム方式で符号化し、階層変換器に基づいて多モード融合機構を開発する。
実際、広範な実験により、HMTは従来のRNNベースおよび注意に基づくビデオ要約手法のほとんどを超越していることが示された。
論文 参考訳(メタデータ) (2021-09-22T07:38:59Z) - Learning Task-Oriented Communication for Edge Inference: An Information
Bottleneck Approach [3.983055670167878]
ローエンドエッジ装置は、ローカルデータサンプルの抽出された特徴ベクトルを強力なエッジサーバに送信して処理する。
帯域幅が限られているため、データを低遅延推論のための情報的かつコンパクトな表現に符号化することが重要である。
特徴抽出,ソース符号化,チャネル符号化を協調的に最適化する学習型通信方式を提案する。
論文 参考訳(メタデータ) (2021-02-08T12:53:32Z) - Towards Modality Transferable Visual Information Representation with
Optimal Model Compression [67.89885998586995]
本稿では,伝達可能なモダリティの原理を活かした視覚信号表現手法を提案する。
提案するフレームワークは最先端のビデオコーディング標準に実装されている。
論文 参考訳(メタデータ) (2020-08-13T01:52:40Z) - An Emerging Coding Paradigm VCM: A Scalable Coding Approach Beyond
Feature and Signal [99.49099501559652]
Video Coding for Machine (VCM)は、視覚的特徴圧縮と古典的なビデオ符号化のギャップを埋めることを目的としている。
我々は,学習した動きパターンのガイダンスを用いて,映像フレームを再構成するために条件付き深層生成ネットワークを用いる。
予測モデルを介してスパース動作パターンを抽出することを学ぶことにより、特徴表現をエレガントに活用し、符号化されたフレームの外観を生成する。
論文 参考訳(メタデータ) (2020-01-09T14:18:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。