論文の概要: DeepWiVe: Deep-Learning-Aided Wireless Video Transmission

• arxiv url: http://arxiv.org/abs/2111.13034v1
• Date: Thu, 25 Nov 2021 11:34:24 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-29 18:17:37.838357
• Title: DeepWiVe: Deep-Learning-Aided Wireless Video Transmission
• Title（参考訳）: DeepWiVe:ディープラーニング支援のワイヤレスビデオ伝送
• Authors: Tze-Yang Tung and Deniz G\"und\"uz
• Abstract要約: We present DeepWiVe, the first-ever end-to-end joint source-channel coding (JSCC) video transmission scheme。 ディープニューラルネットワーク(DNN)を使用して、ビデオ信号をチャネルシンボルにマッピングし、ビデオ圧縮、チャネルコーディング、変調ステップを1つのニューラルトランスフォーメーションに組み合わせます。 この結果から,DeepWiVeは従来の分離方式のディジタル通信方式で普及している崖効果を克服できることがわかった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We present DeepWiVe, the first-ever end-to-end joint source-channel coding (JSCC) video transmission scheme that leverages the power of deep neural networks (DNNs) to directly map video signals to channel symbols, combining video compression, channel coding, and modulation steps into a single neural transform. Our DNN decoder predicts residuals without distortion feedback, which improves video quality by accounting for occlusion/disocclusion and camera movements. We simultaneously train different bandwidth allocation networks for the frames to allow variable bandwidth transmission. Then, we train a bandwidth allocation network using reinforcement learning (RL) that optimizes the allocation of limited available channel bandwidth among video frames to maximize overall visual quality. Our results show that DeepWiVe can overcome the cliff-effect, which is prevalent in conventional separation-based digital communication schemes, and achieve graceful degradation with the mismatch between the estimated and actual channel qualities. DeepWiVe outperforms H.264 video compression followed by low-density parity check (LDPC) codes in all channel conditions by up to 0.0462 on average in terms of the multi-scale structural similarity index measure (MS-SSIM), while beating H.265 + LDPC by up to 0.0058 on average. We also illustrate the importance of optimizing bandwidth allocation in JSCC video transmission by showing that our optimal bandwidth allocation policy is superior to the na\"ive uniform allocation. We believe this is an important step towards fulfilling the potential of an end-to-end optimized JSCC wireless video transmission system that is superior to the current separation-based designs.
• Abstract（参考訳）: DeepWiVeは、ディープニューラルネットワーク(DNN)のパワーを利用して、ビデオ信号を直接チャネルシンボルにマッピングし、ビデオ圧縮、チャネル符号化、変調ステップを単一のニューラルトランスフォーメーションに組み込む、初のエンドツーエンドのジョイントソースチャネル符号化(JSCC)ビデオ伝送方式である。 我々のDNNデコーダは歪みフィードバックなしで残差を予測し、閉塞・非閉塞とカメラの動きを考慮して画質を向上させる。 フレーム毎に異なる帯域割り当てネットワークを同時に訓練し,可変帯域幅伝送を可能にする。 次に,ビデオフレーム間の制限されたチャネル帯域幅の割り当てを最適化し,全体の視覚品質を最大化する強化学習(rl)を用いて帯域割り当てネットワークを訓練する。 以上の結果から,従来の分離型ディジタル通信方式で一般的であるクリフ効果を克服し,推定チャネル品質と実際のチャネル品質のミスマッチによる優雅な劣化を実現することができた。 deepwiveはh.264ビデオ圧縮を上回り、続いて低密度パリティチェック(ldpc)符号を、マルチスケール構造類似度指標(ms-ssim)で平均0.0462まで上回り、h.265 + ldpcを平均0.00058まで上回った。 また, jsccビデオ伝送における帯域割り当ての最適化の重要性を, 最適な帯域割り当てポリシーがna\"iveの一様割り当てよりも優れていることを示す。 これは、現在の分離設計よりも優れたJSCC無線ビデオ伝送システムの実現に向けた重要なステップであると考えています。

関連論文リスト

• VideoQA-SC: Adaptive Semantic Communication for Video Question Answering [21.0279034601774]
  本稿では,ビデオQA-SCと呼ばれるビデオ質問応答タスクのためのエンドツーエンドのSCシステムを提案する。 我々のゴールは、ノイズや失速する無線チャンネル上のビデオセマンティクスに基づいて、ビデオQAタスクを直接実行することである。 ビデオアプリケーションにおけるタスク指向のSCシステム設計の可能性を示す。
  論文  参考訳（メタデータ） (2024-05-17T06:11:10Z)
• Sandwiched Video Compression: Efficiently Extending the Reach of Standard Codecs with Neural Wrappers [11.968545394054816]
  本稿では,標準的なビデオにニューラルネットワークをラップするビデオ圧縮システムを提案する。 ネットワークは、速度歪み損失関数を最適化するために共同で訓練される。 HEVCと同等品質で30%の改善が見られた。
  論文  参考訳（メタデータ） (2023-03-20T22:03:44Z)
• Graph Neural Networks for Channel Decoding [71.15576353630667]
  低密度パリティチェック(LDPC)やBCH符号など、様々な符号化方式の競合復号性能を示す。 ニューラルネットワーク(NN)は、与えられたグラフ上で一般化されたメッセージパッシングアルゴリズムを学習する。 提案するデコーダを,従来のチャネル復号法および最近のディープラーニングに基づく結果と比較した。
  論文  参考訳（メタデータ） (2022-07-29T15:29:18Z)
• Wireless Deep Video Semantic Transmission [14.071114007641313]
  本稿では,無線チャネル上でのエンドツーエンドビデオ伝送を実現するための,高効率なディープ・ジョイント・ソース・チャネル符号化手法を提案する。 我々のフレームワークはディープビデオセマンティックトランスミッション (DVST) という名前で収集される。
  論文  参考訳（メタデータ） (2022-05-26T03:26:43Z)
• A Coding Framework and Benchmark towards Low-Bitrate Video Understanding [63.05385140193666]
  我々は,従来のコーデックとニューラルネットワーク(NN)の両方を活用する,従来型ニューラル混合符号化フレームワークを提案する。 このフレームワークは、動画の移動効率の良いセマンティック表現を確実に保持することで最適化される。 8つのデータセットに3つのダウンストリームタスクを備えた低ビットレートビデオ理解ベンチマークを構築し、このアプローチの顕著な優位性を実証した。
  論文  参考訳（メタデータ） (2022-02-06T16:29:15Z)
• IoV Scenario: Implementation of a Bandwidth Aware Algorithm in Wireless Network Communication Mode [49.734868032441625]
  本稿では,マルチドメイン仮想ネットワーク埋め込みアルゴリズム(BA-VNE)を提案する。 このアルゴリズムは主に、ユーザが無線通信モードで多くの帯域幅を必要とする問題を対象としている。 本アルゴリズムの性能向上のために,粒子群最適化(PSO)アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2022-02-03T03:34:06Z)
• An Adaptive Device-Edge Co-Inference Framework Based on Soft Actor-Critic [72.35307086274912]
  高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。 本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。 レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
  論文  参考訳（メタデータ） (2022-01-09T09:31:50Z)
• Optical-Flow-Reuse-Based Bidirectional Recurrent Network for Space-Time Video Super-Resolution [52.899234731501075]
  時空間ビデオ超解像(ST-VSR)は、与えられたビデオの空間解像度とフレームレートを同時に増加させる。 既存の手法は通常、近隣の幅広いフレームからの情報を効率的に活用する方法の難しさに悩まされる。 本稿では,隣接するフレーム間の知識を活用するために,ConvLSTMの代わりに粗大な双方向リカレントニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-10-13T15:21:30Z)
• Multi-Density Attention Network for Loop Filtering in Video Compression [9.322800480045336]
  ビデオ圧縮におけるループフィルタリングのためのオンラインスケーリングに基づく多密度注意ネットワークを提案する。 実験の結果、同じビデオ品質で10.18%のビットレート削減が最新のVVC(Versatile Video Coding)規格で達成できることが示された。
  論文  参考訳（メタデータ） (2021-04-08T05:46:38Z)
• Deep Learning-based Resource Allocation For Device-to-Device Communication [66.74874646973593]
  デバイス間通信(D2D)を用いたマルチチャネルセルシステムにおいて,リソース割り当ての最適化のためのフレームワークを提案する。 任意のチャネル条件に対する最適な資源配分戦略をディープニューラルネットワーク(DNN)モデルにより近似する深層学習(DL)フレームワークを提案する。 シミュレーションの結果,提案手法のリアルタイム性能を低速で実現できることが確認された。
  論文  参考訳（メタデータ） (2020-11-25T14:19:23Z)
• NANCY: Neural Adaptive Network Coding methodologY for video distribution over wireless networks [1.636104578028594]
  NANCYは、ビデオおよび適応ネットワーク符号化レート(ANCR)のための適応ビットレート(ABR)を生成するシステムである。 NANCYは、QoE(Quality of Experience)メトリクスとして定式化された報酬でニューラルネットワークモデルをトレーニングする。 その結果,NANCYはペンシーブやロバストMPCよりも平均QoEが29.91%,60.34%高い値を示した。
  論文  参考訳（メタデータ） (2020-08-21T15:55:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。