論文の概要: Grace++: Loss-Resilient Real-Time Video Communication under High Network Latency

• arxiv url: http://arxiv.org/abs/2305.12333v1
• Date: Sun, 21 May 2023 03:50:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-23 21:11:06.599794
• Title: Grace++: Loss-Resilient Real-Time Video Communication under High Network Latency
• Title（参考訳）: grace++: 高ネットワーク遅延下でのロスレジリエントなリアルタイムビデオ通信
• Authors: Yihua Cheng, Anton Arapin, Ziyi Zhang, Qizheng Zhang, Hanchen Li, Nick Feamster, Junchen Jiang
• Abstract要約: リアルタイムビデオ通信システムGrace++について述べる。 Grace++では、そのパケットの空でないサブセットが受信される限り、ビデオフレームをデコードすることができる。 パケットが失われない場合のGrace++の品質はH.265よりも若干低いが、フレーム遅延の95%を著しく低減する。
• 参考スコア（独自算出の注目度）: 12.360472367397122
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In real-time videos, resending any packets, especially in networks with high latency, can lead to stuttering, poor video quality, and user frustration. Despite extensive research, current real-time video systems still use redundancy to handle packet loss, thus compromising on quality in the the absence of packet loss. Since predicting packet loss is challenging, these systems only enhance their resilience to packet loss after it occurs, leaving some frames insufficiently protected against burst packet losses. They may also add too much redundancy even after the packet loss has subsided. We present Grace++, a new real-time video communication system. With Grace++, (i) a video frame can be decoded, as long as any non-empty subset of its packets are received, and (ii) the quality gracefully degrades as more packets are lost, and (iii) approximates that of a standard codec (like H.265) in absence of packet loss. To achieve this, Grace++ encodes and decodes frames by using neural networks (NNs). It uses a new packetization scheme that makes packet loss appear to have the same effect as randomly masking (zeroing) a subset of elements in the NN-encoded output, and the NN encoder and decoder are specially trained to achieve decent quality if a random subset of elements in the NN-encoded output are masked. Using various test videos and real network traces, we show that the quality of Grace++ is slightly lower than H.265 when no packets are lost, but significantly reduces the 95th percentile of frame delay (between encoding a frame and its decoding) by 2x when packet loss occurs compared to other loss-resilient schemes while achieving comparable quality. This is because Grace++ does not require retransmission of packets (unless all packets are lost) or skipping of frames.
• Abstract（参考訳）: リアルタイムビデオでは、特にレイテンシの高いネットワークでパケットを再送することで、不安定なビデオ品質、ユーザのフラストレーションにつながる可能性がある。 大規模な研究にもかかわらず、現在のリアルタイムビデオシステムはパケット損失を処理するために冗長性を使い続けているため、パケット損失がない場合の品質が損なわれる。 パケット損失の予測は困難であるため、これらのシステムはパケット損失の発生後に回復力を高めるだけであり、一部のフレームはバーストパケット損失に対して十分に保護されない。 また、パケット損失が減った後も冗長性を増す可能性がある。 リアルタイムビデオ通信システムGrace++について述べる。 Grace++で。 (i)そのパケットの空でない部分集合が受信されている限り、ビデオフレームを復号することができる。 (二)より多くのパケットが失われると品質が優雅に劣化し、 (iii)パケットロスのない標準コーデック(H.265など)を近似する。 これを実現するため、Grace++はニューラルネットワーク(NN)を使用してフレームをエンコードし、デコードする。 NN符号化された出力の要素のランダムなマスキング(ゼロ)と同じ効果を持つように見せかける新しいパケット化方式を用いており、NN符号化された出力の要素のランダムなサブセットがマスキングされた場合、NNエンコーダとデコーダは、良好な品質を達成するために特別に訓練される。 各種テストビデオと実ネットワークトレースを用いて、パケットが失われていない場合、Grace++の品質はH.265よりもわずかに低いが、同等の品質を保ちながら、パケット損失が発生した場合、フレーム遅延の95%(フレームの符号化と復号)を2倍減少させる。 これはgrace++がパケットの再送信やフレームのスキップを必要としないためである。

関連論文リスト

• Lightweight Hybrid Video Compression Framework Using Reference-Guided Restoration Network [12.033330902093152]
  本稿では、従来のビデオ(HEVC/VVC)、ロスレス画像、新しい修復ネットワークからなる軽量ハイブリッドビデオを提案する。 本手法はHEVCに適用しても,最上位の手法に匹敵する性能を実現する。
  論文  参考訳（メタデータ） (2023-03-21T04:42:44Z)
• Pruned Lightweight Encoders for Computer Vision [0.0]
  ASTC と JPEG XS の符号化構成は、低レイテンシを確保するために、近接センサエッジデバイスで使用できることを示す。 ASTC圧縮によるmIoU(mIoU)劣化の分類精度とセグメンテーション平均値は,それぞれ4.9-5.0ポイント(pp)と4.4-4.0ppに低下した。 符号化速度の面では、ASTCエンコーダの実装はJPEGよりも2.3倍高速である。
  論文  参考訳（メタデータ） (2022-11-23T17:11:48Z)
• High Fidelity Neural Audio Compression [92.4812002532009]
  我々は、ニューラルネットワークを利用した最先端のリアルタイム、高忠実、オーディオを導入する。 ストリーミングエンコーダ-デコーダアーキテクチャと、エンドツーエンドでトレーニングされた量子化潜在空間で構成されている。 単一マルチスケール・スペクトログラム・アドバイザリーを用いて、トレーニングを簡素化し、高速化する。
  論文  参考訳（メタデータ） (2022-10-24T17:52:02Z)
• Deep Lossy Plus Residual Coding for Lossless and Near-lossless Image Compression [85.93207826513192]
  本稿では、損失のない画像圧縮とほぼロスレス画像圧縮の両面において、統合された強力な深い損失+残差(DLPR)符号化フレームワークを提案する。 VAEのアプローチにおける連立損失と残留圧縮の問題を解く。 ほぼロスレスモードでは、元の残差を量子化し、与えられた$ell_infty$エラー境界を満たす。
  論文  参考訳（メタデータ） (2022-09-11T12:11:56Z)
• Reducing Redundancy in the Bottleneck Representation of the Autoencoders [98.78384185493624]
  オートエンコーダは教師なしニューラルネットワークの一種であり、様々なタスクを解くのに使用できる。 本稿では,ボトルネック表現における特徴冗長性を明示的に罰する手法を提案する。 我々は,3つの異なるデータセットを用いた次元削減,MNISTデータセットを用いた画像圧縮,ファッションMNISTを用いた画像デノナイズという,さまざまなタスクにまたがってアプローチを検証した。
  論文  参考訳（メタデータ） (2022-02-09T18:48:02Z)
• A Coding Framework and Benchmark towards Low-Bitrate Video Understanding [63.05385140193666]
  我々は,従来のコーデックとニューラルネットワーク(NN)の両方を活用する,従来型ニューラル混合符号化フレームワークを提案する。 このフレームワークは、動画の移動効率の良いセマンティック表現を確実に保持することで最適化される。 8つのデータセットに3つのダウンストリームタスクを備えた低ビットレートビデオ理解ベンチマークを構築し、このアプローチの顕著な優位性を実証した。
  論文  参考訳（メタデータ） (2022-02-06T16:29:15Z)
• Low-Fidelity End-to-End Video Encoder Pre-training for Temporal Action Localization [96.73647162960842]
  TALはビデオ理解の基本的な課題だが、難しい課題だ。 既存のtalメソッドは、アクション分類の監督を通じてビデオエンコーダを事前トレーニングする。 本稿では,ローファイダリティ・エンド・ツー・エンド(LoFi)ビデオエンコーダの事前学習手法を提案する。
  論文  参考訳（メタデータ） (2021-03-28T22:18:14Z)
• Ultra-low bitrate video conferencing using deep image animation [7.263312285502382]
  ビデオ会議のための超低速ビデオ圧縮のための新しい深層学習手法を提案する。 我々はディープニューラルネットワークを用いて、動き情報をキーポイント変位として符号化し、デコーダ側で映像信号を再構成する。
  論文  参考訳（メタデータ） (2020-12-01T09:06:34Z)
• Content Adaptive and Error Propagation Aware Deep Video Compression [110.31693187153084]
  本稿では,コンテンツ適応型・誤り伝搬対応型ビデオ圧縮システムを提案する。 本手法では, 複数フレームの圧縮性能を1フレームではなく複数フレームで考慮し, 共同学習手法を用いる。 従来の圧縮システムでは手作りのコーディングモードを使用する代わりに,オンラインエンコーダ更新方式をシステム内に設計する。
  論文  参考訳（メタデータ） (2020-03-25T09:04:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。