論文の概要: GRACE++: Loss-Resilient Real-Time Video through Neural Codecs

• arxiv url: http://arxiv.org/abs/2305.12333v2
• Date: Wed, 27 Sep 2023 07:39:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-28 21:54:03.483760
• Title: GRACE++: Loss-Resilient Real-Time Video through Neural Codecs
• Title（参考訳）: grace++: ニューラルコーデックによるロスレジリエントなリアルタイムビデオ
• Authors: Yihua Cheng, Ziyi Zhang, Hanchen Li, Anton Arapin, Yue Zhang, Qizheng Zhang, Yuhan Liu, Xu Zhang, Francis Yan, Amrita Mazumdar, Nick Feamster, Junchen Jiang
• Abstract要約: GRACE++と呼ばれる損失耐性のあるリアルタイムビデオシステムを提案する。 GRACE++は、幅広いパケット損失でユーザ体験の質を保っている。 GRACE++ は FEC と比較して,処理不能なフレームを95%削減し,停止期間を90%短縮することを示した。
• 参考スコア（独自算出の注目度）: 29.825026068610374
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In real-time video communication, retransmitting lost packets over high-latency networks is not viable due to strict latency requirements. To counter packet losses without retransmission, two primary strategies are employed -- encoder-based forward error correction (FEC) and decoder-based error concealment. The former encodes data with redundancy before transmission, yet determining the optimal redundancy level in advance proves challenging. The latter reconstructs video from partially received frames, but dividing a frame into independently coded partitions inherently compromises compression efficiency, and the lost information cannot be effectively recovered by the decoder without adapting the encoder. We present a loss-resilient real-time video system called GRACE++, which preserves the user's quality of experience (QoE) across a wide range of packet losses through a new neural video codec. Central to GRACE++'s enhanced loss resilience is its joint training of the neural encoder and decoder under a spectrum of simulated packet losses. In lossless scenarios, GRACE++ achieves video quality on par with conventional codecs (e.g., H.265). As the loss rate escalates, GRACE++ exhibits a more graceful, less pronounced decline in quality, consistently outperforming other loss-resilient schemes. Through extensive evaluation on various videos and real network traces, we demonstrate that GRACE++ reduces undecodable frames by 95% and stall duration by 90% compared with FEC, while markedly boosting video quality over error concealment methods. In a user study with 240 crowdsourced participants and 960 subjective ratings, GRACE++ registers a 38% higher mean opinion score (MOS) than other baselines.
• Abstract（参考訳）: リアルタイムビデオ通信では、遅延が厳しいため、高遅延ネットワーク上で失われたパケットを再送信することは不可能である。 再送信なしでパケット損失に対応するために、エンコーダベースの前方誤り訂正(FEC)とデコーダベースの誤り隠蔽という2つの主要な戦略が採用されている。 前者は送信前に冗長でデータをエンコードするが、前もって最適な冗長レベルを決定することは困難である。 後者は、部分的に受信されたフレームから映像を再構成するが、フレームを独立して符号化されたパーティションに分割することは、本質的に圧縮効率を損なう。 本稿では,新たなニューラルビデオコーデックによるパケットロスに対して,ユーザのqoe(quality of experience)を保存可能なgrace++というリアルタイムビデオシステムを提案する。 GRACE++の強化されたロスレジリエンスの中心は、シミュレーションパケット損失のスペクトル下でのニューラルエンコーダとデコーダの共同トレーニングである。 損失のないシナリオでは、GRACE++は従来のコーデック(H.265など)と同等のビデオ品質を達成する。 損失率が増大するにつれて、GRACE++はより優雅で、より顕著な品質低下を示し、他の損失耐性スキームを上回っている。 様々なビデオや実ネットワークトレースを広範囲に評価することにより,GRACE++ は FEC と比較して処理不能なフレームを95%,停止期間を90%削減し,エラー隠蔽法よりも映像品質を著しく向上させることを示した。 240人のクラウドソース参加者と960人の主観評価を持つユーザスタディでは、GRACE++は他のベースラインよりも38%高い平均評価スコア(MOS)を登録している。

関連論文リスト

• Lightweight Hybrid Video Compression Framework Using Reference-Guided Restoration Network [12.033330902093152]
  本稿では、従来のビデオ(HEVC/VVC)、ロスレス画像、新しい修復ネットワークからなる軽量ハイブリッドビデオを提案する。 本手法はHEVCに適用しても,最上位の手法に匹敵する性能を実現する。
  論文  参考訳（メタデータ） (2023-03-21T04:42:44Z)
• Pruned Lightweight Encoders for Computer Vision [0.0]
  ASTC と JPEG XS の符号化構成は、低レイテンシを確保するために、近接センサエッジデバイスで使用できることを示す。 ASTC圧縮によるmIoU(mIoU)劣化の分類精度とセグメンテーション平均値は,それぞれ4.9-5.0ポイント(pp)と4.4-4.0ppに低下した。 符号化速度の面では、ASTCエンコーダの実装はJPEGよりも2.3倍高速である。
  論文  参考訳（メタデータ） (2022-11-23T17:11:48Z)
• High Fidelity Neural Audio Compression [92.4812002532009]
  我々は、ニューラルネットワークを利用した最先端のリアルタイム、高忠実、オーディオを導入する。 ストリーミングエンコーダ-デコーダアーキテクチャと、エンドツーエンドでトレーニングされた量子化潜在空間で構成されている。 単一マルチスケール・スペクトログラム・アドバイザリーを用いて、トレーニングを簡素化し、高速化する。
  論文  参考訳（メタデータ） (2022-10-24T17:52:02Z)
• Deep Lossy Plus Residual Coding for Lossless and Near-lossless Image Compression [85.93207826513192]
  本稿では、損失のない画像圧縮とほぼロスレス画像圧縮の両面において、統合された強力な深い損失+残差(DLPR)符号化フレームワークを提案する。 VAEのアプローチにおける連立損失と残留圧縮の問題を解く。 ほぼロスレスモードでは、元の残差を量子化し、与えられた$ell_infty$エラー境界を満たす。
  論文  参考訳（メタデータ） (2022-09-11T12:11:56Z)
• Reducing Redundancy in the Bottleneck Representation of the Autoencoders [98.78384185493624]
  オートエンコーダは教師なしニューラルネットワークの一種であり、様々なタスクを解くのに使用できる。 本稿では,ボトルネック表現における特徴冗長性を明示的に罰する手法を提案する。 我々は,3つの異なるデータセットを用いた次元削減,MNISTデータセットを用いた画像圧縮,ファッションMNISTを用いた画像デノナイズという,さまざまなタスクにまたがってアプローチを検証した。
  論文  参考訳（メタデータ） (2022-02-09T18:48:02Z)
• A Coding Framework and Benchmark towards Low-Bitrate Video Understanding [63.05385140193666]
  我々は,従来のコーデックとニューラルネットワーク(NN)の両方を活用する,従来型ニューラル混合符号化フレームワークを提案する。 このフレームワークは、動画の移動効率の良いセマンティック表現を確実に保持することで最適化される。 8つのデータセットに3つのダウンストリームタスクを備えた低ビットレートビデオ理解ベンチマークを構築し、このアプローチの顕著な優位性を実証した。
  論文  参考訳（メタデータ） (2022-02-06T16:29:15Z)
• Low-Fidelity End-to-End Video Encoder Pre-training for Temporal Action Localization [96.73647162960842]
  TALはビデオ理解の基本的な課題だが、難しい課題だ。 既存のtalメソッドは、アクション分類の監督を通じてビデオエンコーダを事前トレーニングする。 本稿では,ローファイダリティ・エンド・ツー・エンド(LoFi)ビデオエンコーダの事前学習手法を提案する。
  論文  参考訳（メタデータ） (2021-03-28T22:18:14Z)
• Ultra-low bitrate video conferencing using deep image animation [7.263312285502382]
  ビデオ会議のための超低速ビデオ圧縮のための新しい深層学習手法を提案する。 我々はディープニューラルネットワークを用いて、動き情報をキーポイント変位として符号化し、デコーダ側で映像信号を再構成する。
  論文  参考訳（メタデータ） (2020-12-01T09:06:34Z)
• Content Adaptive and Error Propagation Aware Deep Video Compression [110.31693187153084]
  本稿では,コンテンツ適応型・誤り伝搬対応型ビデオ圧縮システムを提案する。 本手法では, 複数フレームの圧縮性能を1フレームではなく複数フレームで考慮し, 共同学習手法を用いる。 従来の圧縮システムでは手作りのコーディングモードを使用する代わりに,オンラインエンコーダ更新方式をシステム内に設計する。
  論文  参考訳（メタデータ） (2020-03-25T09:04:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。