論文の概要: Reparo: Loss-Resilient Generative Codec for Video Conferencing

• arxiv url: http://arxiv.org/abs/2305.14135v1
• Date: Tue, 23 May 2023 14:58:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-24 15:22:24.960925
• Title: Reparo: Loss-Resilient Generative Codec for Video Conferencing
• Title（参考訳）: reparo:ビデオ会議用ロスレジリエント生成コーデック
• Authors: Tianhong Li, Vibhaalakshmi Sivaraman, Lijie Fan, Mohammad Alizadeh, Dina Katabi
• Abstract要約: 生成型ディープラーニングモデルを用いて、損失耐性のあるビデオ会議を作成するためのReparoというフレームワークを提案する。 私たちのアプローチは、フレームやフレームの一部が失われたときに、行方不明の情報を生成することです。 Reparoは、(PSNRによって測定された)ビデオ品質とビデオフリーズの両方の観点から、最先端のFECベースのビデオ会議より優れています。
• 参考スコア（独自算出の注目度）: 29.78581364389386
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Loss of packets in video conferencing often results in poor quality and video freezing. Attempting to retransmit the lost packets is usually not practical due to the requirement for real-time playback. Using Forward Error Correction (FEC) to recover the lost packets is challenging since it is difficult to determine the appropriate level of redundancy. In this paper, we propose a framework called Reparo for creating loss-resilient video conferencing using generative deep learning models. Our approach involves generating missing information when a frame or part of a frame is lost. This generation is conditioned on the data received so far, and the model's knowledge of how people look, dress, and interact in the visual world. Our experiments on publicly available video conferencing datasets show that Reparo outperforms state-of-the-art FEC-based video conferencing in terms of both video quality (measured by PSNR) and video freezes.
• Abstract（参考訳）: ビデオ会議におけるパケットの喪失は、しばしば品質の低下とビデオの凍結をもたらす。 失われたパケットを再送信しようとする試みは通常、リアルタイム再生の必要性から実用的ではない。 損失パケットの回収にFEC(Forward Error Correction)を用いることは,適切な冗長度を決定するのが難しいため困難である。 本稿では,再生深層学習モデルを用いた損失耐性ビデオ会議作成のためのReparoというフレームワークを提案する。 我々のアプローチは、フレームまたはフレームの一部が失われたときに、欠落した情報を生成することである。 この世代は、これまで受信されたデータと、視覚の世界における人々の見た目、服装、および相互作用に関するモデルの知識に基づいて調整される。 公開されているビデオ会議データセットを用いた実験により,レパロは映像品質(PSNR)と映像凍結の両方の観点から,最先端のFECベースのビデオ会議よりも優れていた。

関連論文リスト

• Buffer Anytime: Zero-Shot Video Depth and Normal from Image Priors [54.8852848659663]
  Buffer Anytimeは、ビデオから深さと正規マップ(幾何バッファと呼ばれる)を推定するためのフレームワークです。 時間的整合性制約を持つ単一画像の先行値を活用することによって,高品質なビデオバッファ推定を実証する。
  論文  参考訳（メタデータ） (2024-11-26T09:28:32Z)
• FrameCorr: Adaptive, Autoencoder-based Neural Compression for Video Reconstruction in Resource and Timing Constrained Network Settings [0.18906710320196732]
  既存のビデオ圧縮手法では、不完全データが提供されると、圧縮されたデータを復元することが困難となる。 我々は、以前受信したデータを使ってフレームの欠落したセグメントを予測するディープラーニングベースのソリューションであるFrameCorrを紹介する。
  論文  参考訳（メタデータ） (2024-09-04T05:19:57Z)
• VCISR: Blind Single Image Super-Resolution with Video Compression Synthetic Data [18.877077302923713]
  本稿では,映像圧縮に基づく劣化モデルを用いて,ブラインドSISRタスクにおける低解像度画像データを合成する。 提案手法は既存の画像データセットに適用可能である。 SISR分解モデルにビデオ符号化アーティファクトを導入することで、ニューラルネットワークは、ビデオ圧縮劣化を復元する機能を備えた、画像の超解凍を可能にする。
  論文  参考訳（メタデータ） (2023-11-02T05:24:19Z)
• GRACE: Loss-Resilient Real-Time Video through Neural Codecs [31.006987868475683]
  リアルタイムビデオ通信では、遅延の厳しい要求のため、ロスパケットを高遅延ネットワーク上で再送信することは不可能である。 本稿では,ユーザによるパケットロスに対するQE(Quality of Experience, QE)の保存を行うGRACEという,損失耐性のあるリアルタイムビデオシステムを提案する。
  論文  参考訳（メタデータ） (2023-05-21T03:50:44Z)
• VideoINR: Learning Video Implicit Neural Representation for Continuous Space-Time Super-Resolution [75.79379734567604]
  ビデオインプリシットニューラル表現(Video Implicit Neural Representation, VideoINR)は任意の空間解像度とフレームレートの映像にデコード可能であることを示す。 本稿では,最新のSTVSR手法を用いて,一般的なアップサンプリングスケールにおいて,ビデオINRが競合性能を発揮することを示す。
  論文  参考訳（メタデータ） (2022-06-09T17:45:49Z)
• STIP: A SpatioTemporal Information-Preserving and Perception-Augmented Model for High-Resolution Video Prediction [78.129039340528]
  本稿では、上記の2つの問題を解決するために、時空間情報保存・知覚拡張モデル(STIP)を提案する。 提案モデルは,特徴抽出と状態遷移中の映像の時間的情報を保存することを目的としている。 実験結果から,提案したSTIPは,様々な最先端手法と比較して,より良好な映像品質で映像を予測できることが示唆された。
  論文  参考訳（メタデータ） (2022-06-09T09:49:04Z)
• Recurrent Video Restoration Transformer with Guided Deformable Attention [116.1684355529431]
  本稿では,グローバルなリカレントフレームワーク内で,隣接するフレームを並列に処理するRVRTを提案する。 RVRTは、バランスの取れたモデルサイズ、メモリとランタイムをテストするベンチマークデータセット上で、最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-06-05T10:36:09Z)
• Learning Trajectory-Aware Transformer for Video Super-Resolution [50.49396123016185]
  ビデオ超解像は、高解像度(HR)フレームを低解像度(LR)フレームから復元することを目的としている。 既存のアプローチは通常、隣接する限られたフレームからビデオフレームを並べて集約する。 ビデオ超解像用トランスフォーマー(TTVSR)を提案する。
  論文  参考訳（メタデータ） (2022-04-08T03:37:39Z)
• Network state Estimation using Raw Video Analysis: vQoS-GAN based non-intrusive Deep Learning Approach [5.8010446129208155]
  vQoS GANは、劣化した受信ビデオデータからネットワーク状態パラメータを推定することができる。 ディープラーニングネットワークモデルのロバストでユニークな設計が、データレートとパケット損失クラスラベルと共にビデオデータで訓練されている。 提案した半教師付き生成対向ネットワークは、劣化したビデオデータを元の形式に再構築することで、より良いエンドユーザー体験を実現する。
  論文  参考訳（メタデータ） (2022-03-22T10:42:19Z)
• VRT: A Video Restoration Transformer [126.79589717404863]
  ビデオ復元(例:ビデオ超解像度)は、高品質のフレームを低品質のフレームから復元することを目的としている。 並列フレーム予測と長距離時間依存性モデリング機能を備えたビデオ再生変換器(VRT)を提案する。
  論文  参考訳（メタデータ） (2022-01-28T17:54:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。