論文の概要: Reparo: Loss-Resilient Generative Codec for Video Conferencing

• arxiv url: http://arxiv.org/abs/2305.14135v2
• Date: Tue, 20 Feb 2024 22:17:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-22 21:34:58.086034
• Title: Reparo: Loss-Resilient Generative Codec for Video Conferencing
• Title（参考訳）: reparo:ビデオ会議用ロスレジリエント生成コーデック
• Authors: Tianhong Li, Vibhaalakshmi Sivaraman, Pantea Karimi, Lijie Fan, Mohammad Alizadeh, Dina Katabi
• Abstract要約: 本稿では,再生型ディープラーニングモデルに基づく損失耐性ビデオ会議フレームワークReparoを紹介する。 私たちのアプローチは、フレームやフレームの一部が失われたときに、行方不明の情報を生成することです。 公開されているビデオ会議データセットを用いた実験結果は、Reparoが最先端のFECベースのビデオ会議ソリューションより優れていることを示している。
• 参考スコア（独自算出の注目度）: 28.512917694385173
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Packet loss during video conferencing often leads to poor quality and video freezing. Attempting to retransmit lost packets is often impractical due to the need for real-time playback. Employing Forward Error Correction (FEC) for recovering the lost packets is challenging as it is difficult to determine the appropriate redundancy level. To address these issues, we introduce Reparo -- a loss-resilient video conferencing framework based on generative deep learning models. Our approach involves generating missing information when a frame or part of a frame is lost. This generation is conditioned on the data received thus far, taking into account the model's understanding of how people and objects appear and interact within the visual realm. Experimental results, using publicly available video conferencing datasets, demonstrate that Reparo outperforms state-of-the-art FEC-based video conferencing solutions in terms of both video quality (measured through PSNR, SSIM, and LPIPS) and the occurrence of video freezes.
• Abstract（参考訳）: ビデオ会議中のパケットロスは品質の低下やビデオの凍結につながることが多い。 失われたパケットを再送信しようとする試みは、リアルタイムの再生を必要とするため、しばしば実用的でない。 損失パケットの回収にフォワード誤り訂正(FEC)を用いることは,適切な冗長度を決定するのが難しいため困難である。 これらの問題に対処するために、生成的なディープラーニングモデルに基づく損失耐性のビデオ会議フレームワークであるReparoを紹介します。 我々のアプローチは、フレームまたはフレームの一部が失われたときに、欠落した情報を生成することである。 この生成は、これまで受信されたデータに基づいて、視覚領域における人とオブジェクトの出現と相互作用に関するモデルの理解を考慮に入れている。 公開されているビデオ会議データセットを用いた実験の結果、Reparoはビデオ品質(PSNR, SSIM, LPIPS)とビデオフリーズの発生の両方の観点から、最先端のFECベースのビデオ会議ソリューションより優れていることが示された。

関連論文リスト

• FrameCorr: Adaptive, Autoencoder-based Neural Compression for Video Reconstruction in Resource and Timing Constrained Network Settings [0.18906710320196732]
  既存のビデオ圧縮手法では、不完全データが提供されると、圧縮されたデータを復元することが困難となる。 我々は、以前受信したデータを使ってフレームの欠落したセグメントを予測するディープラーニングベースのソリューションであるFrameCorrを紹介する。
  論文  参考訳（メタデータ） (2024-09-04T05:19:57Z)
• VCISR: Blind Single Image Super-Resolution with Video Compression Synthetic Data [18.877077302923713]
  本稿では,映像圧縮に基づく劣化モデルを用いて,ブラインドSISRタスクにおける低解像度画像データを合成する。 提案手法は既存の画像データセットに適用可能である。 SISR分解モデルにビデオ符号化アーティファクトを導入することで、ニューラルネットワークは、ビデオ圧縮劣化を復元する機能を備えた、画像の超解凍を可能にする。
  論文  参考訳（メタデータ） (2023-11-02T05:24:19Z)
• GRACE: Loss-Resilient Real-Time Video through Neural Codecs [31.006987868475683]
  リアルタイムビデオ通信では、遅延の厳しい要求のため、ロスパケットを高遅延ネットワーク上で再送信することは不可能である。 本稿では,ユーザによるパケットロスに対するQE(Quality of Experience, QE)の保存を行うGRACEという,損失耐性のあるリアルタイムビデオシステムを提案する。
  論文  参考訳（メタデータ） (2023-05-21T03:50:44Z)
• VideoINR: Learning Video Implicit Neural Representation for Continuous Space-Time Super-Resolution [75.79379734567604]
  ビデオインプリシットニューラル表現(Video Implicit Neural Representation, VideoINR)は任意の空間解像度とフレームレートの映像にデコード可能であることを示す。 本稿では,最新のSTVSR手法を用いて,一般的なアップサンプリングスケールにおいて,ビデオINRが競合性能を発揮することを示す。
  論文  参考訳（メタデータ） (2022-06-09T17:45:49Z)
• STIP: A SpatioTemporal Information-Preserving and Perception-Augmented Model for High-Resolution Video Prediction [78.129039340528]
  本稿では、上記の2つの問題を解決するために、時空間情報保存・知覚拡張モデル(STIP)を提案する。 提案モデルは,特徴抽出と状態遷移中の映像の時間的情報を保存することを目的としている。 実験結果から,提案したSTIPは,様々な最先端手法と比較して,より良好な映像品質で映像を予測できることが示唆された。
  論文  参考訳（メタデータ） (2022-06-09T09:49:04Z)
• Recurrent Video Restoration Transformer with Guided Deformable Attention [116.1684355529431]
  本稿では,グローバルなリカレントフレームワーク内で,隣接するフレームを並列に処理するRVRTを提案する。 RVRTは、バランスの取れたモデルサイズ、メモリとランタイムをテストするベンチマークデータセット上で、最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-06-05T10:36:09Z)
• Learning Trajectory-Aware Transformer for Video Super-Resolution [50.49396123016185]
  ビデオ超解像は、高解像度(HR)フレームを低解像度(LR)フレームから復元することを目的としている。 既存のアプローチは通常、隣接する限られたフレームからビデオフレームを並べて集約する。 ビデオ超解像用トランスフォーマー(TTVSR)を提案する。
  論文  参考訳（メタデータ） (2022-04-08T03:37:39Z)
• Video Demoireing with Relation-Based Temporal Consistency [68.20281109859998]
  カラー歪みのように見えるモアレパターンは、デジタルカメラでスクリーンを撮影する際に、画像と映像の画質を著しく劣化させる。 我々は、このような望ましくないモアレパターンをビデオで除去する方法を研究している。
  論文  参考訳（メタデータ） (2022-04-06T17:45:38Z)
• Network state Estimation using Raw Video Analysis: vQoS-GAN based non-intrusive Deep Learning Approach [5.8010446129208155]
  vQoS GANは、劣化した受信ビデオデータからネットワーク状態パラメータを推定することができる。 ディープラーニングネットワークモデルのロバストでユニークな設計が、データレートとパケット損失クラスラベルと共にビデオデータで訓練されている。 提案した半教師付き生成対向ネットワークは、劣化したビデオデータを元の形式に再構築することで、より良いエンドユーザー体験を実現する。
  論文  参考訳（メタデータ） (2022-03-22T10:42:19Z)
• VRT: A Video Restoration Transformer [126.79589717404863]
  ビデオ復元(例:ビデオ超解像度)は、高品質のフレームを低品質のフレームから復元することを目的としている。 並列フレーム予測と長距離時間依存性モデリング機能を備えたビデオ再生変換器(VRT)を提案する。
  論文  参考訳（メタデータ） (2022-01-28T17:54:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。