論文の概要: Prediction-assistant Frame Super-Resolution for Video Streaming

• arxiv url: http://arxiv.org/abs/2103.09455v1
• Date: Wed, 17 Mar 2021 06:05:27 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-18 12:53:54.299985
• Title: Prediction-assistant Frame Super-Resolution for Video Streaming
• Title（参考訳）: ビデオストリーミングにおけるフレーム超解像予測
• Authors: Wang Shen, Wenbo Bao, Guangtao Zhai, Charlie L Wang, Jerry W Hu, Zhiyong Gao
• Abstract要約: ロスフレームによる映像品質の向上を2つの場面で提案します。 最初のケースでは、小さいが効果的なビデオフレーム予測ネットワークを提案する。 第2のケースでは,現在のフレームと以前のフレームを関連付けるビデオ予測ネットワークを改善し,高品質な画像を復元する。
• 参考スコア（独自算出の注目度）: 40.60863957681011
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Video frame transmission delay is critical in real-time applications such as online video gaming, live show, etc. The receiving deadline of a new frame must catch up with the frame rendering time. Otherwise, the system will buffer a while, and the user will encounter a frozen screen, resulting in unsatisfactory user experiences. An effective approach is to transmit frames in lower-quality under poor bandwidth conditions, such as using scalable video coding. In this paper, we propose to enhance video quality using lossy frames in two situations. First, when current frames are too late to receive before rendering deadline (i.e., lost), we propose to use previously received high-resolution images to predict the future frames. Second, when the quality of the currently received frames is low~(i.e., lossy), we propose to use previously received high-resolution frames to enhance the low-quality current ones. For the first case, we propose a small yet effective video frame prediction network. For the second case, we improve the video prediction network to a video enhancement network to associate current frames as well as previous frames to restore high-quality images. Extensive experimental results demonstrate that our method performs favorably against state-of-the-art algorithms in the lossy video streaming environment.
• Abstract（参考訳）: オンラインビデオゲームやライブショーなどのリアルタイムアプリケーションでは、ビデオフレームの伝送遅延が重要である。 新しいフレームの受信期限は、フレームのレンダリング時間に追いつく必要があります。 そうでなければ、システムはしばらくバッファリングし、ユーザは凍ったスクリーンに遭遇し、満足のいくユーザー体験をもたらす。 効果的なアプローチは、スケーラブルなビデオ符号化など、低品質の帯域幅条件下でフレームを送信することである。 本稿では,2つの状況における損失フレームを用いた画質向上を提案する。 まず、現在のフレームがレンダリング期限に間に合わない場合(つまり、紛失)、前回受信した高解像度画像を使用して将来のフレームを予測することを提案する。 第2に、現在受信しているフレームの品質が−(すなわち損失)である場合、以前受信した高解像度フレームを使用して、低品質のフレームを強化することを提案する。 最初のケースでは、小さいが効果的なビデオフレーム予測ネットワークを提案する。 第2のケースでは、映像予測ネットワークを映像エンハンスメントネットワークに改良し、現在のフレームと以前のフレームを関連付け、高品質な画像を復元する。 ビデオストリーミング環境における最先端のアルゴリズムに対して,本手法が好適に動作することを示す。

関連論文リスト

• ExWarp: Extrapolation and Warping-based Temporal Supersampling for High-frequency Displays [0.7734726150561089]
  ビデオゲームや仮想現実アプリケーションでの利用が増えているため、高周波ディスプレイは急速に普及している。 本稿では,過去のフレームや将来のフレームに基づいて新しいフレームを予測することによって,現代的なディスプレイのスムーズな体験を提供するためのフレームレートの向上を提案する。
  論文  参考訳（メタデータ） (2023-07-24T08:32:27Z)
• Predictive Coding For Animation-Based Video Compression [13.161311799049978]
  本稿では,画像アニメーションを予測器として用いる予測符号化手法を提案し,実際の対象フレームに対する残差を符号化する。 実験の結果,HEVCビデオ標準に比べて70%以上,VVCに比べて30%以上,有意な上昇を示した。
  論文  参考訳（メタデータ） (2023-07-09T14:40:54Z)
• Rerender A Video: Zero-Shot Text-Guided Video-to-Video Translation [93.18163456287164]
  本稿では,動画に画像モデルを適用するための新しいテキスト誘導型動画翻訳フレームワークを提案する。 我々のフレームワークは,グローバルなスタイルと局所的なテクスチャの時間的一貫性を低コストで実現している。
  論文  参考訳（メタデータ） (2023-06-13T17:52:23Z)
• ReBotNet: Fast Real-time Video Enhancement [59.08038313427057]
  ほとんどの復元ネットワークは遅く、高い計算ボトルネックがあり、リアルタイムビデオ拡張には使用できない。 本研究では,ライブビデオ通話やビデオストリームなどの実用的なユースケースをリアルタイムに拡張するための,効率的かつ高速なフレームワークを設計する。 提案手法を評価するために,実世界のビデオ通話とストリーミングのシナリオを示す2つの新しいデータセットをエミュレートし,ReBotNetがより少ない計算,メモリ要求の低減,より高速な推論時間で既存手法より優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-23T17:58:05Z)
• FREGAN : an application of generative adversarial networks in enhancing the frame rate of videos [1.1688030627514534]
  FREGAN(Frame Rate Enhancement Generative Adversarial Network)モデルが提案されている。 提案手法の有効性を標準データセットで検証した。 実験結果は,提案モデルがピーク信号対雑音比(PSNR)が34.94で,構造類似度指数(SSIM)が0.95であることを示している。
  論文  参考訳（メタデータ） (2021-11-01T17:19:00Z)
• Memory-Augmented Non-Local Attention for Video Super-Resolution [61.55700315062226]
  低解像度(LR)ビデオから高忠実度高解像度(HR)ビデオを生成するための新しいビデオ超解法を提案する。 従来の方法は、主に時間的隣のフレームを利用して、現在のフレームの超解像を支援する。 対照的に、フレームアライメントなしでビデオの超解像を可能にするクロスフレーム非局所アテンション機構を考案する。
  論文  参考訳（メタデータ） (2021-08-25T05:12:14Z)
• Motion-blurred Video Interpolation and Extrapolation [72.3254384191509]
  本稿では,映像から鮮明なフレームをエンドツーエンドに切り離し,補間し,外挿する新しい枠組みを提案する。 予測フレーム間の時間的コヒーレンスを確保し,潜在的な時間的あいまいさに対処するために,単純で効果的なフローベースルールを提案する。
  論文  参考訳（メタデータ） (2021-03-04T12:18:25Z)
• Is There Tradeoff between Spatial and Temporal in Video Super-Resolution? [50.70768797616581]
  低解像度(LR)ビデオフレーム間の時間的相関を利用するアルゴリズムや,複数のLRフレームを持つフレームを超解法するアルゴリズムが提案されている。 これらの手法は、PSNRなどのフレーム単位での画質を計測する超解像フレームのより高い品質を追求する。 フレームワイドの忠実度とフレーム間の一貫性を両立させることは自然な要件であり、それぞれが空間的品質と時間的品質と呼ばれる。
  論文  参考訳（メタデータ） (2020-03-13T07:49:05Z)
• Deep Slow Motion Video Reconstruction with Hybrid Imaging System [12.340049542098148]
  現在の技術は、難題では有効でない線形物体の動きを仮定することにより、フレームを通して標準映像のフレームレートを増大させる。 本稿では,アライメントと外観推定を組み合わせた2段階のディープラーニングシステムを提案する。 我々は、合成合成ハイブリッドビデオでモデルをトレーニングし、様々なテストシーンで高品質な結果を示す。
  論文  参考訳（メタデータ） (2020-02-27T14:18:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。