論文の概要: ExWarp: Extrapolation and Warping-based Temporal Supersampling for
High-frequency Displays
- arxiv url: http://arxiv.org/abs/2307.12607v1
- Date: Mon, 24 Jul 2023 08:32:27 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-25 15:01:09.516988
- Title: ExWarp: Extrapolation and Warping-based Temporal Supersampling for
High-frequency Displays
- Title(参考訳): ExWarp:高周波ディスプレイ用外挿・ウォーピング型テンポラルスーパーサンプリング
- Authors: Akanksha Dixit, Yashashwee Chakrabarty, Smruti R. Sarangi
- Abstract要約: ビデオゲームや仮想現実アプリケーションでの利用が増えているため、高周波ディスプレイは急速に普及している。
本稿では,過去のフレームや将来のフレームに基づいて新しいフレームを予測することによって,現代的なディスプレイのスムーズな体験を提供するためのフレームレートの向上を提案する。
- 参考スコア(独自算出の注目度): 0.7734726150561089
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: High-frequency displays are gaining immense popularity because of their
increasing use in video games and virtual reality applications. However, the
issue is that the underlying GPUs cannot continuously generate frames at this
high rate -- this results in a less smooth and responsive experience.
Furthermore, if the frame rate is not synchronized with the refresh rate, the
user may experience screen tearing and stuttering. Previous works propose
increasing the frame rate to provide a smooth experience on modern displays by
predicting new frames based on past or future frames. Interpolation and
extrapolation are two widely used algorithms that predict new frames.
Interpolation requires waiting for the future frame to make a prediction, which
adds additional latency. On the other hand, extrapolation provides a better
quality of experience because it relies solely on past frames -- it does not
incur any additional latency. The simplest method to extrapolate a frame is to
warp the previous frame using motion vectors; however, the warped frame may
contain improperly rendered visual artifacts due to dynamic objects -- this
makes it very challenging to design such a scheme. Past work has used DNNs to
get good accuracy, however, these approaches are slow. This paper proposes
Exwarp -- an approach based on reinforcement learning (RL) to intelligently
choose between the slower DNN-based extrapolation and faster warping-based
methods to increase the frame rate by 4x with an almost negligible reduction in
the perceived image quality.
- Abstract(参考訳): 高周波ディスプレイは、ビデオゲームや仮想現実アプリケーションでの利用が増えているため、人気が高まっている。
However, the issue is that the underlying GPUs cannot continuously generate frames at this high rate -- this results in a less smooth and responsive experience. Furthermore, if the frame rate is not synchronized with the refresh rate, the user may experience screen tearing and stuttering. Previous works propose increasing the frame rate to provide a smooth experience on modern displays by predicting new frames based on past or future frames. Interpolation and extrapolation are two widely used algorithms that predict new frames. Interpolation requires waiting for the future frame to make a prediction, which adds additional latency. On the other hand, extrapolation provides a better quality of experience because it relies solely on past frames -- it does not incur any additional latency.
The simplest method to extrapolate a frame is to warp the previous frame using motion vectors; however, the warped frame may contain improperly rendered visual artifacts due to dynamic objects -- this makes it very challenging to design such a scheme. Past work has used DNNs to get good accuracy, however, these approaches are slow. This paper proposes Exwarp -- an approach based on reinforcement learning (RL) to intelligently choose between the slower DNN-based extrapolation and faster warping-based methods to increase the frame rate by 4x with an almost negligible reduction in the perceived image quality.
関連論文リスト
- GFFE: G-buffer Free Frame Extrapolation for Low-latency Real-time Rendering [14.496161390319065]
我々は、新しいフレームワークと効率的なニューラルネットワークを備えたGFFEを提案し、追加のレイテンシを導入することなく、新しいフレームをリアルタイムで生成する。
動的フラグメントと異なる種類の非閉塞の運動を分析し、対応するモジュールを設計する。
排他物を充填した後、遮蔽補正網を用いて遮蔽を補正し、全体的な品質を改善する。
論文 参考訳(メタデータ) (2024-05-23T18:35:26Z) - You Can Ground Earlier than See: An Effective and Efficient Pipeline for
Temporal Sentence Grounding in Compressed Videos [56.676761067861236]
ビデオがトリミングされていない場合、時間的文のグラウンド化は、文問合せに従って目的のモーメントを意味的に見つけることを目的としている。
それまでの優れた作品は、かなり成功したが、それらはデコードされたフレームから抽出されたハイレベルな視覚的特徴にのみ焦点を当てている。
本稿では,圧縮された映像を直接視覚入力として利用する,圧縮された領域のTSGを提案する。
論文 参考訳(メタデータ) (2023-03-14T12:53:27Z) - Scaling Neural Face Synthesis to High FPS and Low Latency by Neural
Caching [12.362614824541824]
最近のニューラルレンダリングアプローチは、画像の品質を大幅に改善し、光リアリズムに近いものに到達している。
基盤となるニューラルネットワークは高いランタイムを持ち、低レイテンシで高解像度を必要とするテレプレゼンスとバーチャルリアリティアプリケーションを除く。
前のフレームから情報をキャッシュすることで依存関係を壊し、暗黙のワープで現在のフレームの処理を高速化します。
我々は,既存のベンチマークシーケンス上で,テレプレゼンスに必要な3次元ポートレートアバターのビュー依存レンダリングに対するアプローチを検証した。
論文 参考訳(メタデータ) (2022-11-10T18:58:00Z) - TTVFI: Learning Trajectory-Aware Transformer for Video Frame
Interpolation [50.49396123016185]
ビデオフレーム(VFI)は、2つの連続するフレーム間の中間フレームを合成することを目的としている。
ビデオフレーム補間用トラジェクトリ対応トランス (TTVFI) を提案する。
提案手法は,4つの広く使用されているVFIベンチマークにおいて,他の最先端手法よりも優れている。
論文 参考訳(メタデータ) (2022-07-19T03:37:49Z) - Video Frame Interpolation without Temporal Priors [91.04877640089053]
ビデオフレームは、既存の中間フレームをビデオシーケンスで合成することを目的としている。
フレーム/秒(FPS)やフレーム露光時間といったビデオの時間的先行は、異なるカメラセンサーによって異なる場合がある。
我々は、より良い合成結果を得るために、新しい光フロー改善戦略を考案する。
論文 参考訳(メタデータ) (2021-12-02T12:13:56Z) - FREGAN : an application of generative adversarial networks in enhancing
the frame rate of videos [1.1688030627514534]
FREGAN(Frame Rate Enhancement Generative Adversarial Network)モデルが提案されている。
提案手法の有効性を標準データセットで検証した。
実験結果は,提案モデルがピーク信号対雑音比(PSNR)が34.94で,構造類似度指数(SSIM)が0.95であることを示している。
論文 参考訳(メタデータ) (2021-11-01T17:19:00Z) - TimeLens: Event-based Video Frame Interpolation [54.28139783383213]
本稿では,合成法とフロー法の両方の利点を生かした,等価寄与法であるTime Lensを紹介する。
最先端のフレームベースおよびイベントベース手法よりもPSNRが最大5.21dB向上したことを示す。
論文 参考訳(メタデータ) (2021-06-14T10:33:47Z) - Prediction-assistant Frame Super-Resolution for Video Streaming [40.60863957681011]
ロスフレームによる映像品質の向上を2つの場面で提案します。
最初のケースでは、小さいが効果的なビデオフレーム予測ネットワークを提案する。
第2のケースでは,現在のフレームと以前のフレームを関連付けるビデオ予測ネットワークを改善し,高品質な画像を復元する。
論文 参考訳(メタデータ) (2021-03-17T06:05:27Z) - Motion-blurred Video Interpolation and Extrapolation [72.3254384191509]
本稿では,映像から鮮明なフレームをエンドツーエンドに切り離し,補間し,外挿する新しい枠組みを提案する。
予測フレーム間の時間的コヒーレンスを確保し,潜在的な時間的あいまいさに対処するために,単純で効果的なフローベースルールを提案する。
論文 参考訳(メタデータ) (2021-03-04T12:18:25Z) - All at Once: Temporally Adaptive Multi-Frame Interpolation with Advanced
Motion Modeling [52.425236515695914]
最先端の手法は、一度に1つのフレームを補間する反復解である。
この研究は、真のマルチフレーム補間子を導入している。
時間領域のピラミッドスタイルのネットワークを使用して、複数フレームのタスクをワンショットで完了する。
論文 参考訳(メタデータ) (2020-07-23T02:34:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。