論文の概要: PatchEX: High-Quality Real-Time Temporal Supersampling through Patch-based Parallel Extrapolation

• arxiv url: http://arxiv.org/abs/2407.17501v1
• Date: Fri, 5 Jul 2024 13:59:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-28 17:59:54.678399
• Title: PatchEX: High-Quality Real-Time Temporal Supersampling through Patch-based Parallel Extrapolation
• Title（参考訳）: PatchEX: パッチベースの並列外挿による高品質リアルタイム時間スーパーサンプリング
• Authors: Akanksha Dixit, Smruti R. Sarangi,
• Abstract要約: 本稿では,フレーム外挿の高速化を目的とした新しいフレーム外挿法であるPatchEXを紹介する。 PatchEXは最新のExtraNetとExtraSSに比べて、PSNRの65.29%と48.46%の改善を実現している。
• 参考スコア（独自算出の注目度）: 0.4143603294943439
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: High-refresh rate displays have become very popular in recent years due to the need for superior visual quality in gaming, professional displays and specialized applications like medical imaging. However, high-refresh rate displays alone do not guarantee a superior visual experience; the GPU needs to render frames at a matching rate. Otherwise, we observe disconcerting visual artifacts such as screen tearing and stuttering. Temporal supersampling is an effective technique to increase frame rates by predicting new frames from other rendered frames. There are two methods in this space: interpolation and extrapolation. Interpolation-based methods provide good image quality at the cost of a higher latency because they also require the next rendered frame. On the other hand, extrapolation methods are much faster at the cost of quality. This paper introduces PatchEX, a novel frame extrapolation method that aims to provide the quality of interpolation at the speed of extrapolation. It smartly partitions the extrapolation task into sub-tasks and executes them in parallel to improve both quality and latency. It then uses a patch-based inpainting method and a custom shadow prediction approach to fuse the generated sub-frames. This approach significantly reduces the overall latency while maintaining the quality of the output. Our results demonstrate that PatchEX achieves a 65.29% and 48.46% improvement in PSNR over the latest extrapolation methods ExtraNet and ExtraSS, respectively, while being 6x and 2x faster, respectively.
• Abstract（参考訳）: ハイリフレッシュレートディスプレイは、ゲームやプロのディスプレイ、医療画像などの特殊なアプリケーションにおいて、優れた視覚的品質を必要とするため、近年は非常に人気がある。 しかし、ハイリフレッシュレートディスプレイだけでは優れた視覚的エクスペリエンスは保証されない。GPUはフレームを一致するレートでレンダリングする必要がある。 さもなければ、スクリーンの裂け目やぶれ目など、不明瞭な視覚的アーティファクトを観察する。 時間的スーパーサンプリングは、他の描画フレームから新しいフレームを予測することによってフレームレートを向上させる効果的な手法である。 この空間には補間と外挿の2つの方法がある。 補間ベースの手法は、次のレンダリングフレームを必要とするため、レイテンシが高いコストで優れた画質を提供する。 一方、外挿法は品質の面ではるかに高速である。 本稿では,外挿速度における補間品質向上を目的とした新しいフレーム外挿法であるPatchEXを紹介する。 それは、外挿タスクをサブタスクにスマートに分割し、品質とレイテンシの両方を改善するために並列に実行する。 次に、パッチベースの塗装方法とカスタムのシャドウ予測アプローチを使用して、生成されたサブフレームを融合する。 このアプローチは、アウトプットの品質を維持しながら、全体的なレイテンシを大幅に削減します。 以上の結果から,PSNRは最新のExtraNetおよびExtraSSに比べて65.29%,48.46%向上し,それぞれ6倍,2倍高速であった。

関連論文リスト

• GFFE: G-buffer Free Frame Extrapolation for Low-latency Real-time Rendering [14.496161390319065]
  我々は、新しいフレームワークと効率的なニューラルネットワークを備えたGFFEを提案し、追加のレイテンシを導入することなく、新しいフレームをリアルタイムで生成する。 動的フラグメントと異なる種類の非閉塞の運動を分析し、対応するモジュールを設計する。 排他物を充填した後、遮蔽補正網を用いて遮蔽を補正し、全体的な品質を改善する。
  論文  参考訳（メタデータ） (2024-05-23T18:35:26Z)
• Low-latency Space-time Supersampling for Real-time Rendering [18.525909461287835]
  既存のテクニックは、フレームスーパーサンプリングと外挿の相違により、品質とレイテンシの問題に悩まされることが多い。 本稿では,フレームスーパーサンプリングと外挿の共有状況と機構を認識し,新しいフレームワークであるSpace-time Supersampling(STSS)を提案する。 効率的なアーキテクチャを実現するために,リシェーディング領域として統一されたエイリアスホールとワープホールを扱い,領域を補う2つのキーコンポーネント,すなわちRandom Reshading Masking (RRM) とEfficient Reshading Module (ERM) を配置する。
  論文  参考訳（メタデータ） (2023-12-18T02:37:30Z)
• ExWarp: Extrapolation and Warping-based Temporal Supersampling for High-frequency Displays [0.7734726150561089]
  ビデオゲームや仮想現実アプリケーションでの利用が増えているため、高周波ディスプレイは急速に普及している。 本稿では,過去のフレームや将来のフレームに基づいて新しいフレームを予測することによって,現代的なディスプレイのスムーズな体験を提供するためのフレームレートの向上を提案する。
  論文  参考訳（メタデータ） (2023-07-24T08:32:27Z)
• Learning Spatiotemporal Frequency-Transformer for Low-Quality Video Super-Resolution [47.5883522564362]
  Video Super-Resolution (VSR)は、高解像度(HR)ビデオを低解像度(LR)ビデオから復元することを目的としている。 既存のVSR技術は通常、近くのフレームから既知の劣化プロセスでテクスチャを抽出することでHRフレームを復元する。 本稿では,空間-時間-周波数領域の組み合わせで自己アテンションを行う低品質ビデオを扱うための新しい周波数変換器(FTVSR)を提案する。
  論文  参考訳（メタデータ） (2022-12-27T16:26:15Z)
• Scaling Neural Face Synthesis to High FPS and Low Latency by Neural Caching [12.362614824541824]
  最近のニューラルレンダリングアプローチは、画像の品質を大幅に改善し、光リアリズムに近いものに到達している。 基盤となるニューラルネットワークは高いランタイムを持ち、低レイテンシで高解像度を必要とするテレプレゼンスとバーチャルリアリティアプリケーションを除く。 前のフレームから情報をキャッシュすることで依存関係を壊し、暗黙のワープで現在のフレームの処理を高速化します。 我々は,既存のベンチマークシーケンス上で,テレプレゼンスに必要な3次元ポートレートアバターのビュー依存レンダリングに対するアプローチを検証した。
  論文  参考訳（メタデータ） (2022-11-10T18:58:00Z)
• Differentiable Point-Based Radiance Fields for Efficient View Synthesis [57.56579501055479]
  本稿では,効率的な新規ビュー合成のための微分可能レンダリングアルゴリズムを提案する。 我々の手法は、トレーニングと推論の両方において、NeRFよりも最大300倍高速である。 ダイナミックなシーンでは,STNeRFよりも2桁早く,ほぼインタラクティブなレートでレンダリングを行う。
  論文  参考訳（メタデータ） (2022-05-28T04:36:13Z)
• Efficient Video Segmentation Models with Per-frame Inference [117.97423110566963]
  推論のオーバーヘッドを導入することなく、時間的一貫性を改善することに注力する。 本稿では,時間的一貫性の喪失やオンライン/オフラインの知識蒸留手法など,ビデオシーケンスから学ぶためのいくつかの手法を提案する。
  論文  参考訳（メタデータ） (2022-02-24T23:51:36Z)
• All at Once: Temporally Adaptive Multi-Frame Interpolation with Advanced Motion Modeling [52.425236515695914]
  最先端の手法は、一度に1つのフレームを補間する反復解である。 この研究は、真のマルチフレーム補間子を導入している。 時間領域のピラミッドスタイルのネットワークを使用して、複数フレームのタスクをワンショットで完了する。
  論文  参考訳（メタデータ） (2020-07-23T02:34:39Z)
• Is There Tradeoff between Spatial and Temporal in Video Super-Resolution? [50.70768797616581]
  低解像度(LR)ビデオフレーム間の時間的相関を利用するアルゴリズムや,複数のLRフレームを持つフレームを超解法するアルゴリズムが提案されている。 これらの手法は、PSNRなどのフレーム単位での画質を計測する超解像フレームのより高い品質を追求する。 フレームワイドの忠実度とフレーム間の一貫性を両立させることは自然な要件であり、それぞれが空間的品質と時間的品質と呼ばれる。
  論文  参考訳（メタデータ） (2020-03-13T07:49:05Z)
• Efficient Video Semantic Segmentation with Labels Propagation and Refinement [138.55845680523908]
  本稿では,ハイブリッドGPU/CPUを用いた高精細ビデオのリアルタイムセマンティックセマンティックセマンティック化の問題に取り組む。 i) CPU上では、非常に高速な光フロー法であり、ビデオの時間的側面を利用して、あるフレームから次のフレームへ意味情報を伝達するために使用される。 高解像度フレーム(2048 x 1024)を持つ一般的なCityscapesデータセットでは、単一のGPUとCPU上で80から1000Hzの動作ポイントが提案されている。
  論文  参考訳（メタデータ） (2019-12-26T11:45:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。