論文の概要: GFFE: G-buffer Free Frame Extrapolation for Low-latency Real-time Rendering

• arxiv url: http://arxiv.org/abs/2406.18551v1
• Date: Thu, 23 May 2024 18:35:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-01 06:00:20.819548
• Title: GFFE: G-buffer Free Frame Extrapolation for Low-latency Real-time Rendering
• Title（参考訳）: GFFE:低遅延リアルタイムレンダリングのためのGバッファフリーフレーム外挿
• Authors: Songyin Wu, Deepak Vembar, Anton Sochenov, Selvakumar Panneer, Sungye Kim, Anton Kaplanyan, Ling-Qi Yan,
• Abstract要約: 我々は、新しいフレームワークと効率的なニューラルネットワークを備えたGFFEを提案し、追加のレイテンシを導入することなく、新しいフレームをリアルタイムで生成する。 動的フラグメントと異なる種類の非閉塞の運動を分析し、対応するモジュールを設計する。 排他物を充填した後、遮蔽補正網を用いて遮蔽を補正し、全体的な品質を改善する。
• 参考スコア（独自算出の注目度）: 14.496161390319065
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Real-time rendering has been embracing ever-demanding effects, such as ray tracing. However, rendering such effects in high resolution and high frame rate remains challenging. Frame extrapolation methods, which don't introduce additional latency as opposed to frame interpolation methods such as DLSS 3 and FSR 3, boost the frame rate by generating future frames based on previous frames. However, it is a more challenging task because of the lack of information in the disocclusion regions, and recent methods also have a high engine integration cost due to requiring G-buffers as input. We propose a \emph{G-buffer free} frame extrapolation, GFFE, with a novel heuristic framework and an efficient neural network, to plausibly generate new frames in real-time without introducing additional latency. We analyze the motion of dynamic fragments and different types of disocclusions, and design the corresponding modules of the extrapolation block to handle them. After filling disocclusions, a light-weight shading correction network is used to correct shading and improve overall quality. GFFE achieves comparable or better results compared to previous interpolation as well as G-buffer-dependent extrapolation methods, with more efficient performance and easier game integration.
• Abstract（参考訳）: リアルタイムレンダリングは、レイトレーシングなど、オンデマンドのエフェクトを受け入れている。 しかし、そのような効果を高解像度で高フレームレートでレンダリングすることは依然として困難である。 DLSS 3 や FSR 3 のようなフレーム補間法とは対照的に,フレーム外挿法では,フレームの将来のフレームを生成することでフレームレートを向上する。 しかし,非閉塞領域の情報不足や,Gバッファを入力として必要とするため,最近の手法ではエンジン統合コストも高くなっているため,より困難な作業である。 本稿では,新しいヒューリスティックなフレームワークと効率的なニューラルネットワークを備えたGFFEというフレーム外挿法を提案する。 動的フラグメントと異なる種類の非閉塞の運動を分析し、それらを扱うために外挿ブロックの対応するモジュールを設計する。 排他物を充填した後、遮蔽補正網を用いて遮蔽を補正し、全体的な品質を改善する。 GFFEは、従来の補間法やGバッファ依存の補間法と比較して、より効率的なパフォーマンスとより簡単なゲーム統合を実現している。

関連論文リスト

• PatchEX: High-Quality Real-Time Temporal Supersampling through Patch-based Parallel Extrapolation [0.4143603294943439]
  本稿では,フレーム外挿の高速化を目的とした新しいフレーム外挿法であるPatchEXを紹介する。 PatchEXは最新のExtraNetとExtraSSに比べて、PSNRの65.29%と48.46%の改善を実現している。
  論文  参考訳（メタデータ） (2024-07-05T13:59:05Z)
• Dynamic Frame Interpolation in Wavelet Domain [57.25341639095404]
  ビデオフレームは、より流動的な視覚体験のためにフレームレートを上げることができる、重要な低レベルな計算ビジョンタスクである。 既存の手法は、高度なモーションモデルと合成ネットワークを利用することで大きな成功を収めた。 WaveletVFIは、同様の精度を維持しながら最大40%の計算を削減できるため、他の最先端技術に対してより効率的に処理できる。
  論文  参考訳（メタデータ） (2023-09-07T06:41:15Z)
• RIGID: Recurrent GAN Inversion and Editing of Real Face Videos [73.97520691413006]
  GANのインバージョンは、実画像に強力な編集可能性を適用するのに不可欠である。 既存のビデオフレームを個別に反転させる手法は、時間の経過とともに望ましくない一貫性のない結果をもたらすことが多い。 我々は、textbfRecurrent vtextbfIdeo textbfGAN textbfInversion and etextbfDiting (RIGID) という統合されたリカレントフレームワークを提案する。 本フレームワークは,入力フレーム間の固有コヒーレンスをエンドツーエンドで学習する。
  論文  参考訳（メタデータ） (2023-08-11T12:17:24Z)
• ExWarp: Extrapolation and Warping-based Temporal Supersampling for High-frequency Displays [0.7734726150561089]
  ビデオゲームや仮想現実アプリケーションでの利用が増えているため、高周波ディスプレイは急速に普及している。 本稿では,過去のフレームや将来のフレームに基づいて新しいフレームを予測することによって,現代的なディスプレイのスムーズな体験を提供するためのフレームレートの向上を提案する。
  論文  参考訳（メタデータ） (2023-07-24T08:32:27Z)
• You Can Ground Earlier than See: An Effective and Efficient Pipeline for Temporal Sentence Grounding in Compressed Videos [56.676761067861236]
  ビデオがトリミングされていない場合、時間的文のグラウンド化は、文問合せに従って目的のモーメントを意味的に見つけることを目的としている。 それまでの優れた作品は、かなり成功したが、それらはデコードされたフレームから抽出されたハイレベルな視覚的特徴にのみ焦点を当てている。 本稿では,圧縮された映像を直接視覚入力として利用する,圧縮された領域のTSGを提案する。
  論文  参考訳（メタデータ） (2023-03-14T12:53:27Z)
• Exploring Motion Ambiguity and Alignment for High-Quality Video Frame Interpolation [46.02120172459727]
  本稿では,GTに近い中間フレームを可能な限り再構築する要件を緩和することを提案する。 本研究では,テクスチャ整合性損失 (TCL) を補間されたコンテンツが,与えられたフレーム内でのテクスチャ整合性損失 (TCL) と類似した構造を維持するべきであるという仮定に基づいて開発する。
  論文  参考訳（メタデータ） (2022-03-19T10:37:06Z)
• TimeLens: Event-based Video Frame Interpolation [54.28139783383213]
  本稿では,合成法とフロー法の両方の利点を生かした,等価寄与法であるTime Lensを紹介する。 最先端のフレームベースおよびイベントベース手法よりもPSNRが最大5.21dB向上したことを示す。
  論文  参考訳（メタデータ） (2021-06-14T10:33:47Z)
• FLAVR: Flow-Agnostic Video Representations for Fast Frame Interpolation [97.99012124785177]
  FLAVRは、3D空間時間の畳み込みを使用して、ビデオフレームのエンドツーエンドの学習と推論を可能にする柔軟で効率的なアーキテクチャです。 FLAVRは、アクション認識、光フロー推定、モーション拡大のための有用な自己解釈タスクとして役立つことを実証します。
  論文  参考訳（メタデータ） (2020-12-15T18:59:30Z)
• All at Once: Temporally Adaptive Multi-Frame Interpolation with Advanced Motion Modeling [52.425236515695914]
  最先端の手法は、一度に1つのフレームを補間する反復解である。 この研究は、真のマルチフレーム補間子を導入している。 時間領域のピラミッドスタイルのネットワークを使用して、複数フレームのタスクをワンショットで完了する。
  論文  参考訳（メタデータ） (2020-07-23T02:34:39Z)
• Deep Space-Time Video Upsampling Networks [47.62807427163614]
  ビデオ超解像(VSR)とフレーム(FI)は伝統的なコンピュータビジョンの問題である。 本稿では, VSR と FI を効率よく融合して, 時空ビデオアップサンプリングを行うためのエンドツーエンドフレームワークを提案する。 その結果, 時間(x7速)とパラメータ数(30%)を基準線と比較し, 定量的, 質的にも良好な結果が得られた。
  論文  参考訳（メタデータ） (2020-04-06T07:04:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。