論文の概要: Low-latency Space-time Supersampling for Real-time Rendering

• arxiv url: http://arxiv.org/abs/2312.10890v1
• Date: Mon, 18 Dec 2023 02:37:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-19 14:13:01.386807
• Title: Low-latency Space-time Supersampling for Real-time Rendering
• Title（参考訳）: リアルタイムレンダリングのための低遅延時空スーパーサンプリング
• Authors: Ruian He, Shili Zhou, Yuqi Sun, Ri Cheng, Weimin Tan, Bo Yan
• Abstract要約: 既存のテクニックは、フレームスーパーサンプリングと外挿の相違により、品質とレイテンシの問題に悩まされることが多い。 本稿では,フレームスーパーサンプリングと外挿の共有状況と機構を認識し,新しいフレームワークであるSpace-time Supersampling(STSS)を提案する。 効率的なアーキテクチャを実現するために,リシェーディング領域として統一されたエイリアスホールとワープホールを扱い,領域を補う2つのキーコンポーネント,すなわちRandom Reshading Masking (RRM) とEfficient Reshading Module (ERM) を配置する。
• 参考スコア（独自算出の注目度）: 18.525909461287835
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the rise of real-time rendering and the evolution of display devices, there is a growing demand for post-processing methods that offer high-resolution content in a high frame rate. Existing techniques often suffer from quality and latency issues due to the disjointed treatment of frame supersampling and extrapolation. In this paper, we recognize the shared context and mechanisms between frame supersampling and extrapolation, and present a novel framework, Space-time Supersampling (STSS). By integrating them into a unified framework, STSS can improve the overall quality with lower latency. To implement an efficient architecture, we treat the aliasing and warping holes unified as reshading regions and put forth two key components to compensate the regions, namely Random Reshading Masking (RRM) and Efficient Reshading Module (ERM). Extensive experiments demonstrate that our approach achieves superior visual fidelity compared to state-of-the-art (SOTA) methods. Notably, the performance is achieved within only 4ms, saving up to 75\% of time against the conventional two-stage pipeline that necessitates 17ms.
• Abstract（参考訳）: リアルタイムレンダリングの台頭とディスプレイ装置の進化に伴い、高フレームレートで高解像度のコンテンツを提供するポストプロセッシング手法の需要が高まっている。 既存の技術はフレームのスーパーサンプリングと外挿の非結合的な処理によって品質とレイテンシの問題に苦しむことが多い。 本稿では,フレームスーパーサンプリングと外挿の共有状況と機構を認識し,新しいフレームワークであるSpace-time Supersampling(STSS)を提案する。 統合されたフレームワークに統合することで、STSSは低レイテンシで全体的な品質を改善することができる。 効率的なアーキテクチャを実現するため,リシェーディング領域として統一されたエイリアスホールとワープホールを扱い,Random Reshading Masking (RRM) とEfficient Reshading Module (ERM) の2つのキーコンポーネントを配置した。 広汎な実験により,本手法は最新技術(SOTA)法と比較して,優れた視覚的忠実性が得られることが示された。 特に、パフォーマンスはわずか4msで達成され、17msを必要とする従来の2段階パイプラインに対して最大75%の時間を節約できる。

関連論文リスト

• Empowering Snapshot Compressive Imaging: Spatial-Spectral State Space Model with Across-Scanning and Local Enhancement [51.557804095896174]
  AsLE-SSMという,グローバルな局所的バランスの取れたコンテキストエンコーディングとチャネル間相互作用の促進に空間スペクトルSSMを用いる状態空間モデルを導入する。 実験の結果,ASLE-SSMは既存の最先端手法よりも優れており,推定速度はTransformerベースのMSTより2.4倍速く,パラメータの0.12(M)を節約できることがわかった。
  論文  参考訳（メタデータ） (2024-08-01T15:14:10Z)
• MaskVD: Region Masking for Efficient Video Object Detection [11.759503235646696]
  ビデオタスクは計算量が多く、リアルタイムアプリケーションにデプロイする際の課題となる。 本稿では,ビデオフレームにおけるマスキング領域の戦略を提案する。 以前のフレームから抽出した特徴を活用することで、ViTバックボーンはリージョンマスキングの恩恵を直接受けられる。
  論文  参考訳（メタデータ） (2024-07-16T08:01:49Z)
• PatchEX: High-Quality Real-Time Temporal Supersampling through Patch-based Parallel Extrapolation [0.4143603294943439]
  本稿では,フレーム外挿の高速化を目的とした新しいフレーム外挿法であるPatchEXを紹介する。 PatchEXは最新のExtraNetとExtraSSに比べて、PSNRの65.29%と48.46%の改善を実現している。
  論文  参考訳（メタデータ） (2024-07-05T13:59:05Z)
• RadSplat: Radiance Field-Informed Gaussian Splatting for Robust Real-Time Rendering with 900+ FPS [47.47003067842151]
  本稿では,複雑なシーンをリアルタイムにレンダリングする軽量なRadSplatを提案する。 まず, 優先信号として放射場を用い, 点ベースシーン表現の最適化を行い, 品質の向上とロバストな最適化を実現した。 次に,高い品質を維持しつつ全体の点数を削減し,より高速な推論速度でより小型でコンパクトなシーン表現を実現する新しいプルーニング手法を開発した。
  論文  参考訳（メタデータ） (2024-03-20T17:59:55Z)
• Look Back and Forth: Video Super-Resolution with Explicit Temporal Difference Modeling [105.69197687940505]
  本稿では,LR空間とHR空間における時間差の明示的モデル化の役割について検討する。 超解像結果をさらに高めるために、空間残留特徴を抽出するだけでなく、高周波領域における連続フレーム間の差も計算する。
  論文  参考訳（メタデータ） (2022-04-14T17:07:33Z)
• Investigating Tradeoffs in Real-World Video Super-Resolution [90.81396836308085]
  実世界のビデオ超解像(VSR)モデルは、一般化性を改善するために様々な劣化で訓練されることが多い。 最初のトレードオフを軽減するために,性能を犠牲にすることなく,最大40%のトレーニング時間を削減できる劣化手法を提案する。 そこで本研究では,多種多様な実世界の低品質映像系列を含むビデオLQデータセットを提案する。
  論文  参考訳（メタデータ） (2021-11-24T18:58:21Z)
• Optical-Flow-Reuse-Based Bidirectional Recurrent Network for Space-Time Video Super-Resolution [52.899234731501075]
  時空間ビデオ超解像(ST-VSR)は、与えられたビデオの空間解像度とフレームレートを同時に増加させる。 既存の手法は通常、近隣の幅広いフレームからの情報を効率的に活用する方法の難しさに悩まされる。 本稿では,隣接するフレーム間の知識を活用するために,ConvLSTMの代わりに粗大な双方向リカレントニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-10-13T15:21:30Z)
• Zooming SlowMo: An Efficient One-Stage Framework for Space-Time Video Super-Resolution [100.11355888909102]
  時空ビデオ超解像度は低解像度(LR)と低フレームレート(LFR)ビデオシーケンスから高解像度(HR)スローモーションビデオを生成することを目的としている。 入力LRおよびLFRビデオから直接HRスローモーション映像シーケンスを再構成できる一段階の時空間ビデオ超解像フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-04-15T17:59:23Z)
• Monocular Real-Time Volumetric Performance Capture [28.481131687883256]
  本稿では,モノクロ映像から実時間速度でボリューム・パフォーマンス・キャプチャとノベル・ビュー・レンダリングを行うための最初のアプローチを提案する。 このシステムは,Pixel-Aligned Implicit Function (PIFu)を活用して,各フレームから完全にテクスチャ化された3次元人体を再構成する。 また,オンラインハード・サンプル・マイニング(OHEM)技術を導入し,難題の稀な発生により,障害モードを効果的に抑制する手法を提案する。
  論文  参考訳（メタデータ） (2020-07-28T04:45:13Z)
• Zooming Slow-Mo: Fast and Accurate One-Stage Space-Time Video Super-Resolution [95.26202278535543]
  単純な解決策は、ビデオフレーム(VFI)とビデオ超解像(VSR)の2つのサブタスクに分割することである。 時間合成と空間超解像はこの課題に関係している。 LFR,LRビデオからHRスローモーション映像を直接合成するワンステージ時空間ビデオ超解像フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-02-26T16:59:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。