論文の概要: GameIR: A Large-Scale Synthesized Ground-Truth Dataset for Image Restoration over Gaming Content
- arxiv url: http://arxiv.org/abs/2408.16866v1
- Date: Thu, 29 Aug 2024 19:11:46 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-02 17:08:59.125734
- Title: GameIR: A Large-Scale Synthesized Ground-Truth Dataset for Image Restoration over Gaming Content
- Title（参考訳）: GameIR: ゲームコンテンツによる画像復元のための大規模合成地上構造データセット
- Authors: Lebin Zhou, Kun Han, Nam Ling, Wei Wang, Wei Jiang,
- Abstract要約: 我々は,空白を埋めるために,大規模コンピュータ合成地上トラスデータセットであるGameIRを開発した。
我々は,このタスクのために720pと1440pでレンダリングされた640本のビデオから,19200本のLR-HR対の地上構造フレームを提供する。
2つ目は、新しいビュー合成(NVS)であり、マルチビューフレームの一部をレンダリングおよび転送し、クライアント側で残りのフレームを生成するマルチビューゲーミングソリューションをサポートする。
- 参考スコア（独自算出の注目度）: 16.07538127436932
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Image restoration methods like super-resolution and image synthesis have been successfully used in commercial cloud gaming products like NVIDIA's DLSS. However, restoration over gaming content is not well studied by the general public. The discrepancy is mainly caused by the lack of ground-truth gaming training data that match the test cases. Due to the unique characteristics of gaming content, the common approach of generating pseudo training data by degrading the original HR images results in inferior restoration performance. In this work, we develop GameIR, a large-scale high-quality computer-synthesized ground-truth dataset to fill in the blanks, targeting at two different applications. The first is super-resolution with deferred rendering, to support the gaming solution of rendering and transferring LR images only and restoring HR images on the client side. We provide 19200 LR-HR paired ground-truth frames coming from 640 videos rendered at 720p and 1440p for this task. The second is novel view synthesis (NVS), to support the multiview gaming solution of rendering and transferring part of the multiview frames and generating the remaining frames on the client side. This task has 57,600 HR frames from 960 videos of 160 scenes with 6 camera views. In addition to the RGB frames, the GBuffers during the deferred rendering stage are also provided, which can be used to help restoration. Furthermore, we evaluate several SOTA super-resolution algorithms and NeRF-based NVS algorithms over our dataset, which demonstrates the effectiveness of our ground-truth GameIR data in improving restoration performance for gaming content. Also, we test the method of incorporating the GBuffers as additional input information for helping super-resolution and NVS. We release our dataset and models to the general public to facilitate research on restoration methods over gaming content.
- Abstract（参考訳）: 超解像度や画像合成のような画像復元手法はNVIDIAのDLSSのような商用クラウドゲーム製品で成功している。
しかし、ゲームコンテンツに対する復元は一般大衆からはあまり研究されていない。
この違いは、主にテストケースにマッチする地道なゲームトレーニングデータが欠如していることに起因する。
ゲームコンテンツの特徴から,オリジナルHR画像の劣化による擬似トレーニングデータ生成の一般的な手法は,復元性能が劣る。
本研究は,2つの異なるアプリケーションを対象として,大規模コンピュータ合成地上真実データセットであるGameIRを開発し,空白を埋める。
1つは遅延レンダリングを備えた超解像度で、LR画像のみのレンダリングと転送、HR画像をクライアント側で復元するゲームソリューションをサポートする。
我々は,このタスクのために720pと1440pでレンダリングされた640本のビデオから,19200本のLR-HR対の接地木フレームを提供する。
2つ目は、新しいビュー合成(NVS)であり、マルチビューフレームの一部をレンダリングおよび転送し、クライアント側で残りのフレームを生成するマルチビューゲーミングソリューションをサポートする。
このタスクには、160シーンの960ビデオから57,600フレームのHRフレームと6つのカメラビューがある。
RGBフレームに加えて、遅延レンダリングステージ中のGBufferも提供されており、復元に役立つ。
さらに,本データセット上でのSOTAスーパーレゾリューションアルゴリズムとNeRFベースNVSアルゴリズムの評価を行い,ゲームコンテンツの復元性能向上におけるゲーミング赤外線データの有効性を実証した。
また,GBuffersを入力情報として組み込んで超解像・NVSを支援する手法についても検討した。
我々は,ゲームコンテンツ上での復元手法の研究を促進するために,データセットとモデルを一般向けに公開する。
関連論文リスト
- REDUCIO! Generating 1024$\times$1024 Video within 16 Seconds using Extremely Compressed Motion Latents [110.41795676048835]
大規模アプリケーションにとって重要な障害のひとつは、高価なトレーニングと推論コストである。
本稿では,ビデオには画像よりもはるかに冗長な情報が含まれており,非常に少ない動きの潜伏者によってエンコード可能であることを論じる。
我々は、合計3.2Kのトレーニング時間でReduceio-DiTをトレーニングし、1つのA100 GPUで15.5秒以内に16フレームの1024*1024ビデオクリップを生成する。
論文 参考訳（メタデータ） (2024-11-20T18:59:52Z) - DiffIR2VR-Zero: Zero-Shot Video Restoration with Diffusion-based Image Restoration Models [9.145545884814327]
本稿では,事前学習画像復元拡散モデルを用いたゼロショット映像復元手法を提案する。
本手法は,ゼロショット映像復元において最高の性能を発揮することを示す。
本手法は任意の2次元復元拡散モデルで動作し,広範に再トレーニングを行うことなく,映像強調作業のための汎用的で強力なツールを提供する。
論文 参考訳（メタデータ） (2024-07-01T17:59:12Z) - Real-Time 4K Super-Resolution of Compressed AVIF Images. AIS 2024 Challenge Survey [116.29700317843043]
本稿では,AIS 2024 Real-Time Image Super-Resolution Challengeの一環として,新しいベンチマークを提案する。
圧縮された画像を540pから4Kの解像度で、商用GPUでリアルタイムでアップスケールすることを目指している。
デジタルアートからゲーム、写真まで、さまざまな4K画像を含む多様なテストセットを使用します。
論文 参考訳（メタデータ） (2024-04-25T10:12:42Z) - VCISR: Blind Single Image Super-Resolution with Video Compression
Synthetic Data [18.877077302923713]
本稿では,映像圧縮に基づく劣化モデルを用いて,ブラインドSISRタスクにおける低解像度画像データを合成する。
提案手法は既存の画像データセットに適用可能である。
SISR分解モデルにビデオ符号化アーティファクトを導入することで、ニューラルネットワークは、ビデオ圧縮劣化を復元する機能を備えた、画像の超解凍を可能にする。
論文 参考訳（メタデータ） (2023-11-02T05:24:19Z) - Enabling Real-time Neural Recovery for Cloud Gaming on Mobile Devices [11.530719133935847]
本稿では,クラウドゲームにおいて,失われたビデオフレームや破損したビデオフレームを復元する新しい手法を提案する。
従来のビデオフレームのリカバリとは異なり,本手法ではゲーム状態を用いてリカバリ精度を大幅に向上させる。
我々は, (i) ゲーム状態の効率的な抽出, (ii) H.264 ビデオデコーダの修正, (iii) ビデオフレームのどの部分の回復が必要なのかを示すマスクの生成, (iii) 完全あるいは部分的なビデオフレームを復元する新しいニューラルネットワークを設計した。
論文 参考訳（メタデータ） (2023-07-15T16:45:01Z) - Swin2SR: SwinV2 Transformer for Compressed Image Super-Resolution and
Restoration [71.6879432974126]
本稿では,画像超解像のためのSwinIRの改良を目的とした小説Swin Transformer V2について検討する。
JPEG圧縮アーティファクトの除去,画像超解像(古典的および軽量),圧縮画像超解像の3つの代表的な課題について実験を行った。
実験の結果,Swin2SRはSwinIRのトレーニング収束と性能を向上させることができることがわかった。
論文 参考訳（メタデータ） (2022-09-22T23:25:08Z) - On the Generalization of BasicVSR++ to Video Deblurring and Denoising [98.99165593274304]
我々は、BasicVSR++をビデオ復元タスクのための汎用フレームワークに拡張する。
入力と出力が同じ空間サイズを持つタスクでは、入力解像度はストライド畳み込みによって削減され効率が維持される。
BasicVSR++からの最小限の変更だけで、提案するフレームワークは、様々なビデオ復元タスクにおいて、非常に効率よく魅力的なパフォーマンスを実現する。
論文 参考訳（メタデータ） (2022-04-11T17:59:56Z) - BasicVSR++: Improving Video Super-Resolution with Enhanced Propagation
and Alignment [90.81396836308085]
我々は,伝播とアライメントの強化による再生フレームワークの強化により,映像情報をより効果的に活用できることを示す。
我々のモデルである BasicVSR++ は PSNR で BasicVSR を 0.82 dB で上回っている。
BasicVSR++は圧縮ビデオ強化などの他のビデオ復元タスクによく一般化される。
論文 参考訳（メタデータ） (2021-04-27T17:58:31Z) - AIM 2020 Challenge on Video Extreme Super-Resolution: Methods and
Results [96.74919503142014]
本稿では,ECCV 2020におけるAIM 2020ワークショップに関連する超高解像度映像についてレビューする。
トラック1は、PSNRとSSIMによって基底真理への忠実度を測定するような要求されたタスクの最先端度を測定するために設定される。
トラック2は、人間の知覚に応じてランク付けされた視覚的に満足な結果を生成することを目的としており、ユーザスタディによって評価されている。
論文 参考訳（メタデータ） (2020-09-14T09:36:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。