Fugu-MT 論文翻訳(概要): FuseSR: Super Resolution for Real-time Rendering through Efficient Multi-resolution Fusion

論文の概要: FuseSR: Super Resolution for Real-time Rendering through Efficient Multi-resolution Fusion

arxiv url: http://arxiv.org/abs/2310.09726v1
Date: Sun, 15 Oct 2023 04:01:05 GMT
ステータス: 処理完了
システム内更新日: 2023-10-17 18:28:29.373824
Title: FuseSR: Super Resolution for Real-time Rendering through Efficient Multi-resolution Fusion
Title（参考訳）: fusesr: 効率的なマルチレゾリューション融合によるリアルタイムレンダリングのためのスーパーレゾリューション
Authors: Zhihua Zhong, Jingsen Zhu, Yuxin Dai, Chuankun Zheng, Yuchi Huo, Guanlin Chen, Hujun Bao, Rui Wang
Abstract要約: 最も一般的な解決策の1つは、レンダリングオーバーヘッドを減らすために、低解像度で画像をレンダリングすることである。本稿では,高品質なアップサンプル再構成を予測できる効率的かつ効率的な超解像法を提案する。実験の結果,提案手法は時間的に一貫した再構築を4倍の4倍の4倍の4倍の4倍の4倍の8倍の8倍のアップサンプリングをリアルタイムに行うことができることがわかった。
参考スコア（独自算出の注目度）: 38.67110413800048
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The workload of real-time rendering is steeply increasing as the demand for high resolution, high refresh rates, and high realism rises, overwhelming most graphics cards. To mitigate this problem, one of the most popular solutions is to render images at a low resolution to reduce rendering overhead, and then manage to accurately upsample the low-resolution rendered image to the target resolution, a.k.a. super-resolution techniques. Most existing methods focus on exploiting information from low-resolution inputs, such as historical frames. The absence of high frequency details in those LR inputs makes them hard to recover fine details in their high-resolution predictions. In this paper, we propose an efficient and effective super-resolution method that predicts high-quality upsampled reconstructions utilizing low-cost high-resolution auxiliary G-Buffers as additional input. With LR images and HR G-buffers as input, the network requires to align and fuse features at multi resolution levels. We introduce an efficient and effective H-Net architecture to solve this problem and significantly reduce rendering overhead without noticeable quality deterioration. Experiments show that our method is able to produce temporally consistent reconstructions in $4 \times 4$ and even challenging $8 \times 8$ upsampling cases at 4K resolution with real-time performance, with substantially improved quality and significant performance boost compared to existing works.
Abstract（参考訳）: リアルタイムレンダリングの作業負荷は、高解像度、高リフレッシュレート、高リアリズムの需要が増加し、ほとんどのグラフィックカードが圧倒的に増加している。この問題を軽減するために、最も一般的な解決策の1つは、低解像度で画像をレンダリングし、レンダリングオーバーヘッドを低減し、低解像度のレンダリング画像をターゲットの解像度に正確にサンプリングすることである。既存の手法のほとんどは、ヒストリカルフレームなどの低解像度入力からの情報を活用することに焦点を当てている。これらのLR入力に高周波の詳細がないため、高分解能予測の細部を復元することは困難である。本稿では,低コストの高分解能補助Gバッファを付加入力として利用し,高品質なアップサンプル再構成を予測できる効率的な高分解能超解法を提案する。 LR画像とHR Gバッファを入力として、ネットワークはマルチ解像度レベルで機能を調整および融合する必要がある。本稿では,効率よく効率的なH-Netアーキテクチャを導入し,性能劣化を伴わずにレンダリングオーバーヘッドを大幅に削減する。 4 \times 4$,さらには8 \times 8$upsamplingケースを4k解像度でリアルタイムに構築し,品質を大幅に向上し,性能向上を実現している。

関連論文リスト

UltraPixel: Advancing Ultra-High-Resolution Image Synthesis to New Peaks [36.61645124563195]
カスケード拡散モデルを用いて高画質画像を複数解像度で生成する新しいアーキテクチャであるUltraPixelを提案する。後半の認知段階における低分解能画像のセマンティクスに富んだ表現を用いて、高精細高分解能画像の全生成を導く。我々のモデルは、データ要求を減らして高速なトレーニングを行い、フォトリアリスティックな高解像度画像を生成する。
論文参考訳（メタデータ） (2024-07-02T11:02:19Z)
Auxiliary Features-Guided Super Resolution for Monte Carlo Rendering [8.54858933529271]
レンダリングするピクセル数を削減し、モンテカルロレンダリングアルゴリズムを高速化する超解像度。我々は高分解能補助機能を利用して低分解能レンダリングの超分解能を導出する。提案手法は,高精細化における高精細化法とモンテカルロデノナイジング法の両方に優れることがわかった。
論文参考訳（メタデータ） (2023-10-20T02:45:13Z)
Rethinking Resolution in the Context of Efficient Video Recognition [49.957690643214576]
クロスレゾリューションKD(ResKD)は、低解像度フレームでの認識精度を高めるための単純だが効果的な方法である。我々は,最先端アーキテクチャ,すなわち3D-CNNとビデオトランスフォーマーに対して,その効果を広く示す。
論文参考訳（メタデータ） (2022-09-26T15:50:44Z)
Efficient High-Resolution Deep Learning: A Survey [90.76576712433595]
スマートフォン、衛星、医療機器などの現代の機器のカメラは、非常に高解像度の画像やビデオを撮影することができる。このような高解像度データは、がん検出、自動道路ナビゲーション、天気予報、監視、農業プロセスの最適化、その他多くの応用のためのディープラーニングモデルによって処理される。ディープラーニングモデルの直接入力として高解像度の画像とビデオを使用することで、パラメータの多さ、計算コスト、推論レイテンシ、GPUメモリ使用量など、多くの課題が生じる。文献におけるいくつかの研究は、高解像度データの課題に対処し、ハードウェアの制限に従いながら精度とスピードを改善するために、より良い代替案を提案する。
論文参考訳（メタデータ） (2022-07-26T17:13:53Z)
SwiftSRGAN -- Rethinking Super-Resolution for Efficient and Real-time Inference [0.0]
本稿では,メモリフットプリントの高速化と小型化を実現したアーキテクチャを提案する。リアルタイムの超解像度により、帯域幅の低い条件下でも高解像度のメディアコンテンツをストリーミングできる。
論文参考訳（メタデータ） (2021-11-29T04:20:15Z)
Projected GANs Converge Faster [50.23237734403834]
GAN(Generative Adversarial Networks)は高品質な画像を生成するが、訓練は難しい。生成したサンプルと実際のサンプルを固定された事前訓練された特徴空間に投影することで、これらの問題に大きく取り組みます。我々の投影GANは画像品質、サンプル効率、収束速度を改善する。
論文参考訳（メタデータ） (2021-11-01T15:11:01Z)
Generating Superpixels for High-resolution Images with Decoupled Patch Calibration [82.21559299694555]
Patch Networks (PCNet) は高解像度のスーパーピクセルセグメンテーションを効率的かつ正確に実装するように設計されている。 DPCは高解像度画像から局所パッチを取得し、動的にバイナリマスクを生成し、ネットワークを領域境界に集中させる。特に、DPCは高解像度画像からローカルパッチを取り、動的にバイナリマスクを生成して、ネットワークを領域境界に集中させる。
論文参考訳（メタデータ） (2021-08-19T10:33:05Z)
Best-Buddy GANs for Highly Detailed Image Super-Resolution [71.13466303340192]
我々は,低分解能(LR)入力に基づいて高分解能(HR)画像を生成する単一画像超解像(SISR)問題を考える。このラインに沿ったほとんどのメソッドは、SISRタスクに十分な柔軟性がない、事前定義されたシングルLRシングルHRマッピングに依存しています。リッチディテールSISRのためのベストバディGAN(Beby-GAN)を提案する。イミュータブルな1対1の制約を緩和することで、推定されたパッチを動的に最高の監視を求めることができる。
論文参考訳（メタデータ） (2021-03-29T02:58:27Z)
Blind Image Super-Resolution with Spatial Context Hallucination [5.849485167287474]
本稿では, 劣化カーネルを知らずに, 視覚的超解像のための空間文脈幻覚ネットワーク(SCHN)を提案する。 DIV2KとFlickr2Kという2つの高品質データセットでモデルをトレーニングします。入力画像がランダムなぼかしとノイズで劣化した場合, 最先端の手法よりも優れた性能を示す。
論文参考訳（メタデータ） (2020-09-25T22:36:07Z)
ImagePairs: Realistic Super Resolution Dataset via Beam Splitter Camera Rig [13.925480922578869]
実画像データセットを収集するための新しいデータ取得手法を提案する。我々はビームスプリッターを用いて、低解像度カメラと高解像度カメラで同じシーンを撮影する。これらのタスクに使用される現在の小規模データセットとは異なり、提案データセットは11,421対の低解像度高解像度画像を含んでいる。
論文参考訳（メタデータ） (2020-04-18T03:06:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。