論文の概要: Generalized and Efficient 2D Gaussian Splatting for Arbitrary-scale Super-Resolution

• arxiv url: http://arxiv.org/abs/2501.06838v2
• Date: Tue, 14 Jan 2025 14:09:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-15 13:28:33.385068
• Title: Generalized and Efficient 2D Gaussian Splatting for Arbitrary-scale Super-Resolution
• Title（参考訳）: 任意スケール超解像のための一般化された高効率2次元ガウススプラッティング
• Authors: Du Chen, Liyi Chen, Zhengqiang Zhang, Lei Zhang,
• Abstract要約: Inlicit Neural Representation (INR) は、任意スケール超解法 (ASR) に成功している 各ピクセルをレンダリングするために、何度もクエリするのは計算コストがかかる。 近年,Gaussian Splatting (GS)は3次元タスクの視覚的品質とレンダリング速度の両方において,INRよりも優位性を示している。
• 参考スコア（独自算出の注目度）: 10.074968164380314
• License:
• Abstract: Equipped with the continuous representation capability of Multi-Layer Perceptron (MLP), Implicit Neural Representation (INR) has been successfully employed for Arbitrary-scale Super-Resolution (ASR). However, the limited receptive field of the linear layers in MLP restricts the representation capability of INR, while it is computationally expensive to query the MLP numerous times to render each pixel. Recently, Gaussian Splatting (GS) has shown its advantages over INR in both visual quality and rendering speed in 3D tasks, which motivates us to explore whether GS can be employed for the ASR task. However, directly applying GS to ASR is exceptionally challenging because the original GS is an optimization-based method through overfitting each single scene, while in ASR we aim to learn a single model that can generalize to different images and scaling factors. We overcome these challenges by developing two novel techniques. Firstly, to generalize GS for ASR, we elaborately design an architecture to predict the corresponding image-conditioned Gaussians of the input low-resolution image in a feed-forward manner. Secondly, we implement an efficient differentiable 2D GPU/CUDA-based scale-aware rasterization to render super-resolved images by sampling discrete RGB values from the predicted contiguous Gaussians. Via end-to-end training, our optimized network, namely GSASR, can perform ASR for any image and unseen scaling factors. Extensive experiments validate the effectiveness of our proposed method. The project page can be found at \url{https://mt-cly.github.io/GSASR.github.io/}.
• Abstract（参考訳）: MLP (Multi-Layer Perceptron) の連続的表現機能を備えたインプリシットニューラル表現 (INR) は, 任意スケール超解法 (ASR) に採用されている。 しかし、MLPにおける線形層の受容領域の制限はINRの表現能力を制限するが、各ピクセルを描画するために何回もMLPを問合せするのは計算コストがかかる。 近年,Gaussian Splatting (GS) は3次元タスクの視覚的品質とレンダリング速度の両方において INR よりも優位性を示しており,GS が ASR タスクに使えるかどうかを探求する動機となっている。 しかし、GSをASRに直接適用することは、元のGSが各シーンにオーバーフィットすることで最適化ベースの手法であるため、非常に難しい。 2つの新しい技術を開発することで、これらの課題を克服する。 まず、ASRのGSを一般化するために、入力された低解像度画像の対応する画像条件のガウスをフィードフォワードで予測するアーキテクチャを精巧に設計する。 第2に、予測された連続ガウスから離散的なRGB値をサンプリングすることにより、超解像をレンダリングするために、効率的な微分可能な2D GPU/CUDAベースのスケールアウェアラスタライズを実装した。 エンドツーエンドのトレーニングでは、最適化されたネットワーク、すなわちGSASRは任意の画像に対してASRを実行できます。 大規模実験により提案手法の有効性が検証された。 プロジェクトページは \url{https://mt-cly.github.io/GSASR.github.io/} にある。

関連論文リスト

• PixelGaussian: Generalizable 3D Gaussian Reconstruction from Arbitrary Views [116.10577967146762]
  PixelGaussianは、任意の視点から一般化可能な3Dガウス再構成を学習するための効率的なフレームワークである。 提案手法は,様々な視点によく一般化した最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-10-24T17:59:58Z)
• GaussianSR: High Fidelity 2D Gaussian Splatting for Arbitrary-Scale Image Super-Resolution [29.49617080140511]
  入射神経表現(INR)は、画像の任意のスケールの超解像(ASSR)の分野を大幅に進歩させた。 既存のINRベースのASSRネットワークは、まずエンコーダを用いて与えられた低解像度画像から特徴を抽出し、次に多層パーセプトロンデコーダを用いて超解像結果をレンダリングする。 2次元ガウススプラッティング(2DGS)によるこの制限を克服する新しいASSR法を提案する。
  論文  参考訳（メタデータ） (2024-07-25T13:53:48Z)
• SRGS: Super-Resolution 3D Gaussian Splatting [14.26021476067791]
  本稿では,高分解能(HR)空間における最適化を実現するために,超解像3Dガウススティング(SRGS)を提案する。 サブピクセル制約はHR空間における視点の増大のために導入され、多重低解像度(LR)ビューのサブピクセル・クロスビュー情報を利用する。 MIP-NeRF 360 や Tanks & Temples のような挑戦的なデータセットにおいて,HRNVS のレンダリング品質は LR 入力のみで向上する。
  論文  参考訳（メタデータ） (2024-04-16T06:58:30Z)
• GES: Generalized Exponential Splatting for Efficient Radiance Field Rendering [112.16239342037714]
  GES(Generalized Exponential Splatting)は、GEF(Generalized Exponential Function)を用いて3Dシーンをモデル化する斬新な表現である。 周波数変調損失の助けを借りて、GESは新規なビュー合成ベンチマークにおいて競合性能を達成する。
  論文  参考訳（メタデータ） (2024-02-15T17:32:50Z)
• GS-IR: 3D Gaussian Splatting for Inverse Rendering [71.14234327414086]
  3次元ガウス散乱(GS)に基づく新しい逆レンダリング手法GS-IRを提案する。 我々は、未知の照明条件下で撮影された多視点画像からシーン形状、表面物質、環境照明を推定するために、新しいビュー合成のための最高のパフォーマンス表現であるGSを拡張した。 フレキシブルかつ表現力のあるGS表現は、高速かつコンパクトな幾何再構成、フォトリアリスティックな新規ビュー合成、有効物理ベースレンダリングを実現する。
  論文  参考訳（メタデータ） (2023-11-26T02:35:09Z)
• Effective Invertible Arbitrary Image Rescaling [77.46732646918936]
  Invertible Neural Networks (INN)は、ダウンスケーリングとアップスケーリングのサイクルを共同で最適化することにより、アップスケーリングの精度を大幅に向上させることができる。 本研究の1つのモデルのみをトレーニングすることにより、任意の画像再スケーリングを実現するために、単純で効果的な非可逆的再スケーリングネットワーク(IARN)を提案する。 LR出力の知覚品質を損なうことなく、双方向任意再スケーリングにおいて最先端(SOTA)性能を実現する。
  論文  参考訳（メタデータ） (2022-09-26T22:22:30Z)
• LAPAR: Linearly-Assembled Pixel-Adaptive Regression Network for Single Image Super-Resolution and Beyond [75.37541439447314]
  単一画像超解像(SISR)は、低解像度(LR)画像を高解像度(HR)バージョンにアップサンプリングする根本的な問題を扱う。 本稿では,線形組立画素適応回帰ネットワーク (LAPAR) を提案する。
  論文  参考訳（メタデータ） (2021-05-21T15:47:18Z)
• SRDiff: Single Image Super-Resolution with Diffusion Probabilistic Models [19.17571465274627]
  単一の画像スーパーリゾリューション(SISR)は、与えられた低リゾリューション(LR)画像から高解像度(HR)画像を再構成することを目的とする。 新規な単像超解像拡散確率モデル(SRDiff)を提案する。 SRDiffはデータ可能性の変動境界の変種に最適化されており、多様で現実的なSR予測を提供することができる。
  論文  参考訳（メタデータ） (2021-04-30T12:31:25Z)
• PULSE: Self-Supervised Photo Upsampling via Latent Space Exploration of Generative Models [77.32079593577821]
  PULSE (Photo Upsampling via Latent Space Exploration) は、それまで文献になかった解像度で高解像度でリアルな画像を生成する。 本手法は, 従来よりも高分解能, スケールファクターの知覚品質において, 最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-03-08T16:44:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。