論文の概要: Generalized and Efficient 2D Gaussian Splatting for Arbitrary-scale Super-Resolution

• arxiv url: http://arxiv.org/abs/2501.06838v3
• Date: Thu, 27 Feb 2025 09:07:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-28 14:52:38.377168
• Title: Generalized and Efficient 2D Gaussian Splatting for Arbitrary-scale Super-Resolution
• Title（参考訳）: 任意スケール超解像のための一般化された高効率2次元ガウススプラッティング
• Authors: Du Chen, Liyi Chen, Zhengqiang Zhang, Lei Zhang,
• Abstract要約: Inlicit Neural Representation (INR) は、任意スケール超解法 (ASR) に成功している ASRのためのGSを一般化する2つの新しい手法を開発した。 超解像をレンダリングするために, 効率的な2次元GPU/CUDAに基づくスケール認識を実装した。
• 参考スコア（独自算出の注目度）: 10.074968164380314
• License:
• Abstract: Implicit Neural Representation (INR) has been successfully employed for Arbitrary-scale Super-Resolution (ASR). However, INR-based models need to query the multi-layer perceptron module numerous times and render a pixel in each query, resulting in insufficient representation capability and computational efficiency. Recently, Gaussian Splatting (GS) has shown its advantages over INR in both visual quality and rendering speed in 3D tasks, which motivates us to explore whether GS can be employed for the ASR task. However, directly applying GS to ASR is exceptionally challenging because the original GS is an optimization-based method through overfitting each single scene, while in ASR we aim to learn a single model that can generalize to different images and scaling factors. We overcome these challenges by developing two novel techniques. Firstly, to generalize GS for ASR, we elaborately design an architecture to predict the corresponding image-conditioned Gaussians of the input low-resolution image in a feed-forward manner. Each Gaussian can fit the shape and direction of an area of complex textures, showing powerful representation capability. Secondly, we implement an efficient differentiable 2D GPU/CUDA-based scale-aware rasterization to render super-resolved images by sampling discrete RGB values from the predicted continuous Gaussians. Via end-to-end training, our optimized network, namely GSASR, can perform ASR for any image and unseen scaling factors. Extensive experiments validate the effectiveness of our proposed method. The code and models will be released.
• Abstract（参考訳）: Inlicit Neural Representation (INR) は、任意スケール超解法 (ASR) に採用されている。 しかし、INRベースのモデルは多層パーセプトロンモジュールを何度もクエリし、各クエリにピクセルを描画する必要があるため、表現能力や計算効率は不十分である。 近年,Gaussian Splatting (GS) は3次元タスクの視覚的品質とレンダリング速度の両方において INR よりも優位性を示しており,GS が ASR タスクに使えるかどうかを探求する動機となっている。 しかし、GSをASRに直接適用することは、元のGSが各シーンにオーバーフィットすることで最適化ベースの手法であるため、非常に難しい。 2つの新しい技術を開発することで、これらの課題を克服する。 まず、ASRのGSを一般化するために、入力された低解像度画像の対応する画像条件のガウスをフィードフォワードで予測するアーキテクチャを精巧に設計する。 それぞれのガウスは複雑なテクスチャの領域の形状と方向を合わせることができ、強力な表現能力を示す。 第二に、予測された連続ガウスから離散的なRGB値をサンプリングして超解像をレンダリングするために、効率的な微分可能な2D GPU/CUDAベースのスケールアウェアラスタライズを実装した。 エンドツーエンドのトレーニングでは、最適化されたネットワーク、すなわちGSASRは任意の画像に対してASRを実行できます。 大規模実験により提案手法の有効性が検証された。 コードとモデルはリリースされる。

関連論文リスト

• Large Images are Gaussians: High-Quality Large Image Representation with Levels of 2D Gaussian Splatting [21.629316414488027]
  textbfLarge textbfImages are textbfGaussians (textbfLIG)。
  論文  参考訳（メタデータ） (2025-02-13T07:48:56Z)
• PixelGaussian: Generalizable 3D Gaussian Reconstruction from Arbitrary Views [116.10577967146762]
  PixelGaussianは、任意の視点から一般化可能な3Dガウス再構成を学習するための効率的なフレームワークである。 提案手法は,様々な視点によく一般化した最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-10-24T17:59:58Z)
• GaussianSR: High Fidelity 2D Gaussian Splatting for Arbitrary-Scale Image Super-Resolution [29.49617080140511]
  入射神経表現(INR)は、画像の任意のスケールの超解像(ASSR)の分野を大幅に進歩させた。 既存のINRベースのASSRネットワークは、まずエンコーダを用いて与えられた低解像度画像から特徴を抽出し、次に多層パーセプトロンデコーダを用いて超解像結果をレンダリングする。 2次元ガウススプラッティング(2DGS)によるこの制限を克服する新しいASSR法を提案する。
  論文  参考訳（メタデータ） (2024-07-25T13:53:48Z)
• GES: Generalized Exponential Splatting for Efficient Radiance Field Rendering [112.16239342037714]
  GES(Generalized Exponential Splatting)は、GEF(Generalized Exponential Function)を用いて3Dシーンをモデル化する斬新な表現である。 周波数変調損失の助けを借りて、GESは新規なビュー合成ベンチマークにおいて競合性能を達成する。
  論文  参考訳（メタデータ） (2024-02-15T17:32:50Z)
• GS-IR: 3D Gaussian Splatting for Inverse Rendering [71.14234327414086]
  3次元ガウス散乱(GS)に基づく新しい逆レンダリング手法GS-IRを提案する。 我々は、未知の照明条件下で撮影された多視点画像からシーン形状、表面物質、環境照明を推定するために、新しいビュー合成のための最高のパフォーマンス表現であるGSを拡張した。 フレキシブルかつ表現力のあるGS表現は、高速かつコンパクトな幾何再構成、フォトリアリスティックな新規ビュー合成、有効物理ベースレンダリングを実現する。
  論文  参考訳（メタデータ） (2023-11-26T02:35:09Z)
• Effective Invertible Arbitrary Image Rescaling [77.46732646918936]
  Invertible Neural Networks (INN)は、ダウンスケーリングとアップスケーリングのサイクルを共同で最適化することにより、アップスケーリングの精度を大幅に向上させることができる。 本研究の1つのモデルのみをトレーニングすることにより、任意の画像再スケーリングを実現するために、単純で効果的な非可逆的再スケーリングネットワーク(IARN)を提案する。 LR出力の知覚品質を損なうことなく、双方向任意再スケーリングにおいて最先端(SOTA)性能を実現する。
  論文  参考訳（メタデータ） (2022-09-26T22:22:30Z)
• LAPAR: Linearly-Assembled Pixel-Adaptive Regression Network for Single Image Super-Resolution and Beyond [75.37541439447314]
  単一画像超解像(SISR)は、低解像度(LR)画像を高解像度(HR)バージョンにアップサンプリングする根本的な問題を扱う。 本稿では,線形組立画素適応回帰ネットワーク (LAPAR) を提案する。
  論文  参考訳（メタデータ） (2021-05-21T15:47:18Z)
• SRDiff: Single Image Super-Resolution with Diffusion Probabilistic Models [19.17571465274627]
  単一の画像スーパーリゾリューション(SISR)は、与えられた低リゾリューション(LR)画像から高解像度(HR)画像を再構成することを目的とする。 新規な単像超解像拡散確率モデル(SRDiff)を提案する。 SRDiffはデータ可能性の変動境界の変種に最適化されており、多様で現実的なSR予測を提供することができる。
  論文  参考訳（メタデータ） (2021-04-30T12:31:25Z)
• PULSE: Self-Supervised Photo Upsampling via Latent Space Exploration of Generative Models [77.32079593577821]
  PULSE (Photo Upsampling via Latent Space Exploration) は、それまで文献になかった解像度で高解像度でリアルな画像を生成する。 本手法は, 従来よりも高分解能, スケールファクターの知覚品質において, 最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-03-08T16:44:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。