論文の概要: GaussianSR: High Fidelity 2D Gaussian Splatting for Arbitrary-Scale Image Super-Resolution

• arxiv url: http://arxiv.org/abs/2407.18046v1
• Date: Thu, 25 Jul 2024 13:53:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-26 13:49:09.707836
• Title: GaussianSR: High Fidelity 2D Gaussian Splatting for Arbitrary-Scale Image Super-Resolution
• Title（参考訳）: GaussianSR: 任意スケール超解像のための高忠実度2Dガウススプラッティング
• Authors: Jintong Hu, Bin Xia, Bin Chen, Wenming Yang, Lei Zhang,
• Abstract要約: 入射神経表現(INR)は、画像の任意のスケールの超解像(ASSR)の分野を大幅に進歩させた。 既存のINRベースのASSRネットワークは、まずエンコーダを用いて与えられた低解像度画像から特徴を抽出し、次に多層パーセプトロンデコーダを用いて超解像結果をレンダリングする。 2次元ガウススプラッティング(2DGS)によるこの制限を克服する新しいASSR法を提案する。
• 参考スコア（独自算出の注目度）: 29.49617080140511
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Implicit neural representations (INRs) have significantly advanced the field of arbitrary-scale super-resolution (ASSR) of images. Most existing INR-based ASSR networks first extract features from the given low-resolution image using an encoder, and then render the super-resolved result via a multi-layer perceptron decoder. Although these approaches have shown promising results, their performance is constrained by the limited representation ability of discrete latent codes in the encoded features. In this paper, we propose a novel ASSR method named GaussianSR that overcomes this limitation through 2D Gaussian Splatting (2DGS). Unlike traditional methods that treat pixels as discrete points, GaussianSR represents each pixel as a continuous Gaussian field. The encoded features are simultaneously refined and upsampled by rendering the mutually stacked Gaussian fields. As a result, long-range dependencies are established to enhance representation ability. In addition, a classifier is developed to dynamically assign Gaussian kernels to all pixels to further improve flexibility. All components of GaussianSR (i.e., encoder, classifier, Gaussian kernels, and decoder) are jointly learned end-to-end. Experiments demonstrate that GaussianSR achieves superior ASSR performance with fewer parameters than existing methods while enjoying interpretable and content-aware feature aggregations.
• Abstract（参考訳）: 入射神経表現(INR)は、画像の任意のスケールの超解像(ASSR)の分野を大幅に進歩させた。 既存のINRベースのASSRネットワークは、まずエンコーダを用いて与えられた低解像度画像から特徴を抽出し、次に多層パーセプトロンデコーダを用いて超解像結果をレンダリングする。 これらの手法は有望な結果を示しているが、それらの性能は符号化された特徴における離散潜在符号の限定的な表現能力によって制約されている。 本稿では,この制限を2次元ガウススティング (2DGS) で克服する新しいASSR法を提案する。 画素を離散点として扱う伝統的な方法とは異なり、ガウスSRは各画素を連続ガウス体として表現する。 符号化された特徴は、互いに積み重ねられたガウス場をレンダリングすることによって同時に洗練され、増幅される。 その結果、表現能力を高めるために長距離依存が確立される。 さらに、ガウスカーネルを全ピクセルに動的に割り当て、柔軟性をさらに向上させる分類器が開発された。 ガウスSRのすべてのコンポーネント(エンコーダ、分類器、ガウスカーネル、デコーダ)は、共に学習されたエンドツーエンドである。 実験により、ガウスSRは既存の手法よりも少ないパラメータで優れたASSR性能を達成し、解釈可能な特徴集約とコンテンツ認識機能アグリゲーションを享受できることが示されている。

関連論文リスト

• DiffGS: Functional Gaussian Splatting Diffusion [33.07847512591061]
  3D Gaussian Splatting (3DGS) はレンダリング速度と忠実度において説得力のある性能を示した。 しかし、ガウススプラッティングの生成は、その離散性と非構造的な性質のため、依然として課題である。 本稿では,潜在拡散モデルに基づく一般ガウス生成器DiffGSを提案する。
  論文  参考訳（メタデータ） (2024-10-25T16:08:08Z)
• PixelGaussian: Generalizable 3D Gaussian Reconstruction from Arbitrary Views [116.10577967146762]
  PixelGaussianは、任意の視点から一般化可能な3Dガウス再構成を学習するための効率的なフレームワークである。 提案手法は,様々な視点によく一般化した最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-10-24T17:59:58Z)
• GaussianForest: Hierarchical-Hybrid 3D Gaussian Splatting for Compressed Scene Modeling [40.743135560583816]
  本稿では,ハイブリッド3Dガウスの森として景観を階層的に表現するガウス・フォレスト・モデリング・フレームワークを紹介する。 実験により、ガウス・フォレストは同等の速度と品質を維持するだけでなく、圧縮速度が10倍を超えることが示されている。
  論文  参考訳（メタデータ） (2024-06-13T02:41:11Z)
• GES: Generalized Exponential Splatting for Efficient Radiance Field Rendering [112.16239342037714]
  GES(Generalized Exponential Splatting)は、GEF(Generalized Exponential Function)を用いて3Dシーンをモデル化する斬新な表現である。 周波数変調損失の助けを借りて、GESは新規なビュー合成ベンチマークにおいて競合性能を達成する。
  論文  参考訳（メタデータ） (2024-02-15T17:32:50Z)
• Neural Fields with Thermal Activations for Arbitrary-Scale Super-Resolution [56.089473862929886]
  本稿では,適応型ガウスPSFを用いて点を問合せできる新しい設計手法を提案する。 理論的に保証されたアンチエイリアスにより、任意のスケールの単一画像の超解像のための新しい手法が確立される。
  論文  参考訳（メタデータ） (2023-11-29T14:01:28Z)
• LightGaussian: Unbounded 3D Gaussian Compression with 15x Reduction and 200+ FPS [55.85673901231235]
  光ガウシアン(LightGaussian)は、3次元ガウシアンをよりコンパクトなフォーマットに変換する方法である。 ネットワーク・プルーニングにインスパイアされたLightGaussianは、ガウシアンをシーン再構築において最小限のグローバルな重要性で特定した。 LightGaussian は 3D-GS フレームワークで FPS を 144 から 237 に上げながら,平均 15 倍の圧縮率を達成する。
  論文  参考訳（メタデータ） (2023-11-28T21:39:20Z)
• Super-Resolution Neural Operator [5.018040244860608]
  本稿では,低分解能(LR)画像から任意のスケールで高分解能(HR)画像を分解できるフレームワークを提案する。 LR-HR画像対を異なる格子サイズで近似した連続関数として扱うことにより、SRNOは対応する関数空間間のマッピングを学習する。 実験により、SRNOは既存の連続SR法よりも精度と実行時間の両方で優れていることが示された。
  論文  参考訳（メタデータ） (2023-03-05T06:17:43Z)
• Unsupervised Single Image Super-resolution Under Complex Noise [60.566471567837574]
  本稿では,一般のSISRタスクを未知の劣化で扱うためのモデルベースunsupervised SISR法を提案する。 提案手法は, より小さなモデル (0.34M vs. 2.40M) だけでなく, より高速な技術 (SotA) 法 (約1dB PSNR) の現況を明らかに超えることができる。
  論文  参考訳（メタデータ） (2021-07-02T11:55:40Z)
• UltraSR: Spatial Encoding is a Missing Key for Implicit Image Function-based Arbitrary-Scale Super-Resolution [74.82282301089994]
  本研究では,暗黙的イメージ関数に基づく,シンプルで効果的な新しいネットワーク設計であるUltraSRを提案する。 空間符号化は,次の段階の高精度暗黙的画像機能に対する欠落鍵であることを示す。 UltraSRは、すべての超解像スケールでDIV2Kベンチマークに最新のパフォーマンスを設定します。
  論文  参考訳（メタデータ） (2021-03-23T17:36:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。