論文の概要: SuperGS: Super-Resolution 3D Gaussian Splatting Enhanced by Variational Residual Features and Uncertainty-Augmented Learning

• arxiv url: http://arxiv.org/abs/2410.02571v3
• Date: Wed, 11 Dec 2024 14:18:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-12 13:59:08.806188
• Title: SuperGS: Super-Resolution 3D Gaussian Splatting Enhanced by Variational Residual Features and Uncertainty-Augmented Learning
• Title（参考訳）: SuperGS: 変分残差特徴と不確実性強化学習により強化された超解像3Dガウス平滑化
• Authors: Shiyun Xie, Zhiru Wang, Xu Wang, Yinghao Zhu, Chengwei Pan, Xiwang Dong,
• Abstract要約: Super-Resolution 3DGS (SuperGS) は、2段階の粗大なトレーニングフレームワークで設計された3DGSの拡張である。 SuperGSは、低解像度入力のみを使用して、現実世界と合成データセットの両方で最先端のHRNVSメソッドを超越している。
• 参考スコア（独自算出の注目度）: 6.309174895120047
• License:
• Abstract: Recently, 3D Gaussian Splatting (3DGS) has exceled in novel view synthesis (NVS) with its real-time rendering capabilities and superior quality. However, it faces challenges for high-resolution novel view synthesis (HRNVS) due to the coarse nature of primitives derived from low-resolution input views. To address this issue, we propose Super-Resolution 3DGS (SuperGS), which is an expansion of 3DGS designed with a two-stage coarse-to-fine training framework. In this framework, we use a latent feature field to represent the low-resolution scene, serving as both the initialization and foundational information for super-resolution optimization. Additionally, we introduce variational residual features to enhance high-resolution details, using their variance as uncertainty estimates to guide the densification process and loss computation. Furthermore, the introduction of a multi-view joint learning approach helps mitigate ambiguities caused by multi-view inconsistencies in the pseudo labels. Extensive experiments demonstrate that SuperGS surpasses state-of-the-art HRNVS methods on both real-world and synthetic datasets using only low-resolution inputs. Code is available at https://github.com/SYXieee/SuperGS.
• Abstract（参考訳）: 近年,3D Gaussian Splatting (3DGS) は,そのリアルタイムレンダリング機能と優れた品質を備えた新しいビュー合成 (NVS) に特化している。 しかし、低解像度の入力ビューから派生したプリミティブの粗い性質のため、高解像度の新規ビュー合成(HRNVS)の課題に直面している。 そこで本研究では,2段階の粗粒度トレーニングフレームワークを用いて設計した3DGSの拡張であるSuper-Resolution 3DGSを提案する。 このフレームワークでは、低解像度のシーンを表現するために潜在機能フィールドを使用し、超解像度最適化のための初期化情報と基礎情報の両方を提供する。 さらに,その分散を不確実性推定として利用して,密度化過程と損失計算を導出する,高分解能の詳細性を高めるための変分残差特徴を導入する。 さらに、多視点共同学習手法の導入は、擬似ラベルにおける多視点不整合に起因する曖昧さを軽減するのに役立つ。 大規模な実験により、SuperGSは、低解像度入力のみを使用して、現実世界と合成データセットの両方で最先端のHRNVSメソッドを超越していることが示された。 コードはhttps://github.com/SYXieee/SuperGS.comで入手できる。

関連論文リスト

• See In Detail: Enhancing Sparse-view 3D Gaussian Splatting with Local Depth and Semantic Regularization [14.239772421978373]
  3次元ガウス散乱(3DGS)は、新規なビュー合成において顕著な性能を示した。 しかし、そのレンダリング品質は、粗いインフットビューによって劣化し、歪んだコンテンツと細部が減少する。 本稿では,事前情報を取り入れたスパースビュー3DGS法を提案する。 LLFFデータセット上でPSNRを最大0.4dB改善し、最先端の新規ビュー合成手法より優れる。
  論文  参考訳（メタデータ） (2025-01-20T14:30:38Z)
• HyperGS: Hyperspectral 3D Gaussian Splatting [13.07553815605148]
  ハイパースペクトルノベルビュー合成(HNVS)のための新しいフレームワークであるHyperGSを紹介する。 提案手法は,多視点3次元ハイパースペクトルデータセットから材料特性を符号化することで,空間・スペクトルの同時レンダリングを可能にする。 これまでに公表されたモデルに対して14dbの精度向上を図り、実・模擬ハイパースペクトルシーンを広範囲に評価することで、HyperGSのロバスト性を実証する。
  論文  参考訳（メタデータ） (2024-12-17T12:23:07Z)
• ResGS: Residual Densification of 3D Gaussian for Efficient Detail Recovery [11.706262924395768]
  3D-GSは、しばしば豊富な詳細と完全な幾何学を捉えるのに苦労する。 本稿では, 残留分断法を新たに導入し, 残留分断法としてガウシアンを付加した。 提案手法は, 詳細を適応的に検索し, 欠落した幾何を補うとともに, 進歩的な洗練を可能にする。
  論文  参考訳（メタデータ） (2024-12-10T13:19:27Z)
• PF3plat: Pose-Free Feed-Forward 3D Gaussian Splatting [54.7468067660037]
  PF3platは、設計選択を検証した包括的なアブレーション研究によってサポートされた、すべてのベンチマークに新しい最先端を設定します。 本フレームワークは,3DGSの高速,スケーラビリティ,高品質な3D再構成とビュー合成機能を活用している。
  論文  参考訳（メタデータ） (2024-10-29T15:28:15Z)
• MCGS: Multiview Consistency Enhancement for Sparse-View 3D Gaussian Radiance Fields [73.49548565633123]
  3Dガウシアンによって表現される放射場は、高いトレーニング効率と高速レンダリングの両方を提供する、新しいビューの合成に優れている。 既存の手法では、高密度推定ネットワークからの奥行き先を組み込むことが多いが、入力画像に固有の多視点一貫性を見落としている。 本稿では,3次元ガウス・スプレイティング(MCGS)に基づくビュー・フレームワークを提案し,スパークス・インプット・ビューからシーンを再構築する。
  論文  参考訳（メタデータ） (2024-10-15T08:39:05Z)
• MVGS: Multi-view-regulated Gaussian Splatting for Novel View Synthesis [22.80370814838661]
  ボリュームレンダリングにおける最近の研究、例えばNeRFや3D Gaussian Splatting (3DGS)は、レンダリング品質と効率を大幅に向上させた。 4つの重要な貢献を具現化した新しい3DGS最適化手法を提案する。
  論文  参考訳（メタデータ） (2024-10-02T23:48:31Z)
• SAGS: Structure-Aware 3D Gaussian Splatting [53.6730827668389]
  本研究では,シーンの形状を暗黙的に符号化する構造認識型ガウス散乱法(SAGS)を提案する。 SAGSは、最先端のレンダリング性能と、ベンチマークノベルビュー合成データセットのストレージ要件の削減を反映している。
  論文  参考訳（メタデータ） (2024-04-29T23:26:30Z)
• SRGS: Super-Resolution 3D Gaussian Splatting [14.26021476067791]
  本稿では,高分解能(HR)空間における最適化を実現するために,超解像3Dガウススティング(SRGS)を提案する。 サブピクセル制約はHR空間における視点の増大のために導入され、多重低解像度(LR)ビューのサブピクセル・クロスビュー情報を利用する。 MIP-NeRF 360 や Tanks & Temples のような挑戦的なデータセットにおいて,HRNVS のレンダリング品質は LR 入力のみで向上する。
  論文  参考訳（メタデータ） (2024-04-16T06:58:30Z)
• Motion-aware 3D Gaussian Splatting for Efficient Dynamic Scene Reconstruction [89.53963284958037]
  動的シーン再構築のための新しい動き認識拡張フレームワークを提案する。 具体的には,まず3次元ガウス運動と画素レベルの流れの対応性を確立する。 より厳密な最適化問題を示す先行的な変形に基づくパラダイムに対して,過渡対応変形補助モジュールを提案する。
  論文  参考訳（メタデータ） (2024-03-18T03:46:26Z)
• S^2Former-OR: Single-Stage Bi-Modal Transformer for Scene Graph Generation in OR [50.435592120607815]
  外科手術のシーングラフ生成(SGG)は、手術室(OR)におけるホモロジー認知知能の増強に不可欠である これまでの研究は主に多段階学習に依存しており、生成したセマンティックシーングラフはポーズ推定とオブジェクト検出を伴う中間プロセスに依存している。 本研究では,S2Former-OR(S2Former-OR)と呼ばれるORにおけるSGGのための新しいシングルステージバイモーダルトランスフォーマフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-22T11:40:49Z)
• GS-IR: 3D Gaussian Splatting for Inverse Rendering [71.14234327414086]
  3次元ガウス散乱(GS)に基づく新しい逆レンダリング手法GS-IRを提案する。 我々は、未知の照明条件下で撮影された多視点画像からシーン形状、表面物質、環境照明を推定するために、新しいビュー合成のための最高のパフォーマンス表現であるGSを拡張した。 フレキシブルかつ表現力のあるGS表現は、高速かつコンパクトな幾何再構成、フォトリアリスティックな新規ビュー合成、有効物理ベースレンダリングを実現する。
  論文  参考訳（メタデータ） (2023-11-26T02:35:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。