論文の概要: Intern-GS: Vision Model Guided Sparse-View 3D Gaussian Splatting

• arxiv url: http://arxiv.org/abs/2505.20729v1
• Date: Tue, 27 May 2025 05:17:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-28 17:05:58.417395
• Title: Intern-GS: Vision Model Guided Sparse-View 3D Gaussian Splatting
• Title（参考訳）: Intern-GS: Vision Model Guided Sparse-View 3D Gaussian Splatting
• Authors: Xiangyu Sun, Runnan Chen, Mingming Gong, Dong Xu, Tongliang Liu,
• Abstract要約: Intern-GSはスパースビューガウススプラッティングのプロセスを強化する新しいアプローチである。 Intern-GSは多様なデータセットにまたがって最先端のレンダリング品質を実現する。
• 参考スコア（独自算出の注目度）: 95.61137026932062
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sparse-view scene reconstruction often faces significant challenges due to the constraints imposed by limited observational data. These limitations result in incomplete information, leading to suboptimal reconstructions using existing methodologies. To address this, we present Intern-GS, a novel approach that effectively leverages rich prior knowledge from vision foundation models to enhance the process of sparse-view Gaussian Splatting, thereby enabling high-quality scene reconstruction. Specifically, Intern-GS utilizes vision foundation models to guide both the initialization and the optimization process of 3D Gaussian splatting, effectively addressing the limitations of sparse inputs. In the initialization process, our method employs DUSt3R to generate a dense and non-redundant gaussian point cloud. This approach significantly alleviates the limitations encountered by traditional structure-from-motion (SfM) methods, which often struggle under sparse-view constraints. During the optimization process, vision foundation models predict depth and appearance for unobserved views, refining the 3D Gaussians to compensate for missing information in unseen regions. Extensive experiments demonstrate that Intern-GS achieves state-of-the-art rendering quality across diverse datasets, including both forward-facing and large-scale scenes, such as LLFF, DTU, and Tanks and Temples.
• Abstract（参考訳）: スパースビューのシーン再構成は、限られた観測データによって課される制約のため、しばしば重大な課題に直面している。 これらの制限は不完全な情報をもたらし、既存の手法による最適下地再構築につながる。 そこで我々は,視覚基盤モデルからの豊富な事前知識を効果的に活用し,スパースビューガウス・スプレイティングのプロセスを強化し,高品質なシーン再構築を実現する新しいアプローチであるIntern-GSを提案する。 特に、Intern-GSは視覚基盤モデルを用いて、3Dガウススプラッティングの初期化と最適化プロセスの両方を導出し、スパース入力の限界に効果的に対処する。 初期化過程において,DUSt3Rを用いて高密度で非冗長なガウス点雲を生成する。 このアプローチは、しばしばスパースビュー制約の下で苦労する従来の構造移動法(SfM)の限界を著しく軽減する。 最適化プロセスの間、視覚基礎モデルは、観測されていないビューの深さと外観を予測し、3Dガウシアンを精査し、見えない領域における情報不足を補う。 広範囲にわたる実験により、Intern-GSはLLFF、DTU、Tarms and Templesといった前方と大規模の両方のデータセットで最先端のレンダリング品質を実現している。

関連論文リスト

• QuickSplat: Fast 3D Surface Reconstruction via Learned Gaussian Initialization [69.50126552763157]
  表面再構成はコンピュータビジョンとグラフィックスの基本であり、3Dモデリング、混合現実、ロボット工学などの応用を可能にする。 レンダリングに基づく既存のアプローチは有望な結果を得るが、シーンごとに最適化されるため、テクスチャレスな領域をモデル化するのに苦労する可能性がある。 大規模屋内シーンの2次元ガウススプラッティング最適化のための高密度初期化を生成するために,データ駆動の先行処理を学習するQuickSplatを紹介する。
  論文  参考訳（メタデータ） (2025-05-08T18:43:26Z)
• Taming Video Diffusion Prior with Scene-Grounding Guidance for 3D Gaussian Splatting from Sparse Inputs [28.381287866505637]
  本稿では,映像拡散モデルから学習した先行情報を生かした生成パイプラインによる再構成手法を提案する。 最適化された3DGSからのレンダリングシーケンスに基づく新しいシーングラウンドガイダンスを導入し,拡散モデルを用いて一貫したシーケンスを生成する。 提案手法はベースラインを大幅に改善し,挑戦的なベンチマークで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2025-03-07T01:59:05Z)
• See In Detail: Enhancing Sparse-view 3D Gaussian Splatting with Local Depth and Semantic Regularization [14.239772421978373]
  3次元ガウス散乱(3DGS)は、新規なビュー合成において顕著な性能を示した。 しかし、そのレンダリング品質は、粗いインフットビューによって劣化し、歪んだコンテンツと細部が減少する。 本稿では,事前情報を取り入れたスパースビュー3DGS法を提案する。 LLFFデータセット上でPSNRを最大0.4dB改善し、最先端の新規ビュー合成手法より優れる。
  論文  参考訳（メタデータ） (2025-01-20T14:30:38Z)
• MonoGSDF: Exploring Monocular Geometric Cues for Gaussian Splatting-Guided Implicit Surface Reconstruction [84.07233691641193]
  高品質な再構成のための神経信号距離場(SDF)とプリミティブを結合する新しい手法であるMonoGSDFを紹介する。 任意のスケールのシーンを扱うために,ロバストな一般化のためのスケーリング戦略を提案する。 実世界のデータセットの実験は、効率を保ちながら、以前の方法よりも優れています。
  論文  参考訳（メタデータ） (2024-11-25T20:07:07Z)
• MCGS: Multiview Consistency Enhancement for Sparse-View 3D Gaussian Radiance Fields [73.49548565633123]
  3Dガウシアンによって表現される放射場は、高いトレーニング効率と高速レンダリングの両方を提供する、新しいビューの合成に優れている。 既存の手法では、高密度推定ネットワークからの奥行き先を組み込むことが多いが、入力画像に固有の多視点一貫性を見落としている。 本稿では,3次元ガウス・スプレイティング(MCGS)に基づくビュー・フレームワークを提案し,スパークス・インプット・ビューからシーンを再構築する。
  論文  参考訳（メタデータ） (2024-10-15T08:39:05Z)
• Dense Point Clouds Matter: Dust-GS for Scene Reconstruction from Sparse Viewpoints [9.069919085326]
  3D Gaussian Splatting (3DGS) はシーン合成および新しいビュー合成タスクにおいて顕著な性能を示した。 本研究では,スパース視点条件下での3DGSの限界を克服する新しいフレームワークであるDust-GSを提案する。
  論文  参考訳（メタデータ） (2024-09-13T07:59:15Z)
• LM-Gaussian: Boost Sparse-view 3D Gaussian Splatting with Large Model Priors [34.91966359570867]
  スパースビューの再構築は本質的に不適切であり、制約を受けていない。 本稿では,限られた画像から高品質な再構成を生成できるLM-Gaussianを紹介する。 提案手法は,従来の3DGS法と比較してデータ取得要求を大幅に削減する。
  論文  参考訳（メタデータ） (2024-09-05T12:09:02Z)
• FSGS: Real-Time Few-shot View Synthesis using Gaussian Splatting [58.41056963451056]
  本稿では,3次元ガウススプラッティングに基づく数ショットビュー合成フレームワークを提案する。 このフレームワークは3つのトレーニングビューでリアルタイムおよびフォトリアリスティックなビュー合成を可能にする。 FSGSは、さまざまなデータセットの精度とレンダリング効率の両方で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-12-01T09:30:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。