論文の概要: FreeSplat: Generalizable 3D Gaussian Splatting Towards Free-View Synthesis of Indoor Scenes
- arxiv url: http://arxiv.org/abs/2405.17958v2
- Date: Sun, 9 Jun 2024 06:06:29 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-11 23:35:23.478638
- Title: FreeSplat: Generalizable 3D Gaussian Splatting Towards Free-View Synthesis of Indoor Scenes
- Title（参考訳）: FreeSplat: 室内シーンのフリービュー合成に向けた一般化可能な3Dガウススプレイティング
- Authors: Yunsong Wang, Tianxin Huang, Hanlin Chen, Gim Hee Lee,
- Abstract要約: FreeSplatは、長いシーケンス入力から自由視点合成まで、幾何学的に一貫した3Dシーンを再構築することができる。
ビュー数に関係なく、広いビュー範囲にわたる堅牢なビュー合成を実現するための、シンプルで効果的なフリービュートレーニング戦略を提案する。
- 参考スコア（独自算出の注目度）: 50.534213038479926
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Empowering 3D Gaussian Splatting with generalization ability is appealing. However, existing generalizable 3D Gaussian Splatting methods are largely confined to narrow-range interpolation between stereo images due to their heavy backbones, thus lacking the ability to accurately localize 3D Gaussian and support free-view synthesis across wide view range. In this paper, we present a novel framework FreeSplat that is capable of reconstructing geometrically consistent 3D scenes from long sequence input towards free-view synthesis.Specifically, we firstly introduce Low-cost Cross-View Aggregation achieved by constructing adaptive cost volumes among nearby views and aggregating features using a multi-scale structure. Subsequently, we present the Pixel-wise Triplet Fusion to eliminate redundancy of 3D Gaussians in overlapping view regions and to aggregate features observed across multiple views. Additionally, we propose a simple but effective free-view training strategy that ensures robust view synthesis across broader view range regardless of the number of views. Our empirical results demonstrate state-of-the-art novel view synthesis peformances in both novel view rendered color maps quality and depth maps accuracy across different numbers of input views. We also show that FreeSplat performs inference more efficiently and can effectively reduce redundant Gaussians, offering the possibility of feed-forward large scene reconstruction without depth priors.
- Abstract（参考訳）: 一般化能力を備えた3Dガウススプラッティングの活用は魅力的である。
しかし、既存の一般化可能な3次元ガウス散乱法は、背骨が重いため立体像間の狭い距離の補間に限られており、3次元ガウス像を正確に局所化し、広い視野で自由視点合成をサポートする能力が欠如している。
本稿では,長周期入力から自由視点合成まで幾何学的に一貫した3次元シーンを再構築可能なフレームワークFreeSplatを提案する。
次に,Pixel-wise Triplet Fusionを提案し,重なり合うビュー領域における3次元ガウスの冗長性を排除し,複数のビューで観察される特徴を集約する。
さらに,ビュー数に関係なく,広いビュー範囲にわたる堅牢なビュー合成を実現するための,シンプルで効果的なフリービュートレーニング戦略を提案する。
実験により,新鮮視色マップの品質と深度マップの精度を異なる入力ビューで比較した。
また,FreeSplatはより効率的に推論を行い,冗長なガウスを効果的に削減できることを示す。
関連論文リスト
- NovelGS: Consistent Novel-view Denoising via Large Gaussian Reconstruction Model [57.92709692193132]
NovelGSは、スパースビュー画像が与えられたガウススプラッティングの拡散モデルである。
我々は3Dガウスを生成するためにトランスフォーマーネットワークを経由する新しい視点を利用する。
論文 参考訳（メタデータ） (2024-11-25T07:57:17Z) - GPS-Gaussian+: Generalizable Pixel-wise 3D Gaussian Splatting for Real-Time Human-Scene Rendering from Sparse Views [67.34073368933814]
スパースビューカメラ設定下での高解像度画像レンダリングのための一般化可能なガウススプラッティング手法を提案する。
我々は,人間のみのデータや人景データに基づいてガウスパラメータ回帰モジュールをトレーニングし,深度推定モジュールと共同で2次元パラメータマップを3次元空間に引き上げる。
いくつかのデータセットに対する実験により、我々の手法はレンダリング速度を超越しながら最先端の手法より優れていることが示された。
論文 参考訳（メタデータ） (2024-11-18T08:18:44Z) - FewViewGS: Gaussian Splatting with Few View Matching and Multi-stage Training [15.634646420318731]
スパース入力画像を用いた3次元ガウス型新規ビュー合成法を提案する。
本稿では,新しい視点に課せられる整合性制約を考慮した多段階学習手法を提案する。
これは、利用可能なトレーニング画像のマッチングを使用して、新しいビューの生成を監督することで達成される。
論文 参考訳（メタデータ） (2024-11-04T16:21:00Z) - Epipolar-Free 3D Gaussian Splatting for Generalizable Novel View Synthesis [25.924727931514735]
一般化可能な3DGSは、フィードフォワード推論方式でスパースビュー観測から新しいシーンを再構築することができる。
既存の手法は、複雑な現実世界のシーンでは信頼できないエピポーラ先行に大きく依存している。
一般化可能な新規ビュー合成のための効率的なフィードフォワード3DGSモデルであるeFreeSplatを提案する。
論文 参考訳（メタデータ） (2024-10-30T08:51:29Z) - PF3plat: Pose-Free Feed-Forward 3D Gaussian Splatting [54.7468067660037]
PF3platは、設計選択を検証した包括的なアブレーション研究によってサポートされた、すべてのベンチマークに新しい最先端を設定します。
本フレームワークは,3DGSの高速,スケーラビリティ,高品質な3D再構成とビュー合成機能を活用している。
論文 参考訳（メタデータ） (2024-10-29T15:28:15Z) - MCGS: Multiview Consistency Enhancement for Sparse-View 3D Gaussian Radiance Fields [73.49548565633123]
3Dガウシアンによって表現される放射場は、高いトレーニング効率と高速レンダリングの両方を提供する、新しいビューの合成に優れている。
既存の手法では、高密度推定ネットワークからの奥行き先を組み込むことが多いが、入力画像に固有の多視点一貫性を見落としている。
本稿では,3次元ガウス・スプレイティング(MCGS)に基づくビュー・フレームワークを提案し,スパークス・インプット・ビューからシーンを再構築する。
論文 参考訳（メタデータ） (2024-10-15T08:39:05Z) - HiSplat: Hierarchical 3D Gaussian Splatting for Generalizable Sparse-View Reconstruction [46.269350101349715]
HiSplatは、一般化可能な3Dガウススプラッティングのための新しいフレームワークである。
階層的な3Dガウスを粗大な戦略で生成する。
これにより、再構築品質とデータセット間の一般化が大幅に向上する。
論文 参考訳（メタデータ） (2024-10-08T17:59:32Z) - FSGS: Real-Time Few-shot View Synthesis using Gaussian Splatting [58.41056963451056]
本稿では,3次元ガウススプラッティングに基づく数ショットビュー合成フレームワークを提案する。
このフレームワークは3つのトレーニングビューでリアルタイムおよびフォトリアリスティックなビュー合成を可能にする。
FSGSは、さまざまなデータセットの精度とレンダリング効率の両方で最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2023-12-01T09:30:02Z) - Learning to Render Novel Views from Wide-Baseline Stereo Pairs [26.528667940013598]
本稿では,単一の広線ステレオ画像ペアのみを付与した新しいビュー合成手法を提案する。
スパース観測による新しいビュー合成への既存のアプローチは、誤った3次元形状の復元によって失敗する。
対象光線に対する画像特徴を組み立てるための,効率的な画像空間のエピポーラ線サンプリング手法を提案する。
論文 参考訳（メタデータ） (2023-04-17T17:40:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。