論文の概要: MuSASplat: Efficient Sparse-View 3D Gaussian Splats via Lightweight Multi-Scale Adaptation
- arxiv url: http://arxiv.org/abs/2512.07165v1
- Date: Mon, 08 Dec 2025 04:56:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-09 22:03:54.709894
- Title: MuSASplat: Efficient Sparse-View 3D Gaussian Splats via Lightweight Multi-Scale Adaptation
- Title(参考訳): MuSASplat: 軽量マルチスケール適応による効率的なスパースビュー3次元ガウスプレート
- Authors: Muyu Xu, Fangneng Zhan, Xiaoqin Zhang, Ling Shao, Shijian Lu,
- Abstract要約: MuSASplatは、ポーズなしフィードフォワード3Dガウスモデルの計算負担を劇的に削減する新しいフレームワークである。
我々のアプローチの中心は、ほんのわずかなトレーニングパラメータだけで、ViTベースのアーキテクチャを効率的に微調整できる軽量なマルチスケールアダプタである。
- 参考スコア(独自算出の注目度): 92.57609195819647
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Sparse-view 3D Gaussian splatting seeks to render high-quality novel views of 3D scenes from a limited set of input images. While recent pose-free feed-forward methods leveraging pre-trained 3D priors have achieved impressive results, most of them rely on full fine-tuning of large Vision Transformer (ViT) backbones and incur substantial GPU costs. In this work, we introduce MuSASplat, a novel framework that dramatically reduces the computational burden of training pose-free feed-forward 3D Gaussian splats models with little compromise of rendering quality. Central to our approach is a lightweight Multi-Scale Adapter that enables efficient fine-tuning of ViT-based architectures with only a small fraction of training parameters. This design avoids the prohibitive GPU overhead associated with previous full-model adaptation techniques while maintaining high fidelity in novel view synthesis, even with very sparse input views. In addition, we introduce a Feature Fusion Aggregator that integrates features across input views effectively and efficiently. Unlike widely adopted memory banks, the Feature Fusion Aggregator ensures consistent geometric integration across input views and meanwhile mitigates the memory usage, training complexity, and computational costs significantly. Extensive experiments across diverse datasets show that MuSASplat achieves state-of-the-art rendering quality but has significantly reduced parameters and training resource requirements as compared with existing methods.
- Abstract(参考訳): Sparse-view 3D Gaussian splattingは、限られた入力画像から、高品質な3Dシーンの新規ビューを描画することを目指している。
最近のポーズなしフィードフォワード方式は、事前訓練された3Dプリエンプションを活用することで、目覚しい結果が得られたが、そのほとんどは、ViT(Vision Transformer)バックボーンの完全な微調整と、相当なGPUコストに依存している。
本研究では,プロポーズフリーフィードフォワード3Dガウスモデルにおいて,レンダリング品質の妥協がほとんどない新しいフレームワークであるMuSASplatを紹介する。
我々のアプローチの中心は、わずかなトレーニングパラメータだけで、ViTベースのアーキテクチャを効率的に微調整できる軽量なマルチスケールアダプタである。
この設計は、非常にスパースな入力ビューであっても、新しいビュー合成において高い忠実性を保ちながら、従来のフルモデル適応技術に関連するGPUの禁止的なオーバーヘッドを回避する。
さらに,インプットビュー間の機能を効果的かつ効率的に統合するFeature Fusion Aggregatorを導入する。
広く採用されているメモリバンクとは異なり、Feature Fusion Aggregatorは入力ビュー間の一貫した幾何学的統合を保証すると同時に、メモリ使用量、トレーニングの複雑さ、計算コストを大幅に軽減する。
多様なデータセットにわたる大規模な実験により、MuSASplatは最先端のレンダリング品質を達成するが、既存の方法と比較してパラメータとリソース要件を大幅に削減している。
関連論文リスト
- C3G: Learning Compact 3D Representations with 2K Gaussians [55.04010158339562]
近年の手法では3次元ガウススプラッティングを再構成に用い, シーン理解のための2D-to-3D機能昇降ステージが提案されている。
提案するC3Gは,空間的にのみコンパクトな3次元ガウスを推定する新しいフィードフォワードフレームワークである。
論文 参考訳(メタデータ) (2025-12-03T17:59:05Z) - MuGS: Multi-Baseline Generalizable Gaussian Splatting Reconstruction [32.14335364083271]
新規なビュー合成のためのフィードフォワードアプローチであるMulti-Baseline Gaussian Splatting (MuGS)を提案する。
MuGSは、小さなベースラインと大きなベースラインの両方でスパース入力ビューを含む、多様なベースライン設定を効果的に処理する。
LLFFおよびMip-NeRF 360データセットにおけるゼロショット性能を実証した。
論文 参考訳(メタデータ) (2025-08-06T10:34:24Z) - No Pose at All: Self-Supervised Pose-Free 3D Gaussian Splatting from Sparse Views [17.221166075016257]
SPFSplatはスパース多視点画像から3次元ガウススプラッティングを行うための効率的なフレームワークである。
共有機能抽出バックボーンを使用し、3Dガウスプリミティブとカメラポーズの同時予測を可能にする。
視点の大幅な変化や画像重なりの制限の下でも、新しいビュー合成における最先端のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2025-08-02T03:19:13Z) - SparseGS-W: Sparse-View 3D Gaussian Splatting in the Wild with Generative Priors [22.561786156613525]
SparseGS-Wは,非制約画像から大規模シーンを合成する新しいフレームワークである。
我々は,高度にスパースな入力から得られる多視点情報の欠如を補うために,幾何学的先行と制約付き拡散の先行を利用する。
SparseGS-Wは、完全な参照メトリクスだけでなく、FID、ClipIQA、MUSIQなどの一般的な非参照メトリクスでも、最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2025-03-25T08:40:40Z) - MCGS: Multiview Consistency Enhancement for Sparse-View 3D Gaussian Radiance Fields [100.90743697473232]
3Dガウシアンによって表現される放射場は、高いトレーニング効率と高速レンダリングの両方を提供する、新しいビューの合成に優れている。
既存の手法では、高密度推定ネットワークからの奥行き先を組み込むことが多いが、入力画像に固有の多視点一貫性を見落としている。
スパースビューからのシーン再構成が可能な3次元ガウススプラッティングに基づくビュー合成フレームワークを提案する。
論文 参考訳(メタデータ) (2024-10-15T08:39:05Z) - WE-GS: An In-the-wild Efficient 3D Gaussian Representation for Unconstrained Photo Collections [8.261637198675151]
制約のない写真コレクションからの新規ビュー合成(NVS)は、コンピュータグラフィックスでは困難である。
写真コレクションからのシーン再構築のための効率的なポイントベース微分可能レンダリングフレームワークを提案する。
提案手法は、新しいビューのレンダリング品質と、高収束・レンダリング速度の外観合成において、既存のアプローチよりも優れている。
論文 参考訳(メタデータ) (2024-06-04T15:17:37Z) - FreeSplat: Generalizable 3D Gaussian Splatting Towards Free-View Synthesis of Indoor Scenes [50.534213038479926]
FreeSplatは、長いシーケンス入力から自由視点合成まで、幾何学的に一貫した3Dシーンを再構築することができる。
ビュー数に関係なく、広いビュー範囲にわたる堅牢なビュー合成を実現するための、シンプルで効果的なフリービュートレーニング戦略を提案する。
論文 参考訳(メタデータ) (2024-05-28T08:40:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。