論文の概要: Fast and Lightweight Novel View Synthesis with Differentiable Multiplane Image

• arxiv url: http://arxiv.org/abs/2606.02068v1
• Date: Mon, 01 Jun 2026 10:57:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:31.876845
• Title: Fast and Lightweight Novel View Synthesis with Differentiable Multiplane Image
• Title（参考訳）: 微分可能な多面体画像を用いた高速かつ軽量な新規ビュー合成
• Authors: Kaidi Zhang, Guanxu Zhu,
• Abstract要約: MPIの微分可能最適化とレンダリング結果の後処理の両方に一段階拡散を導入する。 代表的なGSベースの手法と比較して、我々のアプローチは30.7%高速で、モデルサイズの14.8%しか使用していない。
• 参考スコア（独自算出の注目度）: 0.16710828103064077
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, novel view synthesis has witnessed remarkable progress, with mainstream methods such as Neural Radiance Fields (NeRF) and 3D Gaussian Splatting (3DGS) delivering impressive results. However, these approaches often struggle to balance rendering speed and model size, and their optimization-based training can be highly time-consuming. Furthermore, they typically rely on dense observations, often failing to produce satisfactory results under sparse-view conditions. Although feed-forward reconstruction significantly reduces the optimization time of 3DGS, its pixel-aligned formulation generates millions of Gaussians from a single image, severely limiting its practical deployment on mobile devices. To address these limitations, we revisit the Multiplane Image(MPI) representation, which represents scenes using a compact set of planar layers for efficient novel view synthesis. Leveraging recent advances in visual foundation models, we utilize predicted point maps for reliable geometric initialization, followed by differentiable optimization. To address the issues of holes and artifacts in sparsely initialized MPI, we introduce one-step diffusion, which participates in both the differentiable optimization of MPI and the postprocessing of rendering results. Compared with a representative GS-based method, our approach is 30.7% faster and uses only 14.8% of its model size, while achieving competitive synthesis quality on front-view scenarios
• Abstract（参考訳）: 近年、ニューラル・レージアン・フィールド(NeRF)や3Dガウス・スプラッティング(3DGS)といった主流の手法が目覚ましい結果をもたらすなど、新しいビュー合成が目覚ましい進歩をみせている。 しかしながら、これらのアプローチはレンダリング速度とモデルサイズのバランスをとるのに苦労することが多く、最適化ベースのトレーニングは非常に時間がかかります。 さらに、それらは一般的に密度の高い観測に依存しており、しばしばスパースビュー条件下では満足な結果が得られない。 フィードフォワード再構成は3DGSの最適化時間を著しく短縮するが、ピクセルアラインな定式化は単一の画像から数百万ガウスを発生させ、モバイルデバイスへの実用的展開を著しく制限する。 これらの制約に対処するため、我々は、平面層のコンパクトな集合を用いて、効率的な新規ビュー合成を行うMultiplane Image(MPI)表現を再検討する。 視覚基礎モデルの最近の進歩を活用し、予測点マップを信頼性のある幾何初期化に利用し、続いて微分可能な最適化を行う。 疎初期化MPIにおけるホールやアーティファクトの問題に対処するため,MPIの微分可能最適化とレンダリング結果の後処理の両方に一段階拡散を導入する。 代表的なGSベースの手法と比較して、我々のアプローチは30.7%高速で、モデルサイズの14.8%しか使用せず、フロントビューのシナリオで競合的な合成品質を実現している。

関連論文リスト

• Gaussian On-the-Fly Splatting: A Progressive Framework for Robust Near Real-Time 3DGS Optimization [8.422116335889163]
  3D Gaussian Splatting (3DGS) は高速なリアルタイム性能で高忠実なレンダリングを実現する。 既存の方法は、完全なStructure-from-Motion (SfM)処理後のオフライントレーニングに依存している。 画像キャプチャ中にほぼリアルタイムで3DGSを最適化できるプログレッシブフレームワークであるOn-the-Fly GSを紹介する。
  論文  参考訳（メタデータ） (2025-03-17T11:47:58Z)
• MVSGaussian: Fast Generalizable Gaussian Splatting Reconstruction from Multi-View Stereo [54.00987996368157]
  MVSGaussianは、Multi-View Stereo(MVS)から導かれる新しい一般化可能な3次元ガウス表現手法である。 MVSGaussianは、シーンごとにより良い合成品質でリアルタイムレンダリングを実現する。
  論文  参考訳（メタデータ） (2024-05-20T17:59:30Z)
• InstantSplat: Sparse-view Gaussian Splatting in Seconds [91.77050739918037]
  InstantSplatは,光速でスパークビュー3Dシーンを再現する新しい手法である。 InstantSplatでは,3Dシーン表現とカメラポーズを最適化する,自己管理フレームワークを採用している。 3D-GSの従来のSfMと比較して、30倍以上の再現を達成し、視覚的品質(SSIM)を0.3755から0.7624に改善する。
  論文  参考訳（メタデータ） (2024-03-29T17:29:58Z)
• CoherentGS: Sparse Novel View Synthesis with Coherent 3D Gaussians [18.42203035154126]
  2次元画像空間で制御できる構造付きガウス表現を導入する。 次に、ガウス群、特にその位置を制約し、最適化中に独立に動くのを防ぐ。 我々は,様々な場面における最先端のスパースビュー NeRF ベースのアプローチと比較して,顕著な改善を示した。
  論文  参考訳（メタデータ） (2024-03-28T15:27:13Z)
• FSGS: Real-Time Few-shot View Synthesis using Gaussian Splatting [58.41056963451056]
  本稿では,3次元ガウススプラッティングに基づく数ショットビュー合成フレームワークを提案する。 このフレームワークは3つのトレーニングビューでリアルタイムおよびフォトリアリスティックなビュー合成を可能にする。 FSGSは、さまざまなデータセットの精度とレンダリング効率の両方で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-12-01T09:30:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。