論文の概要: MLLM-GS: Multimodal Large Language Model Prior-Guided Fast Novel View Synthesis in Extreme Environments

• arxiv url: http://arxiv.org/abs/2610.39936v1
• Date: Thu, 29 Oct 2026 12:36:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:17:19.36689
• Title: MLLM-GS: Multimodal Large Language Model Prior-Guided Fast Novel View Synthesis in Extreme Environments
• Title（参考訳）: MLLM-GS:極端環境におけるマルチモーダル大言語モデル事前誘導高速新規ビュー合成
• Abstract要約: 劣化シーンにおける新しいビュー合成 (NVS) は, 様々な劣化の影響を受ける多視点観察から3次元シーンを再構成することを目的としている。 生成モデルはリッチな視覚的事前情報を提供するが、その出力はピクセルのミスアライメントや色差に悩まされることが多い。 我々は, マルチモーダル大規模言語モデル(MLLM) であるMLLM-GSを提案する。
• 参考スコア（独自算出の注目度）: 37.01516013193829
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Novel view synthesis (NVS) in degraded scenes aims to reconstruct 3D scenes from multi-view observations affected by various degradations, and to generate clear and photorealistic images at unseen viewpoints. Despite recent advances, existing methods often rely on degradation-specific models, limiting their generalization across diverse extreme environments. Generative models provide rich visual priors, but their outputs often suffer from pixel misalignment and color deviations, which can propagate into the reconstructed 3D scene and compromise reconstruction quality. Furthermore, the high computational and memory costs of 3D reconstruction hinder the practical application of NVS in extreme environments. To this end, we propose MLLM-GS, a multimodal large language model (MLLM) prior-guided framework for fast NVS in extreme environments. MLLM-GS consists of two branches: MLLM prior-guided view enhancement and fast 3D scene reconstruction. The former leverages the rich visual priors of a frozen MLLM to enhance views under different severe degradations and introduces a lightweight correction network to reduce pixel shifts and color distortions in MLLM outputs. With supervision from only a few paired clean views, this branch produces reliable enhanced views for all degraded observations, providing pseudo-GT views for subsequent 3D reconstruction. The latter improves 3DGS efficiency by optimizing rasterization, Gaussian memory layout, and parameter updates, reducing redundant computation, memory-access overhead, and optimization costs. Extensive experiments on multiple degraded scenes demonstrate that MLLM-GS effectively handles various severe degradations and achieves high-quality NVS with significantly lower reconstruction time and memory consumption. Project Page: https://wzlwlm13.github.io/MLLM-GS
• Abstract（参考訳）: 劣化シーンにおける新たなビュー合成 (NVS) は, 様々な劣化による多視点観察から3次元シーンを再構成し, 見えない視点で鮮明で光写実的な画像を生成することを目的としている。 近年の進歩にもかかわらず、既存の手法は分解特異的なモデルに依存し、様々な極端な環境における一般化を制限している。 生成モデルはリッチな視覚的先行性を提供するが、その出力は画素のずれや色ずれに悩まされ、再構成された3Dシーンに伝播し、再構成の品質を損なう。 さらに, 3次元再構成による高計算・メモリコストは, 極端環境におけるNVSの実用化を妨げている。 そこで本稿では,マルチモーダル大規模言語モデル(MLLM)によるNVSの高速化のための事前ガイダンスフレームワークであるMLLM-GSを提案する。 MLLM-GSは、MLLM事前誘導ビューエンハンスメントと高速3Dシーン再構築の2つのブランチで構成されている。 前者は、凍ったMLLMのリッチな視覚的先行性を活用して、異なる厳しい劣化下でのビューを強化するとともに、MLLM出力の画素シフトと色歪みを低減するための軽量な補正ネットワークを導入している。 わずか2組のクリーンビューからの監督により、このブランチは、すべての劣化した観察に対して信頼性の高い拡張ビューを生成し、その後の3D再構成のために擬似GTビューを提供する。 後者は、ラスタ化、ガウスメモリレイアウト、パラメータ更新を最適化することで、3DGS効率を改善し、冗長な計算、メモリアクセスオーバーヘッド、最適化コストを削減する。 複数の劣化シーンに対する大規模な実験により、MLLM-GSは様々な深刻な劣化を効果的に処理し、再現時間とメモリ消費を大幅に低減した高品質なNVSを実現することが示された。 Project Page: https://wzlwlm13.github.io/MLLM-GS

関連論文リスト

• GaussVid: Sparse-View Gaussian Splatting with 3D-Aware Video Diffusion Priors [14.045684695919116]
  3DGSは、合成において顕著な成功を収めたが、スパースビュー下での再構成は、しばしば顕著な成果を上げている。 本稿では,スパース3DGSの再生品質を向上させるために,新しい3D対応ビデオ復元フレームワークを提案する。 提案手法は,PSNR/SSIM(Pixel- and Structure-level fidelity)を最適に実現し,マルチビューの整合性を向上させる。
  論文  参考訳（メタデータ） (2026-08-22T08:47:29Z)
• DeblurNVS: Geometric Latent Diffusion for Novel View Synthesis from Sparse Motion-Blurred Images [22.61939963916488]
  新しいビュー合成(NVS)はコンピュータビジョンとグラフィックスの基本的な問題である。 ニューラルレイディアンスフィールド(NeRF),3次元ガウススプラッティング(3DGS)および生成ビュー合成の進歩により,その品質が大幅に向上した。 スパース・モーション・ブルード画像から直接高忠実度ノベルビューを実現するための新しいフレームワークであるDeNVSを提案する。
  論文  参考訳（メタデータ） (2026-05-31T16:04:55Z)
• VidSplat: Gaussian Splatting Reconstruction with Geometry-Guided Video Diffusion Priors [79.88300861391114]
  VidSplatは、トレーニング不要な生成的再構築フレームワークである。 生成と再構築の効果的な統合を可能にする2つの重要な課題に取り組む。 広範に使用されているベンチマーク実験は、スパースビューのシーン再構成における優れた性能を示している。
  論文  参考訳（メタデータ） (2026-05-12T02:20:31Z)
• RealX3D: A Physically-Degraded 3D Benchmark for Multi-view Visual Restoration and Reconstruction [51.07270086169647]
  RealX3Dグループは、照明、散乱、ぼかしを含む4つのファミリーに腐敗し、それぞれを複数の重度レベルで捕獲する。 それぞれのシーンには高解像度キャプチャ、RAW画像、高密度レーザースキャンが含まれており、そこから世界規模のメッシュとメートル法深度を導き出す。
  論文  参考訳（メタデータ） (2025-12-29T12:57:19Z)
• Enhancing Novel View Synthesis from extremely sparse views with SfM-free 3D Gaussian Splatting Framework [14.927184256861807]
  本稿では,SfMフリーな3DGSを用いたカメラのポーズを推定し,非常にスムーズな視点から3Dシーンを再構成する手法を提案する。 提案手法は,PSNRの高度2.75dB改善を極端に軽視条件下で達成し,他の最先端3DGS法よりも優れていた。
  論文  参考訳（メタデータ） (2025-08-21T11:25:24Z)
• STream3R: Scalable Sequential 3D Reconstruction with Causal Transformer [72.88105562624838]
  本稿では,ポイントマップ予測をデコーダのみの変換器問題として再構成する新しい3次元再構成手法STream3Rを提案する。 大規模な3Dデータセットから幾何学的先行性を学ぶことで、STream3Rは多様で困難なシナリオにうまく一般化する。 この結果から,オンライン3次元知覚のための因果変換モデルの可能性を浮き彫りにし,ストリーミング環境におけるリアルタイム3次元理解の道を開いた。
  論文  参考訳（メタデータ） (2025-08-14T17:58:05Z)
• MuDG: Taming Multi-modal Diffusion with Gaussian Splatting for Urban Scene Reconstruction [44.592566642185425]
  MuDGはマルチモーダル拡散モデルとガウススプラッティング(GS)を統合した革新的なフレームワークである。 我々は,MDGが再現性および光現実性合成品質の両方において,既存の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-03-13T17:48:41Z)
• VideoLifter: Lifting Videos to 3D with Fast Hierarchical Stereo Alignment [54.66217340264935]
  VideoLifterは、ローカルからグローバルへの戦略を断片的に活用する、新しいビデオから3Dパイプラインである。 再建プロセスを大幅に加速し、訓練時間を82%以上削減し、現在のSOTA法よりも視覚的品質を向上した。
  論文  参考訳（メタデータ） (2025-01-03T18:52:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。