論文の概要: High-Fidelity Novel View Synthesis via Splatting-Guided Diffusion

• arxiv url: http://arxiv.org/abs/2502.12752v1
• Date: Tue, 18 Feb 2025 11:13:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-19 14:06:58.746509
• Title: High-Fidelity Novel View Synthesis via Splatting-Guided Diffusion
• Title（参考訳）: Splatting-Guided Diffusionによる高忠実な新規ビュー合成
• Authors: Xiang Zhang, Yang Zhang, Lukas Mehl, Markus Gross, Christopher Schroers,
• Abstract要約: SplatDiffは1枚の画像から高忠実度ノベルビューを合成するために設計された画素分割誘導映像拡散モデルである。 テクスチャの幻覚を軽減するために,適応的特徴融合による高忠実度テクスチャ生成を可能にするテクスチャブリッジモジュールを設計する。 SplatDiffは、スパースビューのNVSやステレオビデオ変換など、様々なタスクで顕著なゼロショット性能を示す。
• 参考スコア（独自算出の注目度）: 15.244909728255417
• License:
• Abstract: Despite recent advances in Novel View Synthesis (NVS), generating high-fidelity views from single or sparse observations remains a significant challenge. Existing splatting-based approaches often produce distorted geometry due to splatting errors. While diffusion-based methods leverage rich 3D priors to achieve improved geometry, they often suffer from texture hallucination. In this paper, we introduce SplatDiff, a pixel-splatting-guided video diffusion model designed to synthesize high-fidelity novel views from a single image. Specifically, we propose an aligned synthesis strategy for precise control of target viewpoints and geometry-consistent view synthesis. To mitigate texture hallucination, we design a texture bridge module that enables high-fidelity texture generation through adaptive feature fusion. In this manner, SplatDiff leverages the strengths of splatting and diffusion to generate novel views with consistent geometry and high-fidelity details. Extensive experiments verify the state-of-the-art performance of SplatDiff in single-view NVS. Additionally, without extra training, SplatDiff shows remarkable zero-shot performance across diverse tasks, including sparse-view NVS and stereo video conversion.
• Abstract（参考訳）: 近年のノベルビュー合成(NVS)の進歩にもかかわらず、単一またはスパース観測から高忠実度ビューを生成することは大きな課題である。 既存のスプティングに基づくアプローチは、しばしばスプティングエラーによって歪んだ幾何学を生成する。 拡散に基づく手法は、リッチな3D先行技術を利用して幾何を改善するが、しばしばテクスチャ幻覚に悩まされる。 本稿では,1枚の画像から高忠実度ノベルビューを合成するための画素分割誘導映像拡散モデルであるSplatDiffを紹介する。 具体的には、ターゲット視点の正確な制御と幾何一貫性のある視点合成のための整列合成戦略を提案する。 テクスチャの幻覚を軽減するために,適応的特徴融合による高忠実度テクスチャ生成を可能にするテクスチャブリッジモジュールを設計する。 このように、SplatDiffはスプレイティングと拡散の強さを利用して、一貫した幾何学と高忠実度の詳細を持つ新しいビューを生成する。 シングルビューNVSにおけるSplatDiffの最先端性能を検証する。 さらに、余分なトレーニングなしに、SplatDiffは、スパースビューのNVSやステレオビデオ変換など、さまざまなタスクにまたがる優れたゼロショットパフォーマンスを示している。

関連論文リスト

• Epipolar-Free 3D Gaussian Splatting for Generalizable Novel View Synthesis [25.924727931514735]
  一般化可能な3DGSは、フィードフォワード推論方式でスパースビュー観測から新しいシーンを再構築することができる。 既存の手法は、複雑な現実世界のシーンでは信頼できないエピポーラ先行に大きく依存している。 一般化可能な新規ビュー合成のための効率的なフィードフォワード3DGSモデルであるeFreeSplatを提案する。
  論文  参考訳（メタデータ） (2024-10-30T08:51:29Z)
• ViewCrafter: Taming Video Diffusion Models for High-fidelity Novel View Synthesis [63.169364481672915]
  単一またはスパース画像からジェネリックシーンの高忠実な新規ビューを合成する新しい方法である textbfViewCrafter を提案する。 提案手法は,映像拡散モデルの強力な生成能力と,ポイントベース表現によって提供される粗い3D手がかりを利用して高品質な映像フレームを生成する。
  論文  参考訳（メタデータ） (2024-09-03T16:53:19Z)
• MultiDiff: Consistent Novel View Synthesis from a Single Image [60.04215655745264]
  MultiDiffは、単一のRGB画像からシーンを一貫した新しいビュー合成のための新しいアプローチである。 以上の結果から,MultiDiffは,課題の多いリアルタイムデータセットであるRealEstate10KとScanNetにおいて,最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-06-26T17:53:51Z)
• FreeSplat: Generalizable 3D Gaussian Splatting Towards Free-View Synthesis of Indoor Scenes [50.534213038479926]
  FreeSplatは、長いシーケンス入力から自由視点合成まで、幾何学的に一貫した3Dシーンを再構築することができる。 ビュー数に関係なく、広いビュー範囲にわたる堅牢なビュー合成を実現するための、シンプルで効果的なフリービュートレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2024-05-28T08:40:14Z)
• Consistent123: Improve Consistency for One Image to 3D Object Synthesis [74.1094516222327]
  大規模な画像拡散モデルは、高品質で優れたゼロショット機能を備えた新規なビュー合成を可能にする。 これらのモデルは、ビュー一貫性の保証がなく、3D再構成や画像から3D生成といった下流タスクのパフォーマンスが制限される。 本稿では,新しい視点を同時に合成するConsistent123を提案する。
  論文  参考訳（メタデータ） (2023-10-12T07:38:28Z)
• Generative Novel View Synthesis with 3D-Aware Diffusion Models [96.78397108732233]
  単一入力画像から3D対応の新規ビュー合成のための拡散モデルを提案する。 提案手法は既存の2次元拡散バックボーンを利用するが,重要な点として,幾何学的先行を3次元特徴体積の形で組み込む。 新たなビュー生成に加えて,本手法は3次元一貫性シーケンスを自己回帰的に合成する機能を備えている。
  論文  参考訳（メタデータ） (2023-04-05T17:15:47Z)
• ProbNVS: Fast Novel View Synthesis with Learned Probability-Guided Sampling [42.37704606186928]
  本稿では,MVSの事前学習に基づいて,新しいビュー合成フレームワークを構築することを提案する。 本手法は,最先端のベースラインに比べて15～40倍高速なレンダリングを実現する。
  論文  参考訳（メタデータ） (2022-04-07T14:45:42Z)
• Stable View Synthesis [100.86844680362196]
  安定ビュー合成(SVS)について紹介する。 SVSは、自由に分散された視点からシーンを描写するソースイメージのセットを与えられた場合、シーンの新たなビューを合成する。 SVSは3つの異なる実世界のデータセットに対して定量的かつ質的に、最先端のビュー合成手法より優れている。
  論文  参考訳（メタデータ） (2020-11-14T07:24:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。