論文の概要: Uncertainty-Aware Diffusion Guided Refinement of 3D Scenes

• arxiv url: http://arxiv.org/abs/2503.15742v1
• Date: Wed, 19 Mar 2025 23:14:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-21 16:34:15.437407
• Title: Uncertainty-Aware Diffusion Guided Refinement of 3D Scenes
• Title（参考訳）: 不確かさを意識した拡散ガイドによる3次元シーンの再現
• Authors: Sarosij Bose, Arindam Dutta, Sayak Nag, Junge Zhang, Jiachen Li, Konstantinos Karydis, Amit K. Roy Chowdhury,
• Abstract要約: 1枚の画像から3Dシーンを再構築することは、問題の本質が過小評価されているため、基本的に不適切な作業である。 本研究では,既存の画像から3D画像へのフィードフォワードネットワークにおいて,これらの制約に対処する。 入力画像の視界を超えた情報不足による性能低下を軽減するため、事前学習された潜伏映像拡散モデルを用いて、強い生成前を活用できる。
• 参考スコア（独自算出の注目度）: 34.19578921335553
• License:
• Abstract: Reconstructing 3D scenes from a single image is a fundamentally ill-posed task due to the severely under-constrained nature of the problem. Consequently, when the scene is rendered from novel camera views, existing single image to 3D reconstruction methods render incoherent and blurry views. This problem is exacerbated when the unseen regions are far away from the input camera. In this work, we address these inherent limitations in existing single image-to-3D scene feedforward networks. To alleviate the poor performance due to insufficient information beyond the input image's view, we leverage a strong generative prior in the form of a pre-trained latent video diffusion model, for iterative refinement of a coarse scene represented by optimizable Gaussian parameters. To ensure that the style and texture of the generated images align with that of the input image, we incorporate on-the-fly Fourier-style transfer between the generated images and the input image. Additionally, we design a semantic uncertainty quantification module that calculates the per-pixel entropy and yields uncertainty maps used to guide the refinement process from the most confident pixels while discarding the remaining highly uncertain ones. We conduct extensive experiments on real-world scene datasets, including in-domain RealEstate-10K and out-of-domain KITTI-v2, showing that our approach can provide more realistic and high-fidelity novel view synthesis results compared to existing state-of-the-art methods.
• Abstract（参考訳）: 1枚の画像から3Dシーンを再構築することは、問題の本質が過小評価されているため、基本的に不適切な作業である。 これにより、新しいカメラビューからシーンがレンダリングされると、既存の3次元再構成手法が不整合でぼやけたビューを描画する。 この問題は、未確認領域が入力カメラから遠く離れている場合に悪化する。 本研究では,既存の画像から3D画像へのフィードフォワードネットワークにおいて,これらの制約に対処する。 入力画像の視界を超えた情報不足による性能低下を軽減するため,事前学習された潜伏映像拡散モデルを用いて,ガウスパラメータによって表現される粗いシーンの反復的改善を行う。 生成した画像のスタイルやテクスチャが入力画像のスタイルと一致していることを確認するため、生成した画像と入力画像の間に、オンザフライのフーリエスタイルの転送を組み込む。 さらに,画素単位のエントロピーを計算する意味的不確実性定量化モジュールを設計し,精細化過程を最も確実な画素から導出する上で使用する不確実性マップを出力する。 実世界のシーンデータセットについて、ドメイン内RealEstate-10Kや外部領域KITTI-v2を含む広範な実験を行い、既存の最先端手法と比較して、より現実的で高忠実なノベルビュー合成結果を提供できることを示す。

関連論文リスト

• RIGI: Rectifying Image-to-3D Generation Inconsistency via Uncertainty-aware Learning [27.4552892119823]
  マルチビュースナップショットの不整合は、しばしばオブジェクト境界に沿ってノイズやアーティファクトを導入し、3D再構成プロセスを損なう。 3次元ガウススプラッティング(3DGS)を3次元再構成に利用し,不確実性認識学習を再現プロセスに統合する。 適応的な画素単位の損失重み付けを適用してモデルを正規化し、不確実領域における再構成強度を低減させる。
  論文  参考訳（メタデータ） (2024-11-28T02:19:28Z)
• No Pose, No Problem: Surprisingly Simple 3D Gaussian Splats from Sparse Unposed Images [100.80376573969045]
  NoPoSplatは、多視点画像から3Dガウスアンによってパラメータ化された3Dシーンを再構成できるフィードフォワードモデルである。 提案手法は,推定時にリアルタイムな3次元ガウス再構成を実現する。 この研究は、ポーズフリーの一般化可能な3次元再構成において大きな進歩をもたらし、実世界のシナリオに適用可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-31T17:58:22Z)
• LM-Gaussian: Boost Sparse-view 3D Gaussian Splatting with Large Model Priors [34.91966359570867]
  スパースビューの再構築は本質的に不適切であり、制約を受けていない。 本稿では,限られた画像から高品質な再構成を生成できるLM-Gaussianを紹介する。 提案手法は,従来の3DGS法と比較してデータ取得要求を大幅に削減する。
  論文  参考訳（メタデータ） (2024-09-05T12:09:02Z)
• Differentiable Blocks World: Qualitative 3D Decomposition by Rendering Primitives [70.32817882783608]
  本稿では,3次元プリミティブを用いて,シンプルでコンパクトで動作可能な3次元世界表現を実現する手法を提案する。 既存の3次元入力データに依存するプリミティブ分解法とは異なり,本手法は画像を直接操作する。 得られたテクスチャ化されたプリミティブは入力画像を忠実に再構成し、視覚的な3Dポイントを正確にモデル化する。
  論文  参考訳（メタデータ） (2023-07-11T17:58:31Z)
• Variable Radiance Field for Real-World Category-Specific Reconstruction from Single Image [25.44715538841181]
  単一画像からNeural Radiance Field(NeRF)を使用してカテゴリ固有のオブジェクトを再構成することは、有望だが挑戦的な作業である。 本稿では,カテゴリ固有のオブジェクトを効率的に再構成できる新しいフレームワークである可変放射場(VRF)を提案する。 VRFは、再構築品質と計算効率の両方において最先端の性能を達成する。
  論文  参考訳（メタデータ） (2023-06-08T12:12:02Z)
• NerfDiff: Single-image View Synthesis with NeRF-guided Distillation from 3D-aware Diffusion [107.67277084886929]
  単一の画像からの新しいビュー合成には、オブジェクトやシーンの隠蔽領域を推論すると同時に、入力とのセマンティックおよび物理的整合性を同時に維持する必要がある。 そこで我々は,NerfDiffを提案する。NerfDiffは3D対応条件拡散モデル(CDM)の知識を,テスト時に仮想ビューの集合を合成・精製することで,NeRFに抽出することでこの問題に対処する。 さらに,CDMサンプルから3次元一貫した仮想ビューを同時に生成し,改良された仮想ビューに基づいてNeRFを微調整する新しいNeRF誘導蒸留アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-02-20T17:12:00Z)
• High-fidelity 3D GAN Inversion by Pseudo-multi-view Optimization [51.878078860524795]
  フォトリアリスティック・ノベルビューを合成可能な高忠実度3次元生成対向ネットワーク(GAN)インバージョン・フレームワークを提案する。 提案手法は,1枚の画像から高忠実度3Dレンダリングを可能にし,AI生成3Dコンテンツの様々な応用に期待できる。
  論文  参考訳（メタデータ） (2022-11-28T18:59:52Z)
• Differentiable Rendering with Perturbed Optimizers [85.66675707599782]
  2Dイメージプロジェクションから3Dシーンを推論することは、コンピュータビジョンにおける中核的な問題の一つだ。 我々の研究は、よく知られた微分可能な定式化とランダムなスムーズなレンダリングの関連性を強調している。 提案手法を3次元シーン再構成に適用し,その利点を6次元ポーズ推定と3次元メッシュ再構成の課題に適用した。
  論文  参考訳（メタデータ） (2021-10-18T08:56:23Z)
• Intrinsic Autoencoders for Joint Neural Rendering and Intrinsic Image Decomposition [67.9464567157846]
  合成3Dモデルからリアルな画像を生成するためのオートエンコーダを提案し,同時に実像を本質的な形状と外観特性に分解する。 実験により, レンダリングと分解の併用処理が有益であることが確認され, 画像から画像への翻訳の質的, 定量的なベースラインよりも優れた結果が得られた。
  論文  参考訳（メタデータ） (2020-06-29T12:53:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。