論文の概要: RI3D: Few-Shot Gaussian Splatting With Repair and Inpainting Diffusion Priors

• arxiv url: http://arxiv.org/abs/2503.10860v1
• Date: Thu, 13 Mar 2025 20:16:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-17 13:06:06.794760
• Title: RI3D: Few-Shot Gaussian Splatting With Repair and Inpainting Diffusion Priors
• Title（参考訳）: RI3D: 修復と拡散前処理を併用したガウシアンスプラッティング
• Authors: Avinash Paliwal, Xilong Zhou, Wei Ye, Jinhui Xiong, Rakesh Ranjan, Nima Khademi Kalantari,
• Abstract要約: RI3Dは拡散モデルのパワーを生かした新しい手法であり、入力画像のスパースセットが与えられた場合、高品質な新規ビューを再構築する。 我々の重要な貢献は、ビュー合成プロセスを可視領域を再構築し、行方不明領域を幻覚させる2つのタスクに分けることである。 我々は、様々な場面において最先端のアプローチよりも優れた、目に見える領域と欠落する領域の両方で、詳細なテクスチャで結果を生成する。
• 参考スコア（独自算出の注目度）: 13.883695200241524
• License:
• Abstract: In this paper, we propose RI3D, a novel 3DGS-based approach that harnesses the power of diffusion models to reconstruct high-quality novel views given a sparse set of input images. Our key contribution is separating the view synthesis process into two tasks of reconstructing visible regions and hallucinating missing regions, and introducing two personalized diffusion models, each tailored to one of these tasks. Specifically, one model ('repair') takes a rendered image as input and predicts the corresponding high-quality image, which in turn is used as a pseudo ground truth image to constrain the optimization. The other model ('inpainting') primarily focuses on hallucinating details in unobserved areas. To integrate these models effectively, we introduce a two-stage optimization strategy: the first stage reconstructs visible areas using the repair model, and the second stage reconstructs missing regions with the inpainting model while ensuring coherence through further optimization. Moreover, we augment the optimization with a novel Gaussian initialization method that obtains per-image depth by combining 3D-consistent and smooth depth with highly detailed relative depth. We demonstrate that by separating the process into two tasks and addressing them with the repair and inpainting models, we produce results with detailed textures in both visible and missing regions that outperform state-of-the-art approaches on a diverse set of scenes with extremely sparse inputs.
• Abstract（参考訳）: 本稿では,拡散モデルのパワーを生かした3DGSに基づく新しい手法であるRI3Dを提案する。 我々の重要な貢献は、ビュー合成過程を可視領域を再構築し、行方不明領域を幻覚させる2つのタスクに分割し、それぞれのタスクに合わせた2つのパーソナライズされた拡散モデルを導入することである。 具体的には、1つのモデル('repair')がレンダリングされた画像を入力として取り、対応する高品質な画像を予測する。 その他のモデル("inpainting")は、主に観測されていない領域で詳細を幻覚することに焦点を当てている。 これらのモデルを効果的に統合するために,第1段階は修復モデルを用いて可視領域を再構築し,第2段階は塗装モデルを用いて欠落領域を再構築し,さらに最適化によりコヒーレンスを確保する2段階の最適化戦略を導入する。 さらに,3次元の一貫性と滑らかな深さと高精細な相対深度を組み合わせ,画像毎の深度を求めるガウス初期化法を用いて最適化を行う。 プロセスを2つのタスクに分割し、修復と塗装のモデルで対処することにより、目に見える領域と欠落する領域の両方で詳細なテクスチャが得られた結果が、非常に少ない入力を持つ多様なシーンに対して、最先端のアプローチより優れていることを実証した。

関連論文リスト

• CrossView-GS: Cross-view Gaussian Splatting For Large-scale Scene Reconstruction [5.528874948395173]
  3D Gaussian Splatting (3DGS) はシーンの表現と再構築に顕著な手法である。 両ブランチ融合に基づく大規模シーン再構成のための新しいクロスビューガウス分割法を提案する。 本手法は,最先端の手法と比較して,新規なビュー合成における優れた性能を実現する。
  論文  参考訳（メタデータ） (2025-01-03T08:24:59Z)
• GausSurf: Geometry-Guided 3D Gaussian Splatting for Surface Reconstruction [79.42244344704154]
  GausSurfは、テクスチャリッチな領域におけるマルチビュー一貫性と、シーンのテクスチャレスな領域における通常の事前の幾何学的ガイダンスを採用している。 本手法は,再現性や計算時間の観点から,最先端の手法を超越した手法である。
  論文  参考訳（メタデータ） (2024-11-29T03:54:54Z)
• DreamPolish: Domain Score Distillation With Progressive Geometry Generation [66.94803919328815]
  本稿では,高精細な幾何学と高品質なテクスチャの創出に優れたテキスト・ツー・3D生成モデルであるDreamPolishを紹介する。 幾何構成フェーズでは, 合成過程の安定性を高めるために, 複数のニューラル表現を利用する。 テクスチャ生成フェーズでは、そのような領域に向けて神経表現を導くために、新しいスコア蒸留、すなわちドメインスコア蒸留(DSD)を導入する。
  論文  参考訳（メタデータ） (2024-11-03T15:15:01Z)
• InFusion: Inpainting 3D Gaussians via Learning Depth Completion from Diffusion Prior [36.23604779569843]
  3Dガウスアンは、最近、新しいビュー合成の効率的な表現として現れた。 本研究は、その編集性について、特に塗装作業に焦点を当てて研究する。 2Dインペイントと比較すると、3Dガウスのクルックスは、導入された点のレンダリング関連性を理解することである。
  論文  参考訳（メタデータ） (2024-04-17T17:59:53Z)
• VastGaussian: Vast 3D Gaussians for Large Scene Reconstruction [59.40711222096875]
  VastGaussianは3次元ガウススティングに基づく大規模シーンにおける高品質な再構成とリアルタイムレンダリングのための最初の方法である。 提案手法は既存のNeRF手法より優れており,複数の大規模シーンデータセットの最先端結果が得られる。
  論文  参考訳（メタデータ） (2024-02-27T11:40:50Z)
• NeuSD: Surface Completion with Multi-View Text-to-Image Diffusion [56.98287481620215]
  本稿では,対象物の一部のみを捉えた複数の画像から3次元表面再構成を行う手法を提案する。 提案手法は, 表面の可視部分の再構成に神経放射場を用いた表面再構成法と, SDS (Score Distillation Sampling) 方式で事前学習した2次元拡散モデルを用いて, 可観測領域の形状を再現する手法である。
  論文  参考訳（メタデータ） (2023-12-07T19:30:55Z)
• Improving Neural Indoor Surface Reconstruction with Mask-Guided Adaptive Consistency Constraints [0.6749750044497732]
  本稿では、ビュー依存色とビュー非依存色を分離する2段階のトレーニングプロセスを提案し、さらに2つの新しい一貫性制約を活用して、余分な事前処理を必要とせず、詳細な再構成性能を向上させる。 合成および実世界のデータセットの実験は、事前推定誤差から干渉を減らす能力を示している。
  論文  参考訳（メタデータ） (2023-09-18T13:05:23Z)
• Bridging Implicit and Explicit Geometric Transformation for Single-Image View Synthesis [16.14528024065244]
  シーソー」問題:再計画されたコンテンツを保存し、現実的なアウトオブビュー領域を完成させる。 本稿では,効率的な非自己回帰モデルを用いて,シーソー問題を緩和する単一画像ビュー合成フレームワークを提案する。 我々の損失関数は、明示的特徴が暗黙的特徴の再投影領域を改善し、暗黙的特徴が明示的特徴のアウト・オブ・ビュー領域を改善することを促進する。
  論文  参考訳（メタデータ） (2022-09-15T07:35:12Z)
• Differentiable Rendering with Perturbed Optimizers [85.66675707599782]
  2Dイメージプロジェクションから3Dシーンを推論することは、コンピュータビジョンにおける中核的な問題の一つだ。 我々の研究は、よく知られた微分可能な定式化とランダムなスムーズなレンダリングの関連性を強調している。 提案手法を3次元シーン再構成に適用し,その利点を6次元ポーズ推定と3次元メッシュ再構成の課題に適用した。
  論文  参考訳（メタデータ） (2021-10-18T08:56:23Z)
• Inverting Generative Adversarial Renderer for Face Reconstruction [58.45125455811038]
  本稿では,GAR(Generative Adversa Renderer)について紹介する。 GARは、グラフィックルールに頼るのではなく、複雑な現実世界のイメージをモデル化することを学ぶ。 本手法は,複数顔再構成における最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-05-06T04:16:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。