Fugu-MT 論文翻訳(概要): InFusion: Inpainting 3D Gaussians via Learning Depth Completion from Diffusion Prior

論文の概要: InFusion: Inpainting 3D Gaussians via Learning Depth Completion from Diffusion Prior

arxiv url: http://arxiv.org/abs/2404.11613v1
Date: Wed, 17 Apr 2024 17:59:53 GMT
ステータス: 処理完了
システム内更新日: 2024-04-18 12:56:30.579567
Title: InFusion: Inpainting 3D Gaussians via Learning Depth Completion from Diffusion Prior
Title（参考訳）: Infusion:拡散前の深度を学習することで3Dガウシアンにペンキを塗る
Authors: Zhiheng Liu, Hao Ouyang, Qiuyu Wang, Ka Leong Cheng, Jie Xiao, Kai Zhu, Nan Xue, Yu Liu, Yujun Shen, Yang Cao,
Abstract要約: 3Dガウスアンは、最近、新しいビュー合成の効率的な表現として現れた。本研究は、その編集性について、特に塗装作業に焦点を当てて研究する。 2Dインペイントと比較すると、3Dガウスのクルックスは、導入された点のレンダリング関連性を理解することである。
参考スコア（独自算出の注目度）: 36.23604779569843
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: 3D Gaussians have recently emerged as an efficient representation for novel view synthesis. This work studies its editability with a particular focus on the inpainting task, which aims to supplement an incomplete set of 3D Gaussians with additional points for visually harmonious rendering. Compared to 2D inpainting, the crux of inpainting 3D Gaussians is to figure out the rendering-relevant properties of the introduced points, whose optimization largely benefits from their initial 3D positions. To this end, we propose to guide the point initialization with an image-conditioned depth completion model, which learns to directly restore the depth map based on the observed image. Such a design allows our model to fill in depth values at an aligned scale with the original depth, and also to harness strong generalizability from largescale diffusion prior. Thanks to the more accurate depth completion, our approach, dubbed InFusion, surpasses existing alternatives with sufficiently better fidelity and efficiency under various complex scenarios. We further demonstrate the effectiveness of InFusion with several practical applications, such as inpainting with user-specific texture or with novel object insertion.
Abstract（参考訳）: 3Dガウスアンは、最近、新しいビュー合成の効率的な表現として現れた。本研究は,不完全な3次元ガウスの集合を補足し,視覚的に調和した描画のための追加のポイントを付与することを目的とした,塗装作業に焦点を当てた編集性について研究する。 2Dインペイントと比較すると、3Dガウスの残差は、導入した点のレンダリング関連特性を解明することであり、その最適化は初期3D位置から大きく恩恵を受けている。この目的のために,観測画像に基づいて深度マップを直接復元する画像条件付き深度完了モデルを用いて点初期化を導出することを提案する。このような設計により、モデルが元の深さと整合したスケールで深度値を埋めることができ、また、大規模拡散前の強い一般化性を利用することができる。より正確なディープ・コンプリートのおかげで、我々のアプローチはInFusionと呼ばれ、様々な複雑なシナリオにおいて十分に優れた忠実さと効率性を持つ既存の代替品を上回る。さらに,ユーザ固有のテクスチャを塗布したり,新しいオブジェクト挿入を施したりといった,いくつかの実践的な応用でInFusionの有効性を実証する。

関連論文リスト

GUS-IR: Gaussian Splatting with Unified Shading for Inverse Rendering [83.69136534797686]
GUS-IRは、粗く光沢のある表面を特徴とする複雑なシーンの逆レンダリング問題に対処するために設計された新しいフレームワークである。本稿では、逆レンダリング、フォワードシェーディング、遅延シェーディングに広く使われている2つの顕著なシェーディング技術を分析し、比較することから始める。両手法の利点を組み合わせた統合シェーディングソリューションを提案する。
論文参考訳（メタデータ） (2024-11-12T01:51:05Z)
No Pose, No Problem: Surprisingly Simple 3D Gaussian Splats from Sparse Unposed Images [100.80376573969045]
NoPoSplatは、多視点画像から3Dガウスアンによってパラメータ化された3Dシーンを再構成できるフィードフォワードモデルである。提案手法は,推定時にリアルタイムな3次元ガウス再構成を実現する。この研究は、ポーズフリーの一般化可能な3次元再構成において大きな進歩をもたらし、実世界のシナリオに適用可能であることを示す。
論文参考訳（メタデータ） (2024-10-31T17:58:22Z)
PF3plat: Pose-Free Feed-Forward 3D Gaussian Splatting [54.7468067660037]
PF3platは、設計選択を検証した包括的なアブレーション研究によってサポートされた、すべてのベンチマークに新しい最先端を設定します。本フレームワークは,3DGSの高速,スケーラビリティ,高品質な3D再構成とビュー合成機能を活用している。
論文参考訳（メタデータ） (2024-10-29T15:28:15Z)
Self-Evolving Depth-Supervised 3D Gaussian Splatting from Rendered Stereo Pairs [27.364205809607302]
3D Gaussian Splatting (GS) は、基礎となる3Dシーンの形状を正確に表現するのにかなり苦労している。この制限に対処し、最適化プロセス全体を通して深度事前の統合を包括的に分析する。この後者は、容易に利用できるステレオネットワークからの奥行きを動的に利用し、トレーニング中にGSモデル自身がレンダリングした仮想ステレオペアを処理し、一貫した自己改善を実現する。
論文参考訳（メタデータ） (2024-09-11T17:59:58Z)
Visual SLAM with 3D Gaussian Primitives and Depth Priors Enabling Novel View Synthesis [11.236094544193605]
従来の幾何学に基づくSLAMシステムは、密度の高い3D再構成機能を持たない。本稿では,新しいビュー合成技術である3次元ガウススプラッティングを組み込んだリアルタイムRGB-D SLAMシステムを提案する。
論文参考訳（メタデータ） (2024-08-10T21:23:08Z)
GSD: View-Guided Gaussian Splatting Diffusion for 3D Reconstruction [52.04103235260539]
単一視点からの3次元オブジェクト再構成のためのガウススプティング表現に基づく拡散モデル手法を提案する。モデルはGS楕円体の集合で表される3Dオブジェクトを生成することを学習する。最終的な再構成されたオブジェクトは、高品質な3D構造とテクスチャを持ち、任意のビューで効率的にレンダリングできる。
論文参考訳（メタデータ） (2024-07-05T03:43:08Z)
Depth-Regularized Optimization for 3D Gaussian Splatting in Few-Shot Images [47.14713579719103]
オーバーフィッティングを緩和するための幾何ガイドとして,密集深度マップを導入する。調整された深度は3Dガウススプラッティングのカラーベース最適化に有効である。提案手法は,NeRF-LLFFデータセット上で,少ない画像数で検証する。
論文参考訳（メタデータ） (2023-11-22T13:53:04Z)
Pyramid Deep Fusion Network for Two-Hand Reconstruction from RGB-D Images [11.100398985633754]
両手で高密度メッシュを復元するためのエンドツーエンドフレームワークを提案する。我々のフレームワークはResNet50とPointNet++を使って、RGBとpoint cloudから機能を派生しています。また,異なるスケールで特徴を集約する新しいピラミッド深層核融合ネットワーク (PDFNet) も導入した。
論文参考訳（メタデータ） (2023-07-12T09:33:21Z)
High-fidelity 3D GAN Inversion by Pseudo-multi-view Optimization [51.878078860524795]
フォトリアリスティック・ノベルビューを合成可能な高忠実度3次元生成対向ネットワーク(GAN)インバージョン・フレームワークを提案する。提案手法は,1枚の画像から高忠実度3Dレンダリングを可能にし,AI生成3Dコンテンツの様々な応用に期待できる。
論文参考訳（メタデータ） (2022-11-28T18:59:52Z)
Geometric Correspondence Fields: Learned Differentiable Rendering for 3D Pose Refinement in the Wild [96.09941542587865]
野生の任意のカテゴリのオブジェクトに対する微分可能レンダリングに基づく新しい3次元ポーズ精細化手法を提案する。このようにして、3DモデルとRGB画像のオブジェクトを正確に整列し、3Dポーズ推定を大幅に改善する。我々は、Pix3Dデータセットの挑戦に対するアプローチを評価し、複数のメトリクスにおける最先端の精錬手法と比較して、最大55%の改善を実現した。
論文参考訳（メタデータ） (2020-07-17T12:34:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。