論文の概要: RealFusion: 360{\deg} Reconstruction of Any Object from a Single Image
- arxiv url: http://arxiv.org/abs/2302.10663v2
- Date: Thu, 23 Feb 2023 15:18:23 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-24 11:47:56.074557
- Title: RealFusion: 360{\deg} Reconstruction of Any Object from a Single Image
- Title（参考訳）: RealFusion: 360{\deg} 単一画像からの任意のオブジェクトの再構成
- Authors: Luke Melas-Kyriazi, Christian Rupprecht, Iro Laina, Andrea Vedaldi
- Abstract要約: 対象物の全360度写真モデルを1枚の画像から再構成する際の問題点を考察する。
拡散に基づく自己条件付き画像生成装置を設計し、オブジェクトの新たなビューを"ドレームアップ"するよう促すプロンプトを設計する。
- 参考スコア（独自算出の注目度）: 98.46318529630109
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: We consider the problem of reconstructing a full 360{\deg} photographic model
of an object from a single image of it. We do so by fitting a neural radiance
field to the image, but find this problem to be severely ill-posed. We thus
take an off-the-self conditional image generator based on diffusion and
engineer a prompt that encourages it to "dream up" novel views of the object.
Using an approach inspired by DreamFields and DreamFusion, we fuse the given
input view, the conditional prior, and other regularizers in a final,
consistent reconstruction. We demonstrate state-of-the-art reconstruction
results on benchmark images when compared to prior methods for monocular 3D
reconstruction of objects. Qualitatively, our reconstructions provide a
faithful match of the input view and a plausible extrapolation of its
appearance and 3D shape, including to the side of the object not visible in the
image.
- Abstract（参考訳）: 一つの画像から物体の完全な360{\deg}写真モデルを再構築する問題を考える。
画像にニューラルラディアンス場を合わせることで実現しますが、この問題は深刻な問題であると考えています。
そこで我々は、拡散に基づく自己条件付き画像生成装置を設計し、オブジェクトの新たなビューを「ドレームアップ」するよう促すプロンプトを設計する。
ドリームフィールドとドリームフュージョンに触発されたアプローチを用いて、与えられた入力ビュー、条件付きプリミティブ、および他の正規化子を最終的な一貫した再構築で融合する。
対象物の単眼的3次元再構成法と比較し, ベンチマーク画像における最先端の再構成結果を示す。
定性的には,入力ビューの忠実な一致と,画像に見えない物体の側面を含め,その外観と3d形状の明らかな外挿を提供する。
関連論文リスト
- 2L3: Lifting Imperfect Generated 2D Images into Accurate 3D [16.66666619143761]
マルチビュー(MV)3次元再構成は,生成したMV画像を一貫した3次元オブジェクトに融合させる,有望なソリューションである。
しかし、生成された画像は、通常、一貫性のない照明、不整合幾何学、スパースビューに悩まされ、復元の質が低下する。
本稿では, 内在的分解誘導, 過渡的モノ先行誘導, および3つの問題に対処するための視認性向上を活用する新しい3次元再構成フレームワークを提案する。
論文 参考訳（メタデータ） (2024-01-29T02:30:31Z) - iFusion: Inverting Diffusion for Pose-Free Reconstruction from Sparse
Views [61.707755434165335]
iFusionは、未知のカメラポーズを持つ2つのビューのみを必要とする、新しい3Dオブジェクト再構成フレームワークである。
我々は,様々な物体の形状や外観に関する暗黙の知識を組み込んだ,事前学習されたビュー合成拡散モデルを利用する。
ポーズ推定と新しいビュー合成の両方において、実験は強い性能を示す。
論文 参考訳（メタデータ） (2023-12-28T18:59:57Z) - Few-View Object Reconstruction with Unknown Categories and Camera Poses [80.0820650171476]
この研究は、カメラのポーズやオブジェクトのカテゴリを知らない少数の画像から、一般的な現実世界のオブジェクトを再構築する。
私たちの研究の要点は、形状再構成とポーズ推定という、2つの基本的な3D視覚問題を解決することです。
提案手法は,各ビューから3次元特徴を予測し,それらを入力画像と組み合わせて活用し,クロスビュー対応を確立する。
論文 参考訳（メタデータ） (2022-12-08T18:59:02Z) - Shape, Pose, and Appearance from a Single Image via Bootstrapped
Radiance Field Inversion [54.151979979158085]
提案手法では,自然画像に対する基本的エンドツーエンド再構築フレームワークを導入し,正確な地平のポーズが得られない。
そこで,モデルが解の第一の推算を生成するハイブリッド・インバージョン・スキームを適用する。
当社のフレームワークでは,イメージを10ステップでデレンダリングすることが可能で,現実的なシナリオで使用することが可能です。
論文 参考訳（メタデータ） (2022-11-21T17:42:42Z) - ReFu: Refine and Fuse the Unobserved View for Detail-Preserving
Single-Image 3D Human Reconstruction [31.782985891629448]
シングルイメージの3次元再構成は,1枚の画像から人体の3次元テクスチャ面を再構築することを目的としている。
提案するReFuは、投影された背景像を精細化し、その精細な画像を融合して最終人体を予測するための粗大なアプローチである。
論文 参考訳（メタデータ） (2022-11-09T09:14:11Z) - ShaRF: Shape-conditioned Radiance Fields from a Single View [54.39347002226309]
本稿では,単一の画像のみのオブジェクトの神経シーン表現を推定する手法を提案する。
この手法の核心は,対象物の幾何学的足場の推定である。
合成画像と実画像の両方において,提案手法の有効性を示す実験を行った。
論文 参考訳（メタデータ） (2021-02-17T16:40:28Z) - A Divide et Impera Approach for 3D Shape Reconstruction from Multiple
Views [49.03830902235915]
物体の3次元形状を1つまたは複数の画像から推定することは、最近のディープラーニングによるブレークスルーによって人気を集めている。
本稿では,与えられた視点からの可視情報を統合することで,視点変化の再構築に頼ることを提案する。
提案手法を検証するために,相対的なポーズ推定と3次元形状再構成の観点から,ShapeNet参照ベンチマークの総合評価を行った。
論文 参考訳（メタデータ） (2020-11-17T09:59:32Z) - Reconstruct, Rasterize and Backprop: Dense shape and pose estimation
from a single image [14.9851111159799]
本稿では,1枚の画像から6-DoFポーズとともに高密度物体再構成を行うシステムを提案する。
我々は、カメラフレームの3D再構成でループを閉じるために、差別化可能なレンダリング(特にロボティクス)の最近の進歩を活用している。
論文 参考訳（メタデータ） (2020-04-25T20:53:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。