論文の概要: NeuralLift-360: Lifting An In-the-wild 2D Photo to A 3D Object with 360{\deg} Views

• arxiv url: http://arxiv.org/abs/2211.16431v1
• Date: Tue, 29 Nov 2022 17:59:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-30 16:49:04.884840
• Title: NeuralLift-360: Lifting An In-the-wild 2D Photo to A 3D Object with 360{\deg} Views
• Title（参考訳）: neurallift-360: 360{\deg}ビューで3dオブジェクトに2d写真を持ち上げる
• Authors: Dejia Xu, Yifan Jiang, Peihao Wang, Zhiwen Fan, Yi Wang, Zhangyang Wang
• Abstract要約: 本研究では,1枚の画像を3Dオブジェクトに持ち上げるという課題について検討する。 所定の参照画像とよく一致する360度ビューを持つ可視3Dオブジェクトを生成する能力を示す。 本稿では,深度を考慮した放射率表現を用いたニューラルLift-360という新しいフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 77.93662205673297
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Virtual reality and augmented reality (XR) bring increasing demand for 3D content. However, creating high-quality 3D content requires tedious work that a human expert must do. In this work, we study the challenging task of lifting a single image to a 3D object and, for the first time, demonstrate the ability to generate a plausible 3D object with 360{\deg} views that correspond well with the given reference image. By conditioning on the reference image, our model can fulfill the everlasting curiosity for synthesizing novel views of objects from images. Our technique sheds light on a promising direction of easing the workflows for 3D artists and XR designers. We propose a novel framework, dubbed NeuralLift-360, that utilizes a depth-aware neural radiance representation (NeRF) and learns to craft the scene guided by denoising diffusion models. By introducing a ranking loss, our NeuralLift-360 can be guided with rough depth estimation in the wild. We also adopt a CLIP-guided sampling strategy for the diffusion prior to provide coherent guidance. Extensive experiments demonstrate that our NeuralLift-360 significantly outperforms existing state-of-the-art baselines. Project page: https://vita-group.github.io/NeuralLift-360/
• Abstract（参考訳）: 仮想現実と拡張現実(XR)は、3Dコンテンツの需要を増大させる。 しかし、高品質な3Dコンテンツを作成するには、人間の専門家がしなければならない面倒な作業が必要です。 本研究では,1枚の画像を1枚の3Dオブジェクトに持ち上げるという課題について検討し,360{\deg}ビューを持つ可視3Dオブジェクトを与えられた参照画像とよく一致する形で生成できることを初めて実証する。 参照画像に条件を付けることで,画像から物体の新しい視点を合成する,永遠の好奇心を満たすことができる。 私たちの技術は、3DアーティストやXRデザイナーのワークフローを緩和する有望な方向性に光を当てています。 我々は,NeuralLift-360という,深度認識型ニューラル放射率表現(NeRF)を利用した新しいフレームワークを提案する。 我々のNeuralLift-360は、ランキングの損失を発生させることで、荒々しい深さを推定できる。 また,コヒーレントガイダンスを提供する前に,CLIP誘導サンプリング戦略を採用した。 大規模な実験により、我々のNeuralLift-360は既存の最先端のベースラインを大幅に上回っていることが示された。 プロジェクトページ: https://vita-group.github.io/neurallift-360/

関連論文リスト

• CharNeRF: 3D Character Generation from Concept Art [3.8061090528695543]
  本稿では,一貫したターンアラウンドコンセプトアートから3次元文字の体積表現を作成する新しい手法を提案する。 学習可能なビュー指向のマルチヘッド自己アテンション層を通じて,これらの3Dポイントの事前情報を利用するようにネットワークをトレーニングする。 我々のモデルは、高品質な360度キャラクタビューを生成することができる。
  論文  参考訳（メタデータ） (2024-02-27T01:22:08Z)
• Denoising Diffusion via Image-Based Rendering [54.20828696348574]
  実世界の3Dシーンの高速かつ詳細な再構築と生成を可能にする最初の拡散モデルを提案する。 まず、大きな3Dシーンを効率よく正確に表現できる新しいニューラルシーン表現であるIBプレーンを導入する。 第二に,2次元画像のみを用いて,この新たな3次元シーン表現の事前学習を行うためのデノイング拡散フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-05T19:00:45Z)
• GO-NeRF: Generating Virtual Objects in Neural Radiance Fields [75.13534508391852]
  GO-NeRFは、既存のNeRF内の高品質で調和した3Dオブジェクト生成にシーンコンテキストを利用することができる。 本手法では,生成した3次元オブジェクトをシームレスにシーンに合成する構成的レンダリング形式を用いる。
  論文  参考訳（メタデータ） (2024-01-11T08:58:13Z)
• NeO 360: Neural Fields for Sparse View Synthesis of Outdoor Scenes [59.15910989235392]
  屋外シーンのスパースビュー合成のためのNeO 360, Neural Fieldを紹介する。 NeO 360は、単一のまたは少数のRGB画像から360degのシーンを再構成する一般化可能な方法である。 我々の表現は、Voxel-basedとBird's-eye-view (BEV)の両方の表現の長所を組み合わせたものである。
  論文  参考訳（メタデータ） (2023-08-24T17:59:50Z)
• Farm3D: Learning Articulated 3D Animals by Distilling 2D Diffusion [81.63322697335228]
  我々は,「自由」な仮想監督から,音声オブジェクトのカテゴリー別3D再構成を学習するFarm3Dを提案する。 近年のアプローチでは,物体の3次元形状,アルベド,照明,物体発生の視点を予測するための単眼ネットワークである,対象カテゴリの単一視点画像の集合から学習することができる。 本研究では、安定拡散のような画像生成装置を用いて、そのような再構成ネットワークをスクラッチから学習するための仮想トレーニングデータを生成するフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-04-20T17:59:34Z)
• DITTO-NeRF: Diffusion-based Iterative Text To Omni-directional 3D Model [15.091263190886337]
  テキストプロンプトや単一画像から高品質な3D NeRFモデルを生成するための新しいパイプラインを提案する。 DitTO-NeRFは、前景から与えられたまたはテキスト生成された2D画像を用いて、制限付きインバウンダリ(IB)角度のための高品質な部分的な3Dオブジェクトを構築する。 我々は,DITTO-NeRFにおける3次元オブジェクト再構成手法を,スケール(低分解能),アングル(IB角),外界(OB),マスク(背景境界)の3次元オブジェクト再構成方式を提案する。
  論文  参考訳（メタデータ） (2023-04-06T02:27:22Z)
• DRaCoN -- Differentiable Rasterization Conditioned Neural Radiance Fields for Articulated Avatars [92.37436369781692]
  フルボディの体積アバターを学習するためのフレームワークであるDRaCoNを提案する。 2Dと3Dのニューラルレンダリング技術の利点を利用する。 挑戦的なZJU-MoCapとHuman3.6Mデータセットの実験は、DRaCoNが最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2022-03-29T17:59:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。