論文の概要: UNeR3D: Versatile and Scalable 3D RGB Point Cloud Generation from 2D
Images in Unsupervised Reconstruction
- arxiv url: http://arxiv.org/abs/2312.06706v1
- Date: Sun, 10 Dec 2023 15:18:55 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-13 18:46:33.063548
- Title: UNeR3D: Versatile and Scalable 3D RGB Point Cloud Generation from 2D
Images in Unsupervised Reconstruction
- Title（参考訳）: UNeR3D: 教師なし再構成における2次元画像からの可変かつスケーラブルな3D RGBポイントクラウド生成
- Authors: Hongbin Lin, Juangui Xu, Qingfeng Xu, Zhengyu Hu, Handing Xu, Yunzhi
Chen, Yongjun Hu, Zhenguo Nie
- Abstract要約: UNeR3Dは、2Dビューのみから詳細な3D再構成を生成するための新しい標準を設定している。
私たちのモデルは、教師付きアプローチに関連するトレーニングコストを大幅に削減します。
UNeR3Dはシームレスな色遷移を保証し、視力を高める。
- 参考スコア（独自算出の注目度）: 2.7848140839111903
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: In the realm of 3D reconstruction from 2D images, a persisting challenge is
to achieve high-precision reconstructions devoid of 3D Ground Truth data
reliance. We present UNeR3D, a pioneering unsupervised methodology that sets a
new standard for generating detailed 3D reconstructions solely from 2D views.
Our model significantly cuts down the training costs tied to supervised
approaches and introduces RGB coloration to 3D point clouds, enriching the
visual experience. Employing an inverse distance weighting technique for color
rendering, UNeR3D ensures seamless color transitions, enhancing visual
fidelity. Our model's flexible architecture supports training with any number
of views, and uniquely, it is not constrained by the number of views used
during training when performing reconstructions. It can infer with an arbitrary
count of views during inference, offering unparalleled versatility.
Additionally, the model's continuous spatial input domain allows the generation
of point clouds at any desired resolution, empowering the creation of
high-resolution 3D RGB point clouds. We solidify the reconstruction process
with a novel multi-view geometric loss and color loss, demonstrating that our
model excels with single-view inputs and beyond, thus reshaping the paradigm of
unsupervised learning in 3D vision. Our contributions signal a substantial leap
forward in 3D vision, offering new horizons for content creation across diverse
applications. Code is available at https://github.com/HongbinLin3589/UNeR3D.
- Abstract（参考訳）: 2次元画像からの3次元再構成の領域では、3次元地上真実データに依存しない高精度な再構成を実現することが課題である。
UNeR3Dは、2次元ビューのみから詳細な3次元再構成を生成するための新しい標準を定めている。
我々のモデルは、教師付きアプローチに関連するトレーニングコストを大幅に削減し、3DポイントクラウドにRGBカラー化を導入し、視覚的体験を豊かにする。
色レンダリングに逆距離重み付け技術を用いることで、UNeR3Dはシームレスな色遷移を保証し、視覚的忠実度を高める。
私たちのモデルの柔軟なアーキテクチャは、任意の数のビューでトレーニングをサポートします。
推論中に任意のビュー数を推測し、並行しない汎用性を提供する。
さらに、モデルの連続的な空間入力領域は任意の解像度で点雲を生成することができ、高解像度の3D RGB点雲を作成することができる。
我々は,新しい多視点幾何学的損失と色損失により再構成過程を固め,このモデルが単視点入力に優れていることを示し,教師なし学習のパラダイムを3次元視覚で再構築する。
私たちのコントリビューションは、3dビジョンの大幅な進歩を示し、さまざまなアプリケーションでコンテンツを作成するための新たな地平線を提供します。
コードはhttps://github.com/HongbinLin3589/UNeR3Dで入手できる。
関連論文リスト
- LAM3D: Large Image-Point-Cloud Alignment Model for 3D Reconstruction from Single Image [64.94932577552458]
大規模再構成モデルは、単一または複数入力画像から自動3Dコンテンツ生成の領域において大きな進歩を遂げている。
彼らの成功にもかかわらず、これらのモデルはしばしば幾何学的不正確な3Dメッシュを生成し、画像データからのみ3D形状を推論する固有の課題から生まれた。
生成した3Dメッシュの忠実度を高めるために3Dポイントクラウドデータを利用する新しいフレームワークであるLarge Image and Point Cloud Alignment Model (LAM3D)を導入する。
論文 参考訳（メタデータ） (2024-05-24T15:09:12Z) - MVD-Fusion: Single-view 3D via Depth-consistent Multi-view Generation [54.27399121779011]
本稿では,多視点RGB-D画像の生成モデルを用いて,単視点3次元推論を行うMVD-Fusionを提案する。
提案手法は,蒸留に基づく3D推論や先行多視点生成手法など,最近の最先端技術と比較して,より正確な合成を実現することができることを示す。
論文 参考訳（メタデータ） (2024-04-04T17:59:57Z) - 2L3: Lifting Imperfect Generated 2D Images into Accurate 3D [16.66666619143761]
マルチビュー(MV)3次元再構成は,生成したMV画像を一貫した3次元オブジェクトに融合させる,有望なソリューションである。
しかし、生成された画像は、通常、一貫性のない照明、不整合幾何学、スパースビューに悩まされ、復元の質が低下する。
本稿では, 内在的分解誘導, 過渡的モノ先行誘導, および3つの問題に対処するための視認性向上を活用する新しい3次元再構成フレームワークを提案する。
論文 参考訳（メタデータ） (2024-01-29T02:30:31Z) - Single-view 3D Scene Reconstruction with High-fidelity Shape and Texture [47.44029968307207]
本研究では,物体の形状とテクスチャを同時に高忠実度に再現する新しい枠組みを提案する。
提案手法は,SSR(Single-view Neural implicit Shape and Radiance Field)表現を用いて,明示的な3次元形状制御とボリュームレンダリングの両方を活用する。
我々のフレームワークの特徴は、単一のビュー3D再構成モデルにレンダリング機能をシームレスに統合しながら、きめ細かいテクスチャメッシュを生成する能力である。
論文 参考訳（メタデータ） (2023-11-01T11:46:15Z) - Self-Supervised Geometry-Aware Encoder for Style-Based 3D GAN Inversion [115.82306502822412]
StyleGANは、画像インバージョンと潜時編集による2次元顔再構成とセマンティック編集において大きな進歩を遂げている。
対応する汎用的な3D GANインバージョンフレームワークがまだ欠けており、3D顔再構成とセマンティック編集の応用が制限されている。
本研究では,その3次元形状と詳細なテクスチャを忠実に復元するために,単一の顔画像から潜伏コードを予測する3D GAN逆変換の課題について検討する。
論文 参考訳（メタデータ） (2022-12-14T18:49:50Z) - High-fidelity 3D GAN Inversion by Pseudo-multi-view Optimization [51.878078860524795]
フォトリアリスティック・ノベルビューを合成可能な高忠実度3次元生成対向ネットワーク(GAN)インバージョン・フレームワークを提案する。
提案手法は,1枚の画像から高忠実度3Dレンダリングを可能にし,AI生成3Dコンテンツの様々な応用に期待できる。
論文 参考訳（メタデータ） (2022-11-28T18:59:52Z) - Points2NeRF: Generating Neural Radiance Fields from 3D point cloud [0.0]
ニューラルラジアンス場(NeRF)として3次元物体を表現することを提案する。
ハイパーネットワークのパラダイムを活用して、モデルをトレーニングして、関連するカラー値を持つ3Dポイントクラウドを取ります。
提案手法は効率的な3次元オブジェクト表現を提供し,既存手法に対するいくつかの利点を提供する。
論文 参考訳（メタデータ） (2022-06-02T20:23:33Z) - Weakly Supervised Learning of Multi-Object 3D Scene Decompositions Using
Deep Shape Priors [69.02332607843569]
PriSMONetは、単一画像から多目的3Dシーンの分解と表現を学習するための新しいアプローチである。
リカレントエンコーダは、入力されたRGB画像から、各オブジェクトの3D形状、ポーズ、テクスチャの潜時表現を回帰する。
我々は,3次元シーンレイアウトの推測におけるモデルの精度を評価し,その生成能力を実証し,実画像への一般化を評価し,学習した表現の利点を指摘する。
論文 参考訳（メタデータ） (2020-10-08T14:49:23Z) - SPSG: Self-Supervised Photometric Scene Generation from RGB-D Scans [34.397726189729994]
SPSGは、RGB-Dスキャン観測から高品質で色のついたシーンの3Dモデルを生成するための新しいアプローチである。
我々の自己監督的アプローチは、不完全なRGB-Dスキャンと、そのスキャンのより完全なバージョンとを関連付けて、幾何学と色を共同で塗布することを学ぶ。
論文 参考訳（メタデータ） (2020-06-25T18:58:23Z) - From Image Collections to Point Clouds with Self-supervised Shape and
Pose Networks [53.71440550507745]
2次元画像から3Dモデルを再構成することは、コンピュータビジョンの基本的な問題の一つである。
本研究では,1枚の画像から3次元オブジェクトを再構成する深層学習手法を提案する。
我々は,3次元点雲の再構成と推定ネットワークの自己教師方式の両方を学習する。
論文 参考訳（メタデータ） (2020-05-05T04:25:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。