論文の概要: CAD-NeRF: Learning NeRFs from Uncalibrated Few-view Images by CAD Model Retrieval

• arxiv url: http://arxiv.org/abs/2411.02979v1
• Date: Tue, 05 Nov 2024 10:41:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-06 14:59:43.767831
• Title: CAD-NeRF: Learning NeRFs from Uncalibrated Few-view Images by CAD Model Retrieval
• Title（参考訳）: CAD-NeRF:CADモデル検索による未知視画像からのNeRF学習
• Authors: Xin Wen, Xuening Zhu, Renjiao Yi, Zhifeng Wang, Chenyang Zhu, Kai Xu,
• Abstract要約: 多視点画像からの再構成は3次元視覚における長年の問題である。 CAD-NeRF(CAD-NeRF)を提案する。 CAD-NeRFは, 得られたCADモデルから大きな変形を伴って, 精度の高い密度の学習に成功していることを示す。
• 参考スコア（独自算出の注目度）: 23.1389327143161
• License:
• Abstract: Reconstructing from multi-view images is a longstanding problem in 3D vision, where neural radiance fields (NeRFs) have shown great potential and get realistic rendered images of novel views. Currently, most NeRF methods either require accurate camera poses or a large number of input images, or even both. Reconstructing NeRF from few-view images without poses is challenging and highly ill-posed. To address this problem, we propose CAD-NeRF, a method reconstructed from less than 10 images without any known poses. Specifically, we build a mini library of several CAD models from ShapeNet and render them from many random views. Given sparse-view input images, we run a model and pose retrieval from the library, to get a model with similar shapes, serving as the density supervision and pose initializations. Here we propose a multi-view pose retrieval method to avoid pose conflicts among views, which is a new and unseen problem in uncalibrated NeRF methods. Then, the geometry of the object is trained by the CAD guidance. The deformation of the density field and camera poses are optimized jointly. Then texture and density are trained and fine-tuned as well. All training phases are in self-supervised manners. Comprehensive evaluations of synthetic and real images show that CAD-NeRF successfully learns accurate densities with a large deformation from retrieved CAD models, showing the generalization abilities.
• Abstract（参考訳）: マルチビュー画像からの再構成は、ニューラルレイディアンスフィールド(NeRF)が大きな可能性を示し、新しいビューのリアルなレンダリング画像を得る3D視覚における長年の課題である。 現在、ほとんどのNeRF法は正確なカメラポーズや多数の入力画像を必要とするか、両方を必要とする。 ポーズのない少数視点画像からNeRFを再構成することは困難であり、非常に不適切である。 この問題を解決するためにCAD-NeRF(CAD-NeRF)を提案する。 具体的には、ShapeNetからいくつかのCADモデルのミニライブラリを構築し、それらをランダムなビューからレンダリングする。 スパースビューの入力画像が与えられた場合、我々はモデルを実行し、ライブラリから検索を行い、同様の形状のモデルを得る。 本稿では,非校正NeRF法における新たな問題である,ビュー間の競合の回避を目的とした多視点ポーズ検索手法を提案する。 次に、CAD誘導によりオブジェクトの幾何学を訓練する。 密度場とカメラポーズの変形を共同で最適化する。 次にテクスチャと密度をトレーニングし、微調整する。 すべてのトレーニングフェーズは、自己管理的な方法で行われます。 合成画像と実画像の包括的評価により,CAD-NeRFは検索したCADモデルから大きな変形を伴う精度の高い密度の学習に成功し,一般化能力を示した。

関連論文リスト

• Generative Lifting of Multiview to 3D from Unknown Pose: Wrapping NeRF inside Diffusion [28.86592251775231]
  生成モデル問題として未知のポーズから多視点再構成を行った。 シーンの無注釈2次元画像の集合から,2次元画像入力からカメラポーズを予測するネットワークと,3次元シーンに対するニューラルレージアンス場(NeRF)のパラメータの両方を同時に学習する。 我々のフレームワークは,入力された2D画像をそのポーズを予測し,そのポーズからNeRFをレンダリングすることで,そのタスクを達成する必要がある。
  論文  参考訳（メタデータ） (2024-06-11T06:09:41Z)
• SADIR: Shape-Aware Diffusion Models for 3D Image Reconstruction [2.2954246824369218]
  限られた2次元画像からの3次元画像再構成は、コンピュータビジョンと画像解析における長年にわたる課題である。 本研究では,これらの問題に対処する3次元画像再構成のための拡散モデルに基づく形状認識ネットワークSADIRを提案する。
  論文  参考訳（メタデータ） (2023-09-06T19:30:22Z)
• FvOR: Robust Joint Shape and Pose Optimization for Few-view Object Reconstruction [37.81077373162092]
  数枚の画像から正確な3Dオブジェクトモデルを再構築することは、コンピュータビジョンにおいて難しい問題である。 FvORは、ノイズの多い入力ポーズを持つ数枚の画像から正確な3Dモデルを予測する学習ベースのオブジェクト再構成手法である。
  論文  参考訳（メタデータ） (2022-05-16T15:39:27Z)
• Pixel2Mesh++: 3D Mesh Generation and Refinement from Multi-View Images [82.32776379815712]
  カメラポーズの有無にかかわらず、少数のカラー画像から3次元メッシュ表現における形状生成の問題について検討する。 我々は,グラフ畳み込みネットワークを用いたクロスビュー情報を活用することにより,形状品質をさらに向上する。 我々のモデルは初期メッシュの品質とカメラポーズの誤差に頑健であり、テスト時間最適化のための微分関数と組み合わせることができる。
  論文  参考訳（メタデータ） (2022-04-21T03:42:31Z)
• Patch2CAD: Patchwise Embedding Learning for In-the-Wild Shape Retrieval from a Single Image [58.953160501596805]
  本稿では,2次元画像と3次元CADモデルの結合埋め込み空間をパッチワイズで構築する手法を提案する。 我々のアプローチは、CADが正確に一致しない実世界のシナリオにおける最先端技術よりも堅牢である。
  論文  参考訳（メタデータ） (2021-08-20T20:58:52Z)
• Neural Articulated Radiance Field [90.91714894044253]
  本稿では,画像から学習した明瞭な物体に対する新しい変形可能な3次元表現であるニューラルArticulated Radiance Field(NARF)を提案する。 実験の結果,提案手法は効率的であり,新しいポーズにうまく一般化できることがわかった。
  論文  参考訳（メタデータ） (2021-04-07T13:23:14Z)
• SMPLpix: Neural Avatars from 3D Human Models [56.85115800735619]
  従来のレンダリングと画素空間で動作する最新の生成ネットワークのギャップを埋める。 我々は、スパースな3Dメッシュ頂点をフォトリアリスティックな画像に変換するネットワークを訓練する。 我々は,フォトリアリズムのレベルとレンダリング効率の両面で,従来の微分可能よりも優位性を示す。
  論文  参考訳（メタデータ） (2020-08-16T10:22:00Z)
• From Image Collections to Point Clouds with Self-supervised Shape and Pose Networks [53.71440550507745]
  2次元画像から3Dモデルを再構成することは、コンピュータビジョンの基本的な問題の一つである。 本研究では,1枚の画像から3次元オブジェクトを再構成する深層学習手法を提案する。 我々は,3次元点雲の再構成と推定ネットワークの自己教師方式の両方を学習する。
  論文  参考訳（メタデータ） (2020-05-05T04:25:16Z)
• Learning Pose-invariant 3D Object Reconstruction from Single-view Images [61.98279201609436]
  本稿では,単視点画像のみから3次元形状を学習する,より現実的な構成について検討する。 最大の難しさは、単一のビューイメージが提供できる制約の不足にある。 本稿では, 対角コンパクトな形状空間を学習するために, 効果的な対角領域混同法を提案する。
  論文  参考訳（メタデータ） (2020-04-03T02:47:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。