論文の概要: Correspondence Distillation from NeRF-based GAN

• arxiv url: http://arxiv.org/abs/2212.09735v2
• Date: Tue, 20 Dec 2022 03:47:40 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-21 16:14:51.266686
• Title: Correspondence Distillation from NeRF-based GAN
• Title（参考訳）: NeRF系ガンからの対応蒸留
• Authors: Yushi Lan, Chen Change Loy, Bo Dai
• Abstract要約: 神経放射野(NeRF)は、物体やシーンの微細な詳細を保存するための有望な結果を示している。 同じカテゴリの異なるNeRFをまたいで密度の高い対応を構築することは、依然として未解決の問題である。 トレーニング済みのNeRFベースGANにカプセル化されているリッチなセマンティクスと構造的先行性を活用することで,これらの課題を回避可能であることを示す。
• 参考スコア（独自算出の注目度）: 135.99756183251228
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The neural radiance field (NeRF) has shown promising results in preserving the fine details of objects and scenes. However, unlike mesh-based representations, it remains an open problem to build dense correspondences across different NeRFs of the same category, which is essential in many downstream tasks. The main difficulties of this problem lie in the implicit nature of NeRF and the lack of ground-truth correspondence annotations. In this paper, we show it is possible to bypass these challenges by leveraging the rich semantics and structural priors encapsulated in a pre-trained NeRF-based GAN. Specifically, we exploit such priors from three aspects, namely 1) a dual deformation field that takes latent codes as global structural indicators, 2) a learning objective that regards generator features as geometric-aware local descriptors, and 3) a source of infinite object-specific NeRF samples. Our experiments demonstrate that such priors lead to 3D dense correspondence that is accurate, smooth, and robust. We also show that established dense correspondence across NeRFs can effectively enable many NeRF-based downstream applications such as texture transfer.
• Abstract（参考訳）: 神経放射野(NeRF)は、物体やシーンの微細な詳細を保存するための有望な結果を示している。 しかし、メッシュベースの表現とは異なり、同じカテゴリの異なるNeRFをまたいで密度の高い対応を構築することは未解決の問題であり、多くの下流タスクにおいて必須である。 この問題の大きな問題は、NeRFの暗黙的な性質と、接地真実対応アノテーションの欠如にある。 本稿では,これらの課題を回避するために,事前学習したNRFベースのGANにカプセル化されたリッチなセマンティクスと構造的前提を活用する。 具体的には3つの側面から 優先事項を活用します 1) 潜在符号を大域的構造指標とする二重変形場 2)生成器の特徴を幾何学的認識可能な局所記述子とする学習目標,および 3) 無限オブジェクト固有のNeRFサンプルのソース。 我々の実験は、そのような先行が正確で滑らかで頑健な3次元密度の対応につながることを示した。 また、NeRF間の密接な対応を確立すれば、テクスチャ転送など、多くのNeRFベースの下流アプリケーションを有効に実現できることを示す。

関連論文リスト

• Deep Learning on Object-centric 3D Neural Fields [19.781070751341154]
  単一推論パスにおいて入力NFに対してコンパクトな潜在表現を生成可能なフレームワークであるnf2vecを導入する。 nf2vecは入力されたNFで表される3Dオブジェクトを効果的に埋め込み、その結果の埋め込みがディープラーニングパイプラインにどのように使われるかを示す。
  論文  参考訳（メタデータ） (2023-12-20T18:56:45Z)
• Registering Neural Radiance Fields as 3D Density Images [55.64859832225061]
  我々は,様々な場面でトレーニングやテストが可能な,普遍的な事前学習型ニューラルネットワークを提案する。 我々は,グローバルアプローチとして,NeRFモデルを効果的に登録できることを実証した。
  論文  参考訳（メタデータ） (2023-05-22T09:08:46Z)
• LiDAR-NeRF: Novel LiDAR View Synthesis via Neural Radiance Fields [112.62936571539232]
  本稿では,LiDARセンサのための新しいビュー合成手法を提案する。 スタイルトランスファーニューラルネットワークを用いた従来のモデルベースLiDARシミュレータは、新しいビューのレンダリングに応用できる。 ニューラル放射場(NeRF)を用いて幾何学と3D点の属性の連成学習を容易にする。
  論文  参考訳（メタデータ） (2023-04-20T15:44:37Z)
• Clean-NeRF: Reformulating NeRF to account for View-Dependent Observations [67.54358911994967]
  本稿では,複雑なシーンにおける3次元再構成と新しいビューレンダリングのためのクリーンネRFを提案する。 clean-NeRFはプラグインとして実装することができ、既存のNeRFベースのメソッドを追加入力なしですぐに利用することができる。
  論文  参考訳（メタデータ） (2023-03-26T12:24:31Z)
• FeatureNeRF: Learning Generalizable NeRFs by Distilling Foundation Models [21.523836478458524]
  一般化可能なNeRFに関する最近の研究は、単一または少数の画像からの新規なビュー合成に関する有望な結果を示している。 本研究では,事前学習された視覚モデルを蒸留することにより,一般化可能なNeRFを学習するためのFeatureNeRFという新しいフレームワークを提案する。 一般化可能な3次元特徴抽出器としてのFeatureNeRFの有効性を実証した。
  論文  参考訳（メタデータ） (2023-03-22T17:57:01Z)
• NeRF-RPN: A general framework for object detection in NeRFs [54.54613914831599]
  NeRF-RPNは、シーン内のオブジェクトのすべてのバウンディングボックスを検出することを目的としている。 NeRF-RPNは一般的なフレームワークであり、クラスラベルなしでオブジェクトを検出できる。
  論文  参考訳（メタデータ） (2022-11-21T17:02:01Z)
• Aug-NeRF: Training Stronger Neural Radiance Fields with Triple-Level Physically-Grounded Augmentations [111.08941206369508]
  我々は,NeRFトレーニングの正規化にロバストなデータ拡張のパワーを初めてもたらすAugmented NeRF(Aug-NeRF)を提案する。 提案手法では,最悪の場合の摂動を3段階のNeRFパイプラインにシームレスにブレンドする。 Aug-NeRFは、新しいビュー合成と基礎となる幾何再構成の両方において、NeRF性能を効果的に向上させる。
  論文  参考訳（メタデータ） (2022-07-04T02:27:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。