論文の概要: Sem2NeRF: Converting Single-View Semantic Masks to Neural Radiance
Fields
- arxiv url: http://arxiv.org/abs/2203.10821v1
- Date: Mon, 21 Mar 2022 09:15:58 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-22 14:58:55.389029
- Title: Sem2NeRF: Converting Single-View Semantic Masks to Neural Radiance
Fields
- Title(参考訳): Sem2NeRF:シングルビューセマンティックマスクをニューラルラジアンス場に変換する
- Authors: Yuedong Chen, Qianyi Wu, Chuanxia Zheng, Tat-Jen Cham and Jianfei Cai
- Abstract要約: 本稿では,1つの単一ビューセマンティックマスクを入力として条件付けしたSemantic-to-NeRF変換を提案する。
特に、Sem2NeRFは、事前訓練されたデコーダの3Dシーン表現を制御する潜在コードにセマンティックマスクをエンコードすることで、非常に困難なタスクに対処する。
提案したSem2NeRFの有効性を検証し、2つのベンチマークデータセット上でいくつかの強いベースラインを上回ります。
- 参考スコア(独自算出の注目度): 49.41982694533966
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Image translation and manipulation have gain increasing attention along with
the rapid development of deep generative models. Although existing approaches
have brought impressive results, they mainly operated in 2D space. In light of
recent advances in NeRF-based 3D-aware generative models, we introduce a new
task, Semantic-to-NeRF translation, that aims to reconstruct a 3D scene
modelled by NeRF, conditioned on one single-view semantic mask as input. To
kick-off this novel task, we propose the Sem2NeRF framework. In particular,
Sem2NeRF addresses the highly challenging task by encoding the semantic mask
into the latent code that controls the 3D scene representation of a pretrained
decoder. To further improve the accuracy of the mapping, we integrate a new
region-aware learning strategy into the design of both the encoder and the
decoder. We verify the efficacy of the proposed Sem2NeRF and demonstrate that
it outperforms several strong baselines on two benchmark datasets.
- Abstract(参考訳): 画像翻訳と操作は、深層生成モデルの急速な発展とともに注目を集めている。
既存のアプローチは印象的な結果をもたらしたが、主に2D空間で動作する。
近年のNeRFに基づく3D生成モデルの発展を踏まえ,単一視点のセマンティックマスクを入力として,NeRFをモデルとした3Dシーンの再構築を目的としたセマンティック・トゥ・NeRF変換を導入した。
そこで本研究では,Sem2NeRFフレームワークを提案する。
特に、Sem2NeRFは、事前訓練されたデコーダの3Dシーン表現を制御する潜在コードにセマンティックマスクをエンコードすることで、非常に困難なタスクに対処する。
マッピングの精度をさらに向上するため,新たな領域認識学習戦略をエンコーダとデコーダの両方の設計に統合した。
提案するsem2nerfの有効性を検証し、2つのベンチマークデータセットで複数の強力なベースラインを上回ることを実証する。
関連論文リスト
- DistillNeRF: Perceiving 3D Scenes from Single-Glance Images by Distilling Neural Fields and Foundation Model Features [65.8738034806085]
DistillNeRFは、自動運転における3D環境を理解するための自己教師型学習フレームワークである。
スパースでシングルフレームのマルチビューカメラ入力からリッチなニューラルシーン表現を予測する。
RGB、奥行き、特徴画像を再構成するために、異なるレンダリングで自己教師される。
論文 参考訳(メタデータ) (2024-06-17T21:15:13Z) - GenN2N: Generative NeRF2NeRF Translation [53.20986183316661]
GenN2Nは、様々なNeRF翻訳タスクのための統一されたNeRF-to-NeRF翻訳フレームワークである。
2Dドメインの編集と2D編集を3D NeRF空間に持ち上げるために、プラグイン・アンド・プレイのイメージ・ツー・イメージ・トランスレータを使用している。
論文 参考訳(メタデータ) (2024-04-03T14:56:06Z) - NeRF-MAE: Masked AutoEncoders for Self-Supervised 3D Representation Learning for Neural Radiance Fields [57.617972778377215]
提案手法は,RGB画像から有効な3D表現を生成する方法を示す。
我々は、この表現を、提案した擬似RGBデータに基づいて、180万枚以上の画像で事前訓練する。
我々は,NeRFの自己教師型プレトレーニングであるNeRF-MAE(NeRF-MAE)を目覚ましいスケールで実施し,様々な3Dタスクの性能向上を実現した。
論文 参考訳(メタデータ) (2024-04-01T17:59:55Z) - FeatureNeRF: Learning Generalizable NeRFs by Distilling Foundation
Models [21.523836478458524]
一般化可能なNeRFに関する最近の研究は、単一または少数の画像からの新規なビュー合成に関する有望な結果を示している。
本研究では,事前学習された視覚モデルを蒸留することにより,一般化可能なNeRFを学習するためのFeatureNeRFという新しいフレームワークを提案する。
一般化可能な3次元特徴抽出器としてのFeatureNeRFの有効性を実証した。
論文 参考訳(メタデータ) (2023-03-22T17:57:01Z) - HyperNeRFGAN: Hypernetwork approach to 3D NeRF GAN [3.479254848034425]
我々は、ハイパーネットワークのパラダイムを用いて、NeRFで表現された3Dオブジェクトを生成するHyperNeRFGANという生成モデルを提案する。
アーキテクチャは2D画像を生成するが、3D対応のNeRF表現を使用し、モデルに正しい3Dオブジェクトを生成するように強制する。
論文 参考訳(メタデータ) (2023-01-27T10:21:18Z) - 3D-Aware Encoding for Style-based Neural Radiance Fields [50.118687869198716]
我々は、入力画像をNeRFジェネレータの潜時空間に投影する反転関数を学び、潜時符号に基づいて原画像の新しいビューを合成する。
2次元生成モデルのGANインバージョンと比較して、NeRFインバージョンは、1)入力画像の同一性を維持するだけでなく、2)生成した新規なビューにおいて3D一貫性を確保する必要がある。
スタイルベースNeRFインバージョンのための2段階エンコーダを提案する。
論文 参考訳(メタデータ) (2022-11-12T06:14:12Z) - CLONeR: Camera-Lidar Fusion for Occupancy Grid-aided Neural
Representations [77.90883737693325]
本稿では,スパース入力センサビューから観測される大規模な屋外運転シーンをモデル化することで,NeRFを大幅に改善するCLONeRを提案する。
これは、NeRFフレームワーク内の占有率と色学習を、それぞれLiDARとカメラデータを用いてトレーニングされた個別のMulti-Layer Perceptron(MLP)に分離することで実現される。
さらに,NeRFモデルと平行に3D Occupancy Grid Maps(OGM)を構築する手法を提案し,この占有グリッドを利用して距離空間のレンダリングのために線に沿った点のサンプリングを改善する。
論文 参考訳(メタデータ) (2022-09-02T17:44:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。