論文の概要: Neural radiance fields-based holography [Invited]
- arxiv url: http://arxiv.org/abs/2403.01137v1
- Date: Sat, 2 Mar 2024 08:49:02 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-05 15:10:23.144238
- Title: Neural radiance fields-based holography [Invited]
- Title(参考訳): 神経放射場に基づくホログラフィー [invited]
- Authors: Minsung Kang and Fan Wang and Kai Kumano and Tomoyoshi Ito and
Tomoyoshi Shimobaba
- Abstract要約: 本研究ではニューラルラジアンス場(NeRF)に基づくホログラム生成手法を提案する。
NeRFはボリュームレンダリングに基づく2次元画像からの3次元光場再構成のための最先端技術である。
深部ニューラルネットワークを用いたホログラム生成のためのNeRFによる2次元画像から生成した3次元光場から直接レンダリングパイプラインを構築した。
- 参考スコア(独自算出の注目度): 8.21409559694043
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This study presents a novel approach for generating holograms based on the
neural radiance fields (NeRF) technique. Generating three-dimensional (3D) data
is difficult in hologram computation. NeRF is a state-of-the-art technique for
3D light-field reconstruction from 2D images based on volume rendering. The
NeRF can rapidly predict new-view images that do not include a training
dataset. In this study, we constructed a rendering pipeline directly from a 3D
light field generated from 2D images by NeRF for hologram generation using deep
neural networks within a reasonable time. The pipeline comprises three main
components: the NeRF, a depth predictor, and a hologram generator, all
constructed using deep neural networks. The pipeline does not include any
physical calculations. The predicted holograms of a 3D scene viewed from any
direction were computed using the proposed pipeline. The simulation and
experimental results are presented.
- Abstract(参考訳): 本研究ではニューラル放射場(NeRF)技術に基づくホログラム生成手法を提案する。
ホログラム計算では3次元データの生成は困難である。
NeRFはボリュームレンダリングに基づく2次元画像からの3次元光場再構成技術である。
NeRFは、トレーニングデータセットを含まない新しいビューイメージを迅速に予測できる。
本研究では,NeRFによる2次元画像から生成した3次元光場から直接,深層ニューラルネットワークを用いたホログラム生成のためのレンダリングパイプラインを構築した。
パイプラインは、NeRF、深度予測器、ホログラム生成器の3つの主要コンポーネントで構成され、いずれもディープニューラルネットワークを用いて構築されている。
パイプラインには物理計算は一切含まれない。
提案するパイプラインを用いて,任意の方向から見る3次元シーンのホログラムを計算した。
シミュレーションと実験結果が得られた。
関連論文リスト
- NeRF-MAE: Masked AutoEncoders for Self-Supervised 3D Representation Learning for Neural Radiance Fields [51.94908232543638]
提案手法は,RGB画像から有効な3D表現を生成する方法を示す。
我々は、この表現を、提案した擬似RGBデータに基づいて大規模に事前訓練し、合計で1.6万枚以上の画像を生成する。
我々は,NeRFの自己教師型プレトレーニングであるNeRF-MAE(NeRF-MAE)を目覚ましいスケールで実施し,様々な3Dタスクの性能向上を実現した。
論文 参考訳(メタデータ) (2024-04-01T17:59:55Z) - UV Gaussians: Joint Learning of Mesh Deformation and Gaussian Textures for Human Avatar Modeling [71.87807614875497]
メッシュ変形と2次元UV空間のガウステクスチャを共同学習することで3次元人体をモデル化するUVガウスアンを提案する。
我々は,多視点画像,走査モデル,パラメトリックモデル登録,およびそれに対応するテクスチャマップを含む,人間の動作の新たなデータセットを収集し,処理する。
論文 参考訳(メタデータ) (2024-03-18T09:03:56Z) - NeRF-GAN Distillation for Efficient 3D-Aware Generation with
Convolutions [97.27105725738016]
GAN(Generative Adversarial Networks)のようなニューラルラジアンスフィールド(NeRF)と生成モデルの統合は、単一ビュー画像から3D認識生成を変換した。
提案手法は,ポーズ条件付き畳み込みネットワークにおいて,事前学習したNeRF-GANの有界遅延空間を再利用し,基礎となる3次元表現に対応する3D一貫性画像を直接生成する手法である。
論文 参考訳(メタデータ) (2023-03-22T18:59:48Z) - NeRFMeshing: Distilling Neural Radiance Fields into
Geometrically-Accurate 3D Meshes [56.31855837632735]
我々は、NeRF駆動のアプローチで容易に3次元表面を再構成できるコンパクトで柔軟なアーキテクチャを提案する。
最後の3Dメッシュは物理的に正確で、デバイスアレイ上でリアルタイムでレンダリングできます。
論文 参考訳(メタデータ) (2023-03-16T16:06:03Z) - NerfDiff: Single-image View Synthesis with NeRF-guided Distillation from
3D-aware Diffusion [107.67277084886929]
単一の画像からの新しいビュー合成には、オブジェクトやシーンの隠蔽領域を推論すると同時に、入力とのセマンティックおよび物理的整合性を同時に維持する必要がある。
そこで我々は,NerfDiffを提案する。NerfDiffは3D対応条件拡散モデル(CDM)の知識を,テスト時に仮想ビューの集合を合成・精製することで,NeRFに抽出することでこの問題に対処する。
さらに,CDMサンプルから3次元一貫した仮想ビューを同時に生成し,改良された仮想ビューに基づいてNeRFを微調整する新しいNeRF誘導蒸留アルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-02-20T17:12:00Z) - Learning Neural Radiance Fields from Multi-View Geometry [1.1011268090482573]
画像に基づく3次元再構成のために,多視点幾何アルゴリズムとニューラルレージアンス場(NeRF)を組み合わせたMVG-NeRF(MVG-NeRF)というフレームワークを提案する。
NeRFは暗黙の3D表現の分野に革命をもたらした。
論文 参考訳(メタデータ) (2022-10-24T08:53:35Z) - 3D-aware Image Synthesis via Learning Structural and Textural
Representations [39.681030539374994]
生成モデルを作成することは、2D画像空間と3D物理世界を橋渡しするが、まだ難しい。
近年、GAN(Generative Adversarial Network)とNeRF(Neural Radiance Field)という3次元座標をピクセル値にマッピングする手法が試みられている。
本稿では,構造表現とテクスチャ表現を明示的に学習することで,高忠実度3次元画像合成のための新しいフレームワーク,VolumeGANを提案する。
論文 参考訳(メタデータ) (2021-12-20T18:59:40Z) - GRAM: Generative Radiance Manifolds for 3D-Aware Image Generation [25.20217335614512]
3D対応画像生成モデリングは、カメラポーズを明示的に制御可能な3D一貫性画像を生成することを目的としている。
近年の研究では、非構造2次元画像上でのニューラル放射場(NeRF)ジェネレータのトレーニングによる有望な結果が示されている。
論文 参考訳(メタデータ) (2021-12-16T13:25:49Z) - Light Field Networks: Neural Scene Representations with
Single-Evaluation Rendering [60.02806355570514]
2次元観察から3Dシーンの表現を推定することは、コンピュータグラフィックス、コンピュータビジョン、人工知能の基本的な問題である。
そこで我々は,360度4次元光場における基礎となる3次元シーンの形状と外観の両面を表現した新しいニューラルシーン表現,光場ネットワーク(LFN)を提案する。
LFNからレイをレンダリングするには*single*ネットワークの評価しか必要としない。
論文 参考訳(メタデータ) (2021-06-04T17:54:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。