論文の概要: NeRFocus: Neural Radiance Field for 3D Synthetic Defocus
- arxiv url: http://arxiv.org/abs/2203.05189v1
- Date: Thu, 10 Mar 2022 06:59:10 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-11 14:32:54.295366
- Title: NeRFocus: Neural Radiance Field for 3D Synthetic Defocus
- Title(参考訳): NeRFocus:3次元合成デフォーカスのための神経放射場
- Authors: Yinhuai Wang, Shuzhou Yang, Yujie Hu and Jian Zhang
- Abstract要約: 本稿では, 様々な3次元デフォーカス効果を直接描画できる, 薄膜イメージングによる新しいNeRFフレームワークを提案する。
NeRFocusは、調整可能なカメラポーズ、焦点距離、開口サイズで様々な3Dデフォーカス効果を達成することができる。
- 参考スコア(独自算出の注目度): 3.7767536855440462
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural radiance fields (NeRF) bring a new wave for 3D interactive
experiences. However, as an important part of the immersive experiences, the
defocus effects have not been fully explored within NeRF. Some recent
NeRF-based methods generate 3D defocus effects in a post-process fashion by
utilizing multiplane technology. Still, they are either time-consuming or
memory-consuming. This paper proposes a novel thin-lens-imaging-based NeRF
framework that can directly render various 3D defocus effects, dubbed NeRFocus.
Unlike the pinhole, the thin lens refracts rays of a scene point, so its
imaging on the sensor plane is scattered as a circle of confusion (CoC). A
direct solution sampling enough rays to approximate this process is
computationally expensive. Instead, we propose to inverse the thin lens imaging
to explicitly model the beam path for each point on the sensor plane and
generalize this paradigm to the beam path of each pixel, then use the
frustum-based volume rendering to render each pixel's beam path. We further
design an efficient probabilistic training (p-training) strategy to simplify
the training process vastly. Extensive experiments demonstrate that our
NeRFocus can achieve various 3D defocus effects with adjustable camera pose,
focus distance, and aperture size. Existing NeRF can be regarded as our special
case by setting aperture size as zero to render large depth-of-field images.
Despite such merits, NeRFocus does not sacrifice NeRF's original performance
(e.g., training and inference time, parameter consumption, rendering quality),
which implies its great potential for broader application and further
improvement.
- Abstract(参考訳): ニューラルレイディアンス場(NeRF)は3次元インタラクティブ体験のための新しい波をもたらす。
しかし、没入体験の重要な部分として、デフォーカス効果はNeRF内で完全には研究されていない。
近年のNeRF法では, 多面体技術を利用して3次元デフォーカス効果を後処理で生成している。
それでも、それらは時間消費かメモリ消費のいずれかです。
本稿では,NeRFocusと呼ばれる様々な3次元デフォーカス効果を直接レンダリングできる,薄膜イメージングベースの新しいNeRFフレームワークを提案する。
ピンホールとは異なり、薄いレンズはシーンポイントの光を屈折させるので、センサー面上のイメージングは混乱の円(CoC)として散乱する。
この過程を近似するのに十分な光線をサンプリングする直接解法は計算に高価である。
代わりに,センサ面上の各点のビームパスを明示的にモデル化し,このパラダイムを各画素のビームパスに一般化し,フラストムベースのボリュームレンダリングを用いて各画素のビームパスを描画する。
さらに,効率の良い確率的トレーニング(p-training)戦略を考案し,トレーニングプロセスを大幅に単純化する。
我々のNeRFocusは、調整可能なカメラポーズ、焦点距離、開口サイズで様々な3Dデフォーカス効果を達成できることを示した。
既存のNeRFは,フィールド深度画像の描画に開口径を0に設定することで,我々の特別な場合とみなすことができる。
このような利点にもかかわらず、NeRFocusはNeRFの本来の性能(例えば、トレーニングと推論時間、パラメータ消費、レンダリング品質)を犠牲にしていない。
関連論文リスト
- PERF: Panoramic Neural Radiance Field from a Single Panorama [109.31072618058043]
PERFはパノラマ性神経放射場を1つのパノラマから訓練する新しいビュー合成フレームワークである。
本研究では,360度2Dシーンを3Dシーンに持ち上げるために,新しい共同RGBDインペイント法とプログレッシブ・インペイント・アンド・エラスティング法を提案する。
PERFは,パノラマから3D,テキストから3D,3Dシーンのスタイリングなど,現実世界のアプリケーションに広く利用することができる。
論文 参考訳(メタデータ) (2023-10-25T17:59:01Z) - Multi-Space Neural Radiance Fields [74.46513422075438]
既存のニューラルレージアンス場(NeRF)法は反射物体の存在に悩まされている。
並列部分空間における特徴場の群を用いてシーンを表現するマルチスペースニューラルレイディアンス場(MS-NeRF)を提案する。
提案手法は,高品質シーンのレンダリングにおいて,既存の単一空間NeRF法よりも優れていた。
論文 参考訳(メタデータ) (2023-05-07T13:11:07Z) - ABLE-NeRF: Attention-Based Rendering with Learnable Embeddings for
Neural Radiance Field [20.986012773294714]
我々は,光線に沿ったボリュームに自己注意型フレームワークを導入することで,物理ベースのVRアプローチに代わる方法を提案する。
ABLE-NeRFと呼ばれるこの手法は、レンダリングにおける光沢のある表面のぼやけを著しく低減し、先行技術に欠ける現実的な半透明な表面を生成する。
論文 参考訳(メタデータ) (2023-03-24T05:34:39Z) - NerfDiff: Single-image View Synthesis with NeRF-guided Distillation from
3D-aware Diffusion [107.67277084886929]
単一の画像からの新しいビュー合成には、オブジェクトやシーンの隠蔽領域を推論すると同時に、入力とのセマンティックおよび物理的整合性を同時に維持する必要がある。
そこで我々は,NerfDiffを提案する。NerfDiffは3D対応条件拡散モデル(CDM)の知識を,テスト時に仮想ビューの集合を合成・精製することで,NeRFに抽出することでこの問題に対処する。
さらに,CDMサンプルから3次元一貫した仮想ビューを同時に生成し,改良された仮想ビューに基づいてNeRFを微調整する新しいNeRF誘導蒸留アルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-02-20T17:12:00Z) - Deblurred Neural Radiance Field with Physical Scene Priors [6.128295038453101]
本稿では,2つの物理的先行条件に制約されたぼやけた画像に対するDP-NeRFフレームワークを提案する。
本研究では,2種類のぼかしを有する合成シーンと実シーンに対して,カメラモーションのぼかしとデフォーカスのぼかしの2種類の実験結果を示す。
論文 参考訳(メタデータ) (2022-11-22T06:40:53Z) - AligNeRF: High-Fidelity Neural Radiance Fields via Alignment-Aware
Training [100.33713282611448]
我々は、高分解能データによるNeRFのトレーニングに関する最初のパイロット研究を行う。
本稿では,多層パーセプトロンと畳み込み層との結合を含む,対応する解を提案する。
私たちのアプローチは、明らかなトレーニング/テストコストを導入することなく、ほぼ無償です。
論文 参考訳(メタデータ) (2022-11-17T17:22:28Z) - PDRF: Progressively Deblurring Radiance Field for Fast and Robust Scene
Reconstruction from Blurry Images [75.87721926918874]
PDRF(Progressive Deblurring Radiance Field)について報告する。
PDRFは、ぼやけた画像から高品質な放射場を効率的に再構成する新しい手法である。
PDRF は以前の State-of-The-Art シーン再構成手法よりも15倍高速であることを示す。
論文 参考訳(メタデータ) (2022-08-17T03:42:29Z) - AR-NeRF: Unsupervised Learning of Depth and Defocus Effects from Natural
Images with Aperture Rendering Neural Radiance Fields [23.92262483956057]
データ収集の利点から、完全に教師なしの3D表現学習が注目を集めている。
視点とデフォーカスの手がかりを統一的に活用できる開口描画型NeRF(AR-NeRF)を提案する。
深度とデフォーカス効果の教師なし学習におけるAR-NeRFの有用性を実証する。
論文 参考訳(メタデータ) (2022-06-13T12:41:59Z) - Deblur-NeRF: Neural Radiance Fields from Blurry Images [30.709331199256376]
ぼやけた入力から鋭いNeRFを復元する最初の方法であるDe-NeRFを提案する。
我々は、ぼやけの過程をシミュレートしてぼやけたビューを再構築する分析・バイ・ブルーのアプローチを採用する。
実写シーンにおいて最もよく見られる2種類のぼかしという,カメラモーションのぼかしとデフォーカスのぼかしの両方で,本手法が有効であることを示す。
論文 参考訳(メタデータ) (2021-11-29T01:49:15Z) - T\"oRF: Time-of-Flight Radiance Fields for Dynamic Scene View Synthesis [32.878225196378374]
連続波ToFカメラのための画像形成モデルに基づくニューラル表現を提案する。
提案手法は, 動的シーン再構成のロバスト性を改善し, 誤ったキャリブレーションや大きな動きに改善することを示す。
論文 参考訳(メタデータ) (2021-09-30T17:12:59Z) - Single image deep defocus estimation and its applications [82.93345261434943]
画像パッチを20レベルの曖昧さの1つに分類するために、ディープニューラルネットワークをトレーニングします。
トレーニングされたモデルは、反復重み付きガイドフィルタを適用して改善するパッチのぼかしを決定するために使用される。
その結果、デフォーカスマップは各ピクセルのぼやけた度合いの情報を運ぶ。
論文 参考訳(メタデータ) (2021-07-30T06:18:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。