論文の概要: DoF-NeRF: Depth-of-Field Meets Neural Radiance Fields

• arxiv url: http://arxiv.org/abs/2208.00945v1
• Date: Mon, 1 Aug 2022 15:53:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-02 14:04:26.519210
• Title: DoF-NeRF: Depth-of-Field Meets Neural Radiance Fields
• Title（参考訳）: DoF-NeRF:ニューラル・ラジアンス・フィールドの深度
• Authors: Zijin Wu, Xingyi Li, Juewen Peng, Hao Lu, Zhiguo Cao, Weicai Zhong
• Abstract要約: そこで我々は,Def-NeRFを導入し,Def効果をシミュレートする新しいニューラルネットワーク手法を提案する。 DoF-NeRFは、明示的な開口モデリングから恩恵を受け、仮想開口と焦点パラメータを調整することで、DoF効果を直接操作できる。 合成および実世界のデータセットの実験により、DoF-NeRFは、オールインフォーカス設定でNeRFと互換性があるだけでなく、浅いDoF入力で条件付けられたオールインフォーカスの新規ビューを合成できることが示されている。
• 参考スコア（独自算出の注目度）: 23.125182292913003
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Radiance Field (NeRF) and its variants have exhibited great success on representing 3D scenes and synthesizing photo-realistic novel views. However, they are generally based on the pinhole camera model and assume all-in-focus inputs. This limits their applicability as images captured from the real world often have finite depth-of-field (DoF). To mitigate this issue, we introduce DoF-NeRF, a novel neural rendering approach that can deal with shallow DoF inputs and can simulate DoF effect. In particular, it extends NeRF to simulate the aperture of lens following the principles of geometric optics. Such a physical guarantee allows DoF-NeRF to operate views with different focus configurations. Benefiting from explicit aperture modeling, DoF-NeRF also enables direct manipulation of DoF effect by adjusting virtual aperture and focus parameters. It is plug-and-play and can be inserted into NeRF-based frameworks. Experiments on synthetic and real-world datasets show that, DoF-NeRF not only performs comparably with NeRF in the all-in-focus setting, but also can synthesize all-in-focus novel views conditioned on shallow DoF inputs. An interesting application of DoF-NeRF to DoF rendering is also demonstrated. The source code will be made available at https://github.com/zijinwuzijin/DoF-NeRF.
• Abstract（参考訳）: ニューラル・ラジアンス・フィールド(NeRF)とその変種は、3Dシーンの表現と写真リアリスティック・ノベルビューの合成で大きな成功を収めている。 しかし、一般にピンホールカメラモデルに基づいており、全フォーカス入力を想定している。 これにより、実世界から撮影した画像は、しばしば有限深度(DoF)を持つため、適用性が制限される。 この問題を軽減するために、我々は、浅いDoF入力に対処し、DoF効果をシミュレートできる新しいニューラルネットワークレンダリングアプローチであるDoF-NeRFを導入する。 特に、NeRFを拡張して幾何学光学の原理に従ってレンズの開口をシミュレートする。 このような物理的保証により、DoF-NeRFは異なるフォーカス構成でビューを操作できる。 DoF-NeRFは、明示的な開口モデリングから恩恵を受け、仮想開口と焦点パラメータを調整することで、DoF効果を直接操作できる。 プラグイン・アンド・プレイで、NeRFベースのフレームワークに挿入できる。 合成および実世界のデータセットの実験により、DoF-NeRFは、オールインフォーカス設定でNeRFと互換性があるだけでなく、浅いDoF入力で条件付けられたオールインフォーカスの新規ビューを合成できることが示されている。 DoF-NeRFのDoFレンダリングへの応用も興味深い。 ソースコードはhttps://github.com/zijinwuzijin/dof-nerfで入手できる。

関連論文リスト

• FBINeRF: Feature-Based Integrated Recurrent Network for Pinhole and Fisheye Neural Radiance Fields [13.014637091971842]
  本稿では,ラジアル歪みに適応した柔軟なバンドル調整法により適応的なGRUを提案する。 ピンホールカメラおよび魚眼カメラ用NeRFの高忠実度化について検討した。
  論文  参考訳（メタデータ） (2024-08-03T23:11:20Z)
• IFFNeRF: Initialisation Free and Fast 6DoF pose estimation from a single image and a NeRF model [17.202161109957608]
  IFFNeRFを導入し、所定の画像の6自由度カメラポーズを推定する。 IFFNeRFは特にリアルタイムに動作するように設計されており、最初のポーズ推定の必要性を排除している。
  論文  参考訳（メタデータ） (2024-03-19T12:36:51Z)
• CF-NeRF: Camera Parameter Free Neural Radiance Fields with Incremental Learning [23.080474939586654]
  我々は、新しいアンダーラインカメラパラメーターUnderlinefree Neural Radiance Field (CF-NeRF)を提案する。 CF-NeRFは3次元表現を漸進的に再構成し、動きからインクリメンタル構造にインスパイアされたカメラパラメータを復元する。 その結果、CF-NeRFはカメラ回転に頑健であり、事前情報や制約を伴わずに最先端の結果が得られることを示した。
  論文  参考訳（メタデータ） (2023-12-14T09:09:31Z)
• Multi-Space Neural Radiance Fields [74.46513422075438]
  既存のニューラルレージアンス場(NeRF)法は反射物体の存在に悩まされている。 並列部分空間における特徴場の群を用いてシーンを表現するマルチスペースニューラルレイディアンス場(MS-NeRF)を提案する。 提案手法は,高品質シーンのレンダリングにおいて,既存の単一空間NeRF法よりも優れていた。
  論文  参考訳（メタデータ） (2023-05-07T13:11:07Z)
• DBARF: Deep Bundle-Adjusting Generalizable Neural Radiance Fields [75.35416391705503]
  BARFやGARFといった最近の研究は、座標MLPに基づくニューラルレイディアンスフィールド(NeRF)でカメラのポーズを調整することができる。 印象的な結果にもかかわらず、これらの手法は画像特徴抽出を必要とするGeneralizable NeRF(GeNeRF)には適用できない。 本稿では,GeNeRFとカメラポーズを協調的に最適化することの難しさをまず分析し,さらにこれらの問題に対処するためのDBARFを提案する。
  論文  参考訳（メタデータ） (2023-03-25T14:18:30Z)
• NerfDiff: Single-image View Synthesis with NeRF-guided Distillation from 3D-aware Diffusion [107.67277084886929]
  単一の画像からの新しいビュー合成には、オブジェクトやシーンの隠蔽領域を推論すると同時に、入力とのセマンティックおよび物理的整合性を同時に維持する必要がある。 そこで我々は,NerfDiffを提案する。NerfDiffは3D対応条件拡散モデル(CDM)の知識を,テスト時に仮想ビューの集合を合成・精製することで,NeRFに抽出することでこの問題に対処する。 さらに,CDMサンプルから3次元一貫した仮想ビューを同時に生成し,改良された仮想ビューに基づいてNeRFを微調整する新しいNeRF誘導蒸留アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-02-20T17:12:00Z)
• NeRFocus: Neural Radiance Field for 3D Synthetic Defocus [3.7767536855440462]
  本稿では, 様々な3次元デフォーカス効果を直接描画できる, 薄膜イメージングによる新しいNeRFフレームワークを提案する。 NeRFocusは、調整可能なカメラポーズ、焦点距離、開口サイズで様々な3Dデフォーカス効果を達成することができる。
  論文  参考訳（メタデータ） (2022-03-10T06:59:10Z)
• BARF: Bundle-Adjusting Neural Radiance Fields [104.97810696435766]
  不完全なカメラポーズからNeRFを訓練するためのバンドル調整ニューラルラジアンスフィールド(BARF)を提案します。 BARFは、ニューラルネットワークシーンの表現を効果的に最適化し、大きなカメラのポーズミスを同時に解決する。 これにより、未知のカメラポーズからの映像シーケンスのビュー合成とローカライズが可能になり、視覚ローカライズシステムのための新しい道を開くことができる。
  論文  参考訳（メタデータ） (2021-04-13T17:59:51Z)
• iNeRF: Inverting Neural Radiance Fields for Pose Estimation [68.91325516370013]
  Neural RadianceField(NeRF)を「反転」してメッシュフリーポーズ推定を行うフレームワークiNeRFを紹介します。 NeRFはビュー合成のタスクに極めて有効であることが示されている。
  論文  参考訳（メタデータ） (2020-12-10T18:36:40Z)
• NeRF++: Analyzing and Improving Neural Radiance Fields [117.73411181186088]
  ニューラル・レージアンス・フィールド(NeRF)は、様々なキャプチャ設定のための印象的なビュー合成結果を達成する。 NeRFは、ビュー不変不透明度とビュー依存カラーボリュームを表す多層パーセプトロンを一連のトレーニング画像に適合させる。 大規模3次元シーンにおける物体の360度捕獲にNeRFを適用する際のパラメトリゼーション問題に対処する。
  論文  参考訳（メタデータ） (2020-10-15T03:24:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。