論文の概要: NeRFocus: Neural Radiance Field for 3D Synthetic Defocus

• arxiv url: http://arxiv.org/abs/2203.05189v1
• Date: Thu, 10 Mar 2022 06:59:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-11 14:32:54.295366
• Title: NeRFocus: Neural Radiance Field for 3D Synthetic Defocus
• Title（参考訳）: NeRFocus:3次元合成デフォーカスのための神経放射場
• Authors: Yinhuai Wang, Shuzhou Yang, Yujie Hu and Jian Zhang
• Abstract要約: 本稿では, 様々な3次元デフォーカス効果を直接描画できる, 薄膜イメージングによる新しいNeRFフレームワークを提案する。 NeRFocusは、調整可能なカメラポーズ、焦点距離、開口サイズで様々な3Dデフォーカス効果を達成することができる。
• 参考スコア（独自算出の注目度）: 3.7767536855440462
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural radiance fields (NeRF) bring a new wave for 3D interactive experiences. However, as an important part of the immersive experiences, the defocus effects have not been fully explored within NeRF. Some recent NeRF-based methods generate 3D defocus effects in a post-process fashion by utilizing multiplane technology. Still, they are either time-consuming or memory-consuming. This paper proposes a novel thin-lens-imaging-based NeRF framework that can directly render various 3D defocus effects, dubbed NeRFocus. Unlike the pinhole, the thin lens refracts rays of a scene point, so its imaging on the sensor plane is scattered as a circle of confusion (CoC). A direct solution sampling enough rays to approximate this process is computationally expensive. Instead, we propose to inverse the thin lens imaging to explicitly model the beam path for each point on the sensor plane and generalize this paradigm to the beam path of each pixel, then use the frustum-based volume rendering to render each pixel's beam path. We further design an efficient probabilistic training (p-training) strategy to simplify the training process vastly. Extensive experiments demonstrate that our NeRFocus can achieve various 3D defocus effects with adjustable camera pose, focus distance, and aperture size. Existing NeRF can be regarded as our special case by setting aperture size as zero to render large depth-of-field images. Despite such merits, NeRFocus does not sacrifice NeRF's original performance (e.g., training and inference time, parameter consumption, rendering quality), which implies its great potential for broader application and further improvement.
• Abstract（参考訳）: ニューラルレイディアンス場(NeRF)は3次元インタラクティブ体験のための新しい波をもたらす。 しかし、没入体験の重要な部分として、デフォーカス効果はNeRF内で完全には研究されていない。 近年のNeRF法では, 多面体技術を利用して3次元デフォーカス効果を後処理で生成している。 それでも、それらは時間消費かメモリ消費のいずれかです。 本稿では,NeRFocusと呼ばれる様々な3次元デフォーカス効果を直接レンダリングできる,薄膜イメージングベースの新しいNeRFフレームワークを提案する。 ピンホールとは異なり、薄いレンズはシーンポイントの光を屈折させるので、センサー面上のイメージングは混乱の円(CoC)として散乱する。 この過程を近似するのに十分な光線をサンプリングする直接解法は計算に高価である。 代わりに,センサ面上の各点のビームパスを明示的にモデル化し,このパラダイムを各画素のビームパスに一般化し,フラストムベースのボリュームレンダリングを用いて各画素のビームパスを描画する。 さらに,効率の良い確率的トレーニング(p-training)戦略を考案し,トレーニングプロセスを大幅に単純化する。 我々のNeRFocusは、調整可能なカメラポーズ、焦点距離、開口サイズで様々な3Dデフォーカス効果を達成できることを示した。 既存のNeRFは,フィールド深度画像の描画に開口径を0に設定することで,我々の特別な場合とみなすことができる。 このような利点にもかかわらず、NeRFocusはNeRFの本来の性能(例えば、トレーニングと推論時間、パラメータ消費、レンダリング品質)を犠牲にしていない。

関連論文リスト

• FBINeRF: Feature-Based Integrated Recurrent Network for Pinhole and Fisheye Neural Radiance Fields [13.014637091971842]
  本稿では,ラジアル歪みに適応した柔軟なバンドル調整法により適応的なGRUを提案する。 ピンホールカメラおよび魚眼カメラ用NeRFの高忠実度化について検討した。
  論文  参考訳（メタデータ） (2024-08-03T23:11:20Z)
• fNeRF: High Quality Radiance Fields from Practical Cameras [13.168695239732703]
  本稿では,レンズの光学的特性を活用し,デフォーカスブラーの存在下でのシーン再構成を向上するレイキャスティングの改良を提案する。 提案手法は, ピンホールモデルよりも実用カメラのデフォーカスブラー挙動とよく一致していることを示す。
  論文  参考訳（メタデータ） (2024-06-15T13:33:06Z)
• DOF-GS: Adjustable Depth-of-Field 3D Gaussian Splatting for Refocusing,Defocus Rendering and Blur Removal [42.427021878005405]
  3次元ガウススプラッティング技術は近年,高品質なリアルタイムレンダリングを実現するため,3次元シーン再構成と新しいビュー合成が進歩している。 これらのアプローチは、画像のモデリングにおいて基礎となるピンホールカメラの仮定によって本質的に制限されており、したがって、All-in-Focus (AiF) のシャープイメージ入力にのみ有効である。 これは、撮像素子の深度(DOF)が制限されているため、画像がしばしばデフォーカスのぼやけを示す現実世界のシナリオにおいて、それらの適用性に大きく影響する。 調整可能なDOFエフェクトのレンダリング、デフォーカスのぼかしの除去、および3Dシーンの再フォーカスを可能にするDOF-GSを導入する。
  論文  参考訳（メタデータ） (2024-05-27T16:54:49Z)
• Neural Radiance Fields with Torch Units [19.927273454898295]
  学習に基づく3D再構成法は産業用途に広く用いられている。 本稿では,よりコンテキスト情報を持つ単一カメラ光線を奨励する新しい推論パターンを提案する。 トーチライトとして、画像のパッチを描画する手法の光線を要約するため、提案手法をTorch-NeRFと呼ぶ。
  論文  参考訳（メタデータ） (2024-04-03T10:08:55Z)
• PERF: Panoramic Neural Radiance Field from a Single Panorama [109.31072618058043]
  PERFはパノラマ性神経放射場を1つのパノラマから訓練する新しいビュー合成フレームワークである。 本研究では,360度2Dシーンを3Dシーンに持ち上げるために,新しい共同RGBDインペイント法とプログレッシブ・インペイント・アンド・エラスティング法を提案する。 PERFは,パノラマから3D,テキストから3D,3Dシーンのスタイリングなど,現実世界のアプリケーションに広く利用することができる。
  論文  参考訳（メタデータ） (2023-10-25T17:59:01Z)
• Multi-Space Neural Radiance Fields [74.46513422075438]
  既存のニューラルレージアンス場(NeRF)法は反射物体の存在に悩まされている。 並列部分空間における特徴場の群を用いてシーンを表現するマルチスペースニューラルレイディアンス場(MS-NeRF)を提案する。 提案手法は,高品質シーンのレンダリングにおいて,既存の単一空間NeRF法よりも優れていた。
  論文  参考訳（メタデータ） (2023-05-07T13:11:07Z)
• NerfDiff: Single-image View Synthesis with NeRF-guided Distillation from 3D-aware Diffusion [107.67277084886929]
  単一の画像からの新しいビュー合成には、オブジェクトやシーンの隠蔽領域を推論すると同時に、入力とのセマンティックおよび物理的整合性を同時に維持する必要がある。 そこで我々は,NerfDiffを提案する。NerfDiffは3D対応条件拡散モデル(CDM)の知識を,テスト時に仮想ビューの集合を合成・精製することで,NeRFに抽出することでこの問題に対処する。 さらに,CDMサンプルから3次元一貫した仮想ビューを同時に生成し,改良された仮想ビューに基づいてNeRFを微調整する新しいNeRF誘導蒸留アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-02-20T17:12:00Z)
• AligNeRF: High-Fidelity Neural Radiance Fields via Alignment-Aware Training [100.33713282611448]
  我々は、高分解能データによるNeRFのトレーニングに関する最初のパイロット研究を行う。 本稿では,多層パーセプトロンと畳み込み層との結合を含む,対応する解を提案する。 私たちのアプローチは、明らかなトレーニング/テストコストを導入することなく、ほぼ無償です。
  論文  参考訳（メタデータ） (2022-11-17T17:22:28Z)
• PDRF: Progressively Deblurring Radiance Field for Fast and Robust Scene Reconstruction from Blurry Images [75.87721926918874]
  PDRF(Progressive Deblurring Radiance Field)について報告する。 PDRFは、ぼやけた画像から高品質な放射場を効率的に再構成する新しい手法である。 PDRF は以前の State-of-The-Art シーン再構成手法よりも15倍高速であることを示す。
  論文  参考訳（メタデータ） (2022-08-17T03:42:29Z)
• AR-NeRF: Unsupervised Learning of Depth and Defocus Effects from Natural Images with Aperture Rendering Neural Radiance Fields [23.92262483956057]
  データ収集の利点から、完全に教師なしの3D表現学習が注目を集めている。 視点とデフォーカスの手がかりを統一的に活用できる開口描画型NeRF(AR-NeRF)を提案する。 深度とデフォーカス効果の教師なし学習におけるAR-NeRFの有用性を実証する。
  論文  参考訳（メタデータ） (2022-06-13T12:41:59Z)
• Single image deep defocus estimation and its applications [82.93345261434943]
  画像パッチを20レベルの曖昧さの1つに分類するために、ディープニューラルネットワークをトレーニングします。 トレーニングされたモデルは、反復重み付きガイドフィルタを適用して改善するパッチのぼかしを決定するために使用される。 その結果、デフォーカスマップは各ピクセルのぼやけた度合いの情報を運ぶ。
  論文  参考訳（メタデータ） (2021-07-30T06:18:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。