論文の概要: DOF-GS: Adjustable Depth-of-Field 3D Gaussian Splatting for Refocusing,Defocus Rendering and Blur Removal

• arxiv url: http://arxiv.org/abs/2405.17351v1
• Date: Mon, 27 May 2024 16:54:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-28 14:23:58.821409
• Title: DOF-GS: Adjustable Depth-of-Field 3D Gaussian Splatting for Refocusing,Defocus Rendering and Blur Removal
• Title（参考訳）: DOF-GS:Refocusing,Defocus Rendering, Blurectomyのための調整可能な3次元ガウス切削法
• Authors: Yujie Wang, Praneeth Chakravarthula, Baoquan Chen,
• Abstract要約: 3次元ガウススプラッティング技術は近年,高品質なリアルタイムレンダリングを実現するため,3次元シーン再構成と新しいビュー合成が進歩している。 これらのアプローチは、画像のモデリングにおいて基礎となるピンホールカメラの仮定によって本質的に制限されており、したがって、All-in-Focus (AiF) のシャープイメージ入力にのみ有効である。 これは、撮像素子の深度(DOF)が制限されているため、画像がしばしばデフォーカスのぼやけを示す現実世界のシナリオにおいて、それらの適用性に大きく影響する。 調整可能なDOFエフェクトのレンダリング、デフォーカスのぼかしの除去、および3Dシーンの再フォーカスを可能にするDOF-GSを導入する。
• 参考スコア（独自算出の注目度）: 42.427021878005405
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: 3D Gaussian Splatting-based techniques have recently advanced 3D scene reconstruction and novel view synthesis, achieving high-quality real-time rendering. However, these approaches are inherently limited by the underlying pinhole camera assumption in modeling the images and hence only work for All-in-Focus (AiF) sharp image inputs. This severely affects their applicability in real-world scenarios where images often exhibit defocus blur due to the limited depth-of-field (DOF) of imaging devices. Additionally, existing 3D Gaussian Splatting (3DGS) methods also do not support rendering of DOF effects. To address these challenges, we introduce DOF-GS that allows for rendering adjustable DOF effects, removing defocus blur as well as refocusing of 3D scenes, all from multi-view images degraded by defocus blur. To this end, we re-imagine the traditional Gaussian Splatting pipeline by employing a finite aperture camera model coupled with explicit, differentiable defocus rendering guided by the Circle-of-Confusion (CoC). The proposed framework provides for dynamic adjustment of DOF effects by changing the aperture and focal distance of the underlying camera model on-demand. It also enables rendering varying DOF effects of 3D scenes post-optimization, and generating AiF images from defocused training images. Furthermore, we devise a joint optimization strategy to further enhance details in the reconstructed scenes by jointly optimizing rendered defocused and AiF images. Our experimental results indicate that DOF-GS produces high-quality sharp all-in-focus renderings conditioned on inputs compromised by defocus blur, with the training process incurring only a modest increase in GPU memory consumption. We further demonstrate the applications of the proposed method for adjustable defocus rendering and refocusing of the 3D scene from input images degraded by defocus blur.
• Abstract（参考訳）: 3Dガウススプラッティング技術は近年,高品質なリアルタイムレンダリングを実現するため,3次元シーン再構成と新しいビュー合成が進歩している。 しかしながら、これらのアプローチは、画像のモデリングにおいて基礎となるピンホールカメラの仮定によって本質的に制限されており、したがって、All-in-Focus (AiF) のシャープな画像入力に対してのみ有効である。 これは、撮像素子の深度(DOF)が制限されているため、画像がしばしばデフォーカスのぼやけを示す現実世界のシナリオにおいて、それらの適用性に大きく影響する。 加えて、既存の3Dガウススティング(3DGS)法もDOF効果のレンダリングをサポートしていない。 これらの課題に対処するために、我々は、調整可能なDOF効果のレンダリング、デフォーカスブラーの除去、およびデフォーカスブラーの劣化したマルチビュー画像からの3Dシーンの再フォーカスを可能にするDOF-GSを導入する。 この目的のために、有限開口カメラモデルとCircle-of-Confusion (CoC) でガイドされた明示的で微分可能なデフォーカスレンダリングを併用することにより、従来のガウススティングパイプラインを再想像する。 提案フレームワークは、カメラモデルの開口と焦点距離をオンデマンドで変化させることにより、DOF効果を動的に調整する。 また、最適化後の3Dシーンの様々なDOF効果のレンダリングを可能にし、焦点を絞ったトレーニング画像からAiF画像を生成する。 さらに、レンダリングされた非焦点画像とAiF画像を協調的に最適化することにより、再構成されたシーンの細部をさらに強化する共同最適化戦略を考案した。 実験結果から, DOF-GSは, デフォーカスのぼかしによって妥協された入力に対して, 高速なオールインフォーカスレンダリングを実現し, トレーニングプロセスはGPUメモリの消費をわずかに増加させることが示唆された。 さらに,デフォーカスのぼかしにより劣化した入力画像から3Dシーンの調整可能なデフォーカスレンダリングと再フォーカスを行う手法の応用を実証する。

関連論文リスト

• EVER: Exact Volumetric Ellipsoid Rendering for Real-time View Synthesis [72.53316783628803]
  実時間微分可能な発光専用ボリュームレンダリング法であるExact Volumetric Ellipsoid Rendering (EVER)を提案する。 3D Gaussian Splatting(3DGS)による最近の手法とは異なり、プリミティブベースの表現は正確なボリュームレンダリングを可能にする。 本手法は,3DGSよりもブレンディング問題の方が精度が高く,ビューレンダリングの追従作業も容易であることを示す。
  論文  参考訳（メタデータ） (2024-10-02T17:59:09Z)
• Depth Estimation Based on 3D Gaussian Splatting Siamese Defocus [14.354405484663285]
  本稿では,3次元幾何学における深さ推定のための3次元ガウススプラッティングとシームズネットワークに基づく自己教師型フレームワークを提案する。 提案したフレームワークは、人工的に合成されたデータセットと実際のぼやけたデータセットの両方で検証されている。
  論文  参考訳（メタデータ） (2024-09-18T21:36:37Z)
• Dynamic Neural Radiance Field From Defocused Monocular Video [15.789775912053507]
  そこで我々はD2RF法を提案する。D2RF法は、非焦点単眼ビデオから鋭い新しいビューを復元するための最初の動的NeRF法である。 我々は,デフォーカスのぼかしをモデル化し,非集中的な視点で監督される鋭いNeRFを再構成するために,層状Depth-of-Field (DoF)ボリュームレンダリングを導入する。 本手法は,現場における空間的時間的一貫性を維持しつつ,デフォーカスのぼやけからオール・イン・フォーカスの新規ビューを合成する既存の手法よりも優れる。
  論文  参考訳（メタデータ） (2024-07-08T03:46:56Z)
• fNeRF: High Quality Radiance Fields from Practical Cameras [13.168695239732703]
  本稿では,レンズの光学的特性を活用し,デフォーカスブラーの存在下でのシーン再構成を向上するレイキャスティングの改良を提案する。 提案手法は, ピンホールモデルよりも実用カメラのデフォーカスブラー挙動とよく一致していることを示す。
  論文  参考訳（メタデータ） (2024-06-15T13:33:06Z)
• BAGS: Blur Agnostic Gaussian Splatting through Multi-Scale Kernel Modeling [32.493592776662005]
  様々な画像のぼかしに対するガウススプティングに基づく手法の頑健さを解析する。 この問題に対処するためにBlur Agnostic Gaussian Splatting (BAGS)を提案する。 BAGSは、画像がぼやけているにもかかわらず、3D一貫性と高品質なシーンを再構築できる2Dモデリング能力を導入している。
  論文  参考訳（メタデータ） (2024-03-07T22:21:08Z)
• VastGaussian: Vast 3D Gaussians for Large Scene Reconstruction [59.40711222096875]
  VastGaussianは3次元ガウススティングに基づく大規模シーンにおける高品質な再構成とリアルタイムレンダリングのための最初の方法である。 提案手法は既存のNeRF手法より優れており,複数の大規模シーンデータセットの最先端結果が得られる。
  論文  参考訳（メタデータ） (2024-02-27T11:40:50Z)
• ExBluRF: Efficient Radiance Fields for Extreme Motion Blurred Images [58.24910105459957]
  極端運動ぼかし画像の新しいビュー合成法であるExBluRFを提案する。 提案手法は,6-DOFカメラトラジェクトリをベースとしたモーションブラー定式化と,ボクセルをベースとした放射場からなる。 既存の作業と比較して、トレーニング時間とGPUメモリ使用量の10倍の順序で、よりシャープな3Dシーンを復元する。
  論文  参考訳（メタデータ） (2023-09-16T11:17:25Z)
• NeRFocus: Neural Radiance Field for 3D Synthetic Defocus [3.7767536855440462]
  本稿では, 様々な3次元デフォーカス効果を直接描画できる, 薄膜イメージングによる新しいNeRFフレームワークを提案する。 NeRFocusは、調整可能なカメラポーズ、焦点距離、開口サイズで様々な3Dデフォーカス効果を達成することができる。
  論文  参考訳（メタデータ） (2022-03-10T06:59:10Z)
• Single image deep defocus estimation and its applications [82.93345261434943]
  画像パッチを20レベルの曖昧さの1つに分類するために、ディープニューラルネットワークをトレーニングします。 トレーニングされたモデルは、反復重み付きガイドフィルタを適用して改善するパッチのぼかしを決定するために使用される。 その結果、デフォーカスマップは各ピクセルのぼやけた度合いの情報を運ぶ。
  論文  参考訳（メタデータ） (2021-07-30T06:18:16Z)
• Universal and Flexible Optical Aberration Correction Using Deep-Prior Based Deconvolution [51.274657266928315]
  そこで本研究では,収差画像とpsfマップを入力とし,レンズ固有深層プリエントを組み込んだ潜在高品質版を生成する,psf対応プラグイン・アンド・プレイ深層ネットワークを提案する。 具体的には、多彩なレンズの集合からベースモデルを事前訓練し、パラメータを迅速に精製して特定のレンズに適応させる。
  論文  参考訳（メタデータ） (2021-04-07T12:00:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。