論文の概要: Dynamic Neural Radiance Field From Defocused Monocular Video

• arxiv url: http://arxiv.org/abs/2407.05586v1
• Date: Mon, 8 Jul 2024 03:46:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-09 17:10:02.885015
• Title: Dynamic Neural Radiance Field From Defocused Monocular Video
• Title（参考訳）: 非焦点単眼ビデオからの動的ニューラルラジアンス場
• Authors: Xianrui Luo, Huiqiang Sun, Juewen Peng, Zhiguo Cao,
• Abstract要約: そこで我々はD2RF法を提案する。D2RF法は、非焦点単眼ビデオから鋭い新しいビューを復元するための最初の動的NeRF法である。 我々は,デフォーカスのぼかしをモデル化し,非集中的な視点で監督される鋭いNeRFを再構成するために,層状Depth-of-Field (DoF)ボリュームレンダリングを導入する。 本手法は,現場における空間的時間的一貫性を維持しつつ,デフォーカスのぼやけからオール・イン・フォーカスの新規ビューを合成する既存の手法よりも優れる。
• 参考スコア（独自算出の注目度）: 15.789775912053507
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Dynamic Neural Radiance Field (NeRF) from monocular videos has recently been explored for space-time novel view synthesis and achieved excellent results. However, defocus blur caused by depth variation often occurs in video capture, compromising the quality of dynamic reconstruction because the lack of sharp details interferes with modeling temporal consistency between input views. To tackle this issue, we propose D2RF, the first dynamic NeRF method designed to restore sharp novel views from defocused monocular videos. We introduce layered Depth-of-Field (DoF) volume rendering to model the defocus blur and reconstruct a sharp NeRF supervised by defocused views. The blur model is inspired by the connection between DoF rendering and volume rendering. The opacity in volume rendering aligns with the layer visibility in DoF rendering.To execute the blurring, we modify the layered blur kernel to the ray-based kernel and employ an optimized sparse kernel to gather the input rays efficiently and render the optimized rays with our layered DoF volume rendering. We synthesize a dataset with defocused dynamic scenes for our task, and extensive experiments on our dataset show that our method outperforms existing approaches in synthesizing all-in-focus novel views from defocus blur while maintaining spatial-temporal consistency in the scene.
• Abstract（参考訳）: 近年,一眼レフビデオからの動的ニューラルラジアンス場 (NeRF) を時空の新規なビュー合成のために探索し,優れた結果を得た。 しかし、深度変化によるデフォーカスのぼかしは、しばしばビデオキャプチャーで発生し、鋭い詳細の欠如が入力ビュー間の時間的一貫性のモデリングに干渉するため、動的再構成の品質を損なう。 この問題に対処するために,D2RF法を提案する。D2RF法は,非焦点単眼ビデオから鋭い新しいビューを復元するための最初の動的NeRF法である。 我々は,デフォーカスのぼかしをモデル化し,非集中的な視点で監督される鋭いNeRFを再構成するために,層状Depth-of-Field (DoF)ボリュームレンダリングを導入する。 ブラーモデルはDoFレンダリングとボリュームレンダリングの接続にインスパイアされている。 ボリュームレンダリングにおける不透明度は、DoFレンダリングにおける層視認性と一致し、ぼかしを実行するために、層状ぼかしカーネルをレイベースカーネルに変更し、最適化されたスパースカーネルを用いて、入力線を効率よく収集し、最適化された光線を層状DoFボリュームレンダリングでレンダリングする。 我々は,タスクに焦点を絞った動的シーンを用いたデータセットを合成し,提案手法は空間的時間的一貫性を維持しつつ,デフォーカスのぼやけからオール・イン・フォーカス・ノベルビューを合成する既存手法よりも優れていることを示す。

関連論文リスト

• D-NPC: Dynamic Neural Point Clouds for Non-Rigid View Synthesis from Monocular Video [53.83936023443193]
  本稿では,スマートフォンのキャプチャなどのモノクロ映像から動的に新しいビューを合成する手法を導入することにより,この分野に貢献する。 我々のアプローチは、局所的な幾何学と外観を別個のハッシュエンコードされたニューラル特徴グリッドにエンコードする暗黙の時間条件のポイントクラウドである、$textitdynamic Neural point cloudとして表現されている。
  論文  参考訳（メタデータ） (2024-06-14T14:35:44Z)
• NeRF-Casting: Improved View-Dependent Appearance with Consistent Reflections [57.63028964831785]
  最近の研究は、遠方の環境照明の詳細な明細な外観を描画するNeRFの能力を改善しているが、近い内容の一貫した反射を合成することはできない。 我々はこれらの問題をレイトレーシングに基づくアプローチで解決する。 このモデルでは、それぞれのカメラ線に沿った点における視界依存放射率を求めるために高価なニューラルネットワークをクエリする代わりに、これらの点から光を流し、NeRF表現を通して特徴ベクトルを描画します。
  論文  参考訳（メタデータ） (2024-05-23T17:59:57Z)
• DyBluRF: Dynamic Neural Radiance Fields from Blurry Monocular Video [18.424138608823267]
  動きのぼかしに影響を受ける単眼ビデオから鋭い新しいビューを合成する動的放射場アプローチであるDyBluRFを提案する。 入力画像中の動きのぼかしを考慮し、シーン内のカメラ軌跡とオブジェクト離散コサイン変換(DCT)トラジェクトリを同時にキャプチャする。
  論文  参考訳（メタデータ） (2024-03-15T08:48:37Z)
• DyBluRF: Dynamic Deblurring Neural Radiance Fields for Blurry Monocular Video [25.964642223641057]
  そこで我々は,DyBluRFと呼ばれる,ぼやけたビデオモノクロビデオのための動的デブロアリングフレームワークを提案する。 我々のDyBluRFは、新しい2段階のフレームワークで、ぼやけたモノクロビデオのための新しいビュー合成を処理する最初のものです。
  論文  参考訳（メタデータ） (2023-12-21T02:01:19Z)
• PNeRFLoc: Visual Localization with Point-based Neural Radiance Fields [54.8553158441296]
  統一された点ベース表現に基づく新しい視覚的ローカライゼーションフレームワーク PNeRFLoc を提案する。 一方、PNeRFLocは2次元特徴点と3次元特徴点をマッチングして初期ポーズ推定をサポートする。 一方、レンダリングベースの最適化を用いた新しいビュー合成によるポーズ改善も実現している。
  論文  参考訳（メタデータ） (2023-12-17T08:30:00Z)
• NeVRF: Neural Video-based Radiance Fields for Long-duration Sequences [53.8501224122952]
  本稿では,新しいニューラルビデオベース放射場(NeVRF)の表現を提案する。 NeVRFは、画像ベースのレンダリングを備えたニューラルラディアンスフィールドをマージし、長期のダイナミックな内向きシーンにおけるフォトリアリスティックなノベルビュー合成をサポートする。 本実験は,NeVRFが長期化シーケンスレンダリング,シーケンシャルデータ再構成,コンパクトデータストレージの実現に有効であることを示す。
  論文  参考訳（メタデータ） (2023-12-10T11:14:30Z)
• CLONeR: Camera-Lidar Fusion for Occupancy Grid-aided Neural Representations [77.90883737693325]
  本稿では,スパース入力センサビューから観測される大規模な屋外運転シーンをモデル化することで,NeRFを大幅に改善するCLONeRを提案する。 これは、NeRFフレームワーク内の占有率と色学習を、それぞれLiDARとカメラデータを用いてトレーニングされた個別のMulti-Layer Perceptron(MLP)に分離することで実現される。 さらに,NeRFモデルと平行に3D Occupancy Grid Maps(OGM)を構築する手法を提案し,この占有グリッドを利用して距離空間のレンダリングのために線に沿った点のサンプリングを改善する。
  論文  参考訳（メタデータ） (2022-09-02T17:44:50Z)
• T\"oRF: Time-of-Flight Radiance Fields for Dynamic Scene View Synthesis [32.878225196378374]
  連続波ToFカメラのための画像形成モデルに基づくニューラル表現を提案する。 提案手法は, 動的シーン再構成のロバスト性を改善し, 誤ったキャリブレーションや大きな動きに改善することを示す。
  論文  参考訳（メタデータ） (2021-09-30T17:12:59Z)
• NeRF++: Analyzing and Improving Neural Radiance Fields [117.73411181186088]
  ニューラル・レージアンス・フィールド(NeRF)は、様々なキャプチャ設定のための印象的なビュー合成結果を達成する。 NeRFは、ビュー不変不透明度とビュー依存カラーボリュームを表す多層パーセプトロンを一連のトレーニング画像に適合させる。 大規模3次元シーンにおける物体の360度捕獲にNeRFを適用する際のパラメトリゼーション問題に対処する。
  論文  参考訳（メタデータ） (2020-10-15T03:24:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。