論文の概要: Nerfbusters: Removing Ghostly Artifacts from Casually Captured NeRFs
- arxiv url: http://arxiv.org/abs/2304.10532v3
- Date: Tue, 17 Oct 2023 18:15:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-19 20:40:11.848957
- Title: Nerfbusters: Removing Ghostly Artifacts from Casually Captured NeRFs
- Title(参考訳): Nerfbusters:原因不明のNeRFからゴーストなアーティファクトを除去する
- Authors: Frederik Warburg, Ethan Weber, Matthew Tancik, Aleksander Holynski,
Angjoo Kanazawa
- Abstract要約: カジュアルに捕獲されたニューラル・レージアンス・フィールド(NeRF)は、カメラの軌道の外側でレンダリングされたとき、フローターや欠陥のある幾何学などの人工物に悩まされる。
本稿では,2つのカメラトラジェクトリがシーンに記録される新しいデータセットと評価手法を提案する。
このデータ駆動型先行処理はフローターを除去し,カジュアルキャプチャのためのシーン形状を改善した。
- 参考スコア(独自算出の注目度): 78.75872372856597
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Casually captured Neural Radiance Fields (NeRFs) suffer from artifacts such
as floaters or flawed geometry when rendered outside the camera trajectory.
Existing evaluation protocols often do not capture these effects, since they
usually only assess image quality at every 8th frame of the training capture.
To push forward progress in novel-view synthesis, we propose a new dataset and
evaluation procedure, where two camera trajectories are recorded of the scene:
one used for training, and the other for evaluation. In this more challenging
in-the-wild setting, we find that existing hand-crafted regularizers do not
remove floaters nor improve scene geometry. Thus, we propose a 3D
diffusion-based method that leverages local 3D priors and a novel density-based
score distillation sampling loss to discourage artifacts during NeRF
optimization. We show that this data-driven prior removes floaters and improves
scene geometry for casual captures.
- Abstract(参考訳): カジュアルに捕獲されたニューラル・ラジアンス・フィールド(nerfs)は、カメラの軌道の外でレンダリングする際にフローターや欠陥のある幾何学などの人工物に苦しむ。
既存の評価プロトコルは、通常、トレーニングキャプチャの8番目のフレームごとに画像品質のみを評価するため、これらの効果をキャプチャしないことが多い。
新規視点合成の進歩を推し進めるために,2つのカメラトラジェクトリがシーンに記録され,一方がトレーニングに,もう一方が評価に使用される新しいデータセットと評価手順を提案する。
このより困難な状況下では、既存の手作りの正規化器はフローターを除去したり、風景形状を改良したりしない。
そこで我々は, 局所的な3次元先行値と新しい密度に基づくスコア蒸留サンプリング損失を利用した3次元拡散法を提案する。
このデータ駆動型プリエントはフローターを取り除き,カジュアルキャプチャのためのシーン形状を改善する。
関連論文リスト
- RoGUENeRF: A Robust Geometry-Consistent Universal Enhancer for NeRF [1.828790674925926]
2Dエンハンサーは、いくつかの詳細を回復するために事前訓練することができるが、シーン幾何学には依存しない。
既存の3Dエンハンサーは、近隣のトレーニング画像から、一般化可能な方法で詳細を転送することができる。
両パラダイムの長所を生かしたニューラルレンダリングエンハンサーであるRoGUENeRFを提案する。
論文 参考訳(メタデータ) (2024-03-18T16:11:42Z) - PlatoNeRF: 3D Reconstruction in Plato's Cave via Single-View Two-Bounce Lidar [25.332440946211236]
単一視点からの3次元再構成は、単眼視からの曖昧さと閉鎖領域に関する情報の欠如により困難である。
単一光子アバランシェダイオードで捉えた飛行時間データを用いてこれらの制限を克服する。
我々は、制御された環境照明やシーンアルベドに頼らず、データの先行や依存なしに、可視・隠蔽幾何を再構築できることを実証した。
論文 参考訳(メタデータ) (2023-12-21T18:59:53Z) - IL-NeRF: Incremental Learning for Neural Radiance Fields with Camera
Pose Alignment [12.580584725107173]
インクリメンタルなNeRFトレーニングのための新しいフレームワークであるIL-NeRFを提案する。
IL-NeRFは、インクリメンタルなNeRFトレーニングを処理し、ベースラインを最大54.04%のレンダリング品質で上回ります。
論文 参考訳(メタデータ) (2023-12-10T04:12:27Z) - Re-Nerfing: Improving Novel Views Synthesis through Novel Views Synthesis [80.3686833921072]
Re-Nerfingは単純で汎用的なマルチステージデータ拡張アプローチである。
利用可能なビューでNeRFをトレーニングした後、最適化されたNeRFを使用して、元のビューに関する擬似ビューを合成します。
また、原画像と疑似ビューの両方が不確実領域を隠蔽する第2のNeRFを訓練する。
論文 参考訳(メタデータ) (2023-12-04T18:56:08Z) - Clean-NeRF: Reformulating NeRF to account for View-Dependent
Observations [67.54358911994967]
本稿では,複雑なシーンにおける3次元再構成と新しいビューレンダリングのためのクリーンネRFを提案する。
clean-NeRFはプラグインとして実装することができ、既存のNeRFベースのメソッドを追加入力なしですぐに利用することができる。
論文 参考訳(メタデータ) (2023-03-26T12:24:31Z) - NerfDiff: Single-image View Synthesis with NeRF-guided Distillation from
3D-aware Diffusion [107.67277084886929]
単一の画像からの新しいビュー合成には、オブジェクトやシーンの隠蔽領域を推論すると同時に、入力とのセマンティックおよび物理的整合性を同時に維持する必要がある。
そこで我々は,NerfDiffを提案する。NerfDiffは3D対応条件拡散モデル(CDM)の知識を,テスト時に仮想ビューの集合を合成・精製することで,NeRFに抽出することでこの問題に対処する。
さらに,CDMサンプルから3次元一貫した仮想ビューを同時に生成し,改良された仮想ビューに基づいてNeRFを微調整する新しいNeRF誘導蒸留アルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-02-20T17:12:00Z) - Shakes on a Plane: Unsupervised Depth Estimation from Unstabilized
Photography [54.36608424943729]
2秒で取得した12メガピクセルのRAWフレームの「長バースト」では,自然手震動のみからの視差情報で高品質のシーン深度を回復できることが示されている。
我々は、長時間バーストデータにニューラルRGB-D表現を適合させるテスト時間最適化手法を考案し、シーン深度とカメラモーションを同時に推定する。
論文 参考訳(メタデータ) (2022-12-22T18:54:34Z) - Learning to Recover 3D Scene Shape from a Single Image [98.20106822614392]
まず,未知のスケールまで深さを予測し,単一の単眼画像からシフトする2段階フレームワークを提案する。
そして、3dポイントクラウドエンコーダを使って深度シフトと焦点距離を予測し、リアルな3dシーンの形状を復元します。
論文 参考訳(メタデータ) (2020-12-17T02:35:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。