論文の概要: Depth-guided NeRF Training via Earth Mover's Distance

• arxiv url: http://arxiv.org/abs/2403.13206v1
• Date: Tue, 19 Mar 2024 23:54:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-21 18:27:31.923505
• Title: Depth-guided NeRF Training via Earth Mover's Distance
• Title（参考訳）: 地球モーバー距離による深度誘導型NRF訓練
• Authors: Anita Rau, Josiah Aklilu, F. Christopher Holsinger, Serena Yeung-Levy,
• Abstract要約: 我々は、NeRF監視のための深度における不確実性に対する新しいアプローチを提案する。 既訓練拡散モデルを用いて,デノナイジング過程における深度予測と不確かさの把握を行う。 我々の深度誘導型NeRFは、標準深度測定値のすべてのベースラインを大きなマージンで上回る。
• 参考スコア（独自算出の注目度）: 0.6749750044497732
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Radiance Fields (NeRFs) are trained to minimize the rendering loss of predicted viewpoints. However, the photometric loss often does not provide enough information to disambiguate between different possible geometries yielding the same image. Previous work has thus incorporated depth supervision during NeRF training, leveraging dense predictions from pre-trained depth networks as pseudo-ground truth. While these depth priors are assumed to be perfect once filtered for noise, in practice, their accuracy is more challenging to capture. This work proposes a novel approach to uncertainty in depth priors for NeRF supervision. Instead of using custom-trained depth or uncertainty priors, we use off-the-shelf pretrained diffusion models to predict depth and capture uncertainty during the denoising process. Because we know that depth priors are prone to errors, we propose to supervise the ray termination distance distribution with Earth Mover's Distance instead of enforcing the rendered depth to replicate the depth prior exactly through L2-loss. Our depth-guided NeRF outperforms all baselines on standard depth metrics by a large margin while maintaining performance on photometric measures.
• Abstract（参考訳）: ニューラルレージアンス場(NeRF)は、予測された視点のレンダリング損失を最小限に抑えるために訓練される。 しかし、測光損失は、同じ画像を得る異なる可能な測地間を曖昧にするための十分な情報を提供していないことが多い。 これまでの研究は、NeRFトレーニング中に深度監視を取り入れており、事前訓練された深度ネットワークからの密集した予測を擬似地下真実として活用している。 これらの深度事前は、一度ノイズをフィルターすると完璧であると仮定されるが、実際には、その精度を捉えることはより困難である。 この研究は、NeRF監視のための深度事前の不確実性に対する新しいアプローチを提案する。 カスタムトレーニングされた深さや不確実性前兆を使用する代わりに、既訓練の拡散モデルを用いて、デノナイジングプロセス中の深さを予測し、不確実性を捉える。 我々は、深度先行が誤差の傾向にあることを知っているので、L2-lossを通して正確に深度を再現するために、描画された深度を強制するのではなく、地球モーバー距離で光の終端距離分布を監督することを提案する。 我々の深度誘導型NeRFは、光度測定における性能を維持しながら、標準深度測定におけるすべてのベースラインを大きなマージンで上回る。

関連論文リスト

• Uncertainty-guided Optimal Transport in Depth Supervised Sparse-View 3D Gaussian [49.21866794516328]
  3次元ガウシアンスプラッティングは、リアルタイムな新規ビュー合成において顕著な性能を示した。 これまでのアプローチでは、3Dガウスの訓練に奥行き監視を取り入れ、オーバーフィッティングを軽減してきた。 本研究では,3次元ガウスの深度分布を可視化する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-30T03:18:30Z)
• TD-NeRF: Novel Truncated Depth Prior for Joint Camera Pose and Neural Radiance Field Optimization [19.73020713365866]
  正確なカメラポーズへの依存は、3D再構成とSLAMタスクのためのNeural Radiance Fields(NeRF)モデルを広く展開する上で大きな障壁となる。 既存の手法では、カメラのポーズを協調的に最適化するために単眼深度前処理を導入し、NeRFは奥行き前処理を完全に活用できず、固有のノイズの影響を無視する。 本稿では,未知のカメラポーズからNeRFをトレーニングするための新しいアプローチであるTrncated Depth NeRF(TD-NeRF)を提案する。
  論文  参考訳（メタデータ） (2024-05-11T14:57:42Z)
• Non-learning Stereo-aided Depth Completion under Mis-projection via Selective Stereo Matching [0.5067618621449753]
  一対のステレオ画像で導かれる光検出・測度センサ(LiDAR)を用いて捉えたスパース深度マップの非学習深度補完法を提案する。 提案手法は, 平均絶対誤差(MAE)を0.65倍に減らし, 従来よりも約2倍の精度で推定できることを示した。
  論文  参考訳（メタデータ） (2022-10-04T07:46:56Z)
• Weakly-Supervised Monocular Depth Estimationwith Resolution-Mismatched Data [73.9872931307401]
  単眼深度推定ネットワークをトレーニングするための弱教師付きフレームワークを提案する。 提案フレームワークは, 共有重量単分子深度推定ネットワークと蒸留用深度再構成ネットワークから構成される。 実験結果から,本手法は教師なし・半教師付き学習ベース方式よりも優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2021-09-23T18:04:12Z)
• Depth-supervised NeRF: Fewer Views and Faster Training for Free [69.34556647743285]
  DS-NeRF (Depth-supervised Neural Radiance Fields) は、容易に利用できる深度監視を利用する学習分野の損失である。 我々の損失は他のNeRF法と互換性があることを示し、深度は安価で消化し易い監視信号であることを示した。
  論文  参考訳（メタデータ） (2021-07-06T17:58:35Z)
• Progressive Depth Learning for Single Image Dehazing [56.71963910162241]
  既存の脱湿法は、しばしば深度を無視し、より重いヘイズが視界を乱す遠くの地域で失敗する。 画像深度と伝送マップを反復的に推定するディープエンドツーエンドモデルを提案する。 私たちのアプローチは、画像深度と伝送マップの内部関係を明示的にモデリングすることから利益を得ます。
  論文  参考訳（メタデータ） (2021-02-21T05:24:18Z)
• Deep Multi-view Depth Estimation with Predicted Uncertainty [11.012201499666503]
  我々は、高密度光フローネットワークを用いて対応を計算し、点雲を三角測量して初期深度マップを得る。 三角測量の精度をさらに高めるため,画像の文脈に基づく初期深度マップを最適化する深度補正ネットワーク(DRN)を導入する。
  論文  参考訳（メタデータ） (2020-11-19T00:22:09Z)
• Calibrating Self-supervised Monocular Depth Estimation [77.77696851397539]
  近年、ニューラルネットワークが深度を学習し、画像のシーケンスに変化を起こさせる能力を示す方法は、訓練信号として自己スーパービジョンのみを使用している。 カメラの構成や環境に関する事前情報を取り入れることで,センサの追加に頼ることなく,自己教師型定式化を用いて,スケールのあいまいさを排除し,深度を直接予測できることを示す。
  論文  参考訳（メタデータ） (2020-09-16T14:35:45Z)
• Occlusion-Aware Depth Estimation with Adaptive Normal Constraints [85.44842683936471]
  カラービデオから多フレーム深度を推定する新しい学習手法を提案する。 本手法は深度推定精度において最先端の手法より優れる。
  論文  参考訳（メタデータ） (2020-04-02T07:10:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。