論文の概要: Reducing Shape-Radiance Ambiguity in Radiance Fields with a Closed-Form Color Estimation Method

• arxiv url: http://arxiv.org/abs/2312.12726v1
• Date: Wed, 20 Dec 2023 02:50:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-21 17:02:17.094767
• Title: Reducing Shape-Radiance Ambiguity in Radiance Fields with a Closed-Form Color Estimation Method
• Title（参考訳）: クローズドフォルム色推定法による放射光場における形状-照度あいまいさの低減
• Authors: Qihang Fang, Yafei Song, Keqiang Li, Liefeng Bo
• Abstract要約: 形状・輝度のあいまいさを低減するために,より適応的な手法を提案する。 まず、密度場に基づいて色場を推定し、画像を閉じた形で配置する。 実験の結果,NeRFの密度場は定性的かつ定量的に向上することがわかった。
• 参考スコア（独自算出の注目度）: 24.44659061093503
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural radiance field (NeRF) enables the synthesis of cutting-edge realistic novel view images of a 3D scene. It includes density and color fields to model the shape and radiance of a scene, respectively. Supervised by the photometric loss in an end-to-end training manner, NeRF inherently suffers from the shape-radiance ambiguity problem, i.e., it can perfectly fit training views but does not guarantee decoupling the two fields correctly. To deal with this issue, existing works have incorporated prior knowledge to provide an independent supervision signal for the density field, including total variation loss, sparsity loss, distortion loss, etc. These losses are based on general assumptions about the density field, e.g., it should be smooth, sparse, or compact, which are not adaptive to a specific scene. In this paper, we propose a more adaptive method to reduce the shape-radiance ambiguity. The key is a rendering method that is only based on the density field. Specifically, we first estimate the color field based on the density field and posed images in a closed form. Then NeRF's rendering process can proceed. We address the problems in estimating the color field, including occlusion and non-uniformly distributed views. Afterward, it is applied to regularize NeRF's density field. As our regularization is guided by photometric loss, it is more adaptive compared to existing ones. Experimental results show that our method improves the density field of NeRF both qualitatively and quantitatively. Our code is available at https://github.com/qihangGH/Closed-form-color-field.
• Abstract（参考訳）: ニューラルレイディアンス場(NeRF)は、3Dシーンの最先端のリアルなノベルビュー画像の合成を可能にする。 それはそれぞれ、シーンの形状と放射率をモデル化する密度と色のフィールドを含んでいる。 エンドツーエンドのトレーニング方法での測光損失によって監督されるNeRFは、本質的には形状放射曖昧性問題、すなわち、トレーニングビューに完全に適合するが、2つのフィールドを正しく分離することを保証しない。 この問題に対処するため、既存の研究は、全変動損失、スパーシティ損失、歪み損失など、密度場の独立した監視信号を提供するために事前知識を取り入れている。 これらの損失は密度場に関する一般的な仮定に基づいており、例えば、特定のシーンに適応しない滑らかでスパースでコンパクトであるべきである。 本稿では,より適応的な形状のあいまいさ低減法を提案する。 キーは、密度場のみに基づいたレンダリングメソッドである。 具体的には,まず密度場とポーズ画像に基づいて色場をクローズド形式で推定する。 するとNeRFのレンダリングプロセスが進行する。 咬合や非一様分布ビューを含む色場の推定における問題点について考察する。 その後、NeRFの密度場を正則化する。 我々の正則化は測光損失によって導かれるので、既存のものよりも適応性が高い。 実験の結果,NeRFの密度場は定性的かつ定量的に向上することがわかった。 私たちのコードはhttps://github.com/qihanggh/closed-form-color-fieldで利用可能です。

関連論文リスト

• Taming Latent Diffusion Model for Neural Radiance Field Inpainting [63.297262813285265]
  ニューラル・ラジアンス・フィールド(NeRF)は多視点画像からの3次元再構成の表現である。 本研究では,シーンごとのカスタマイズによる拡散モデルの傾向の緩和と,マスキングトレーニングによるテクスチャシフトの緩和を提案する。 我々のフレームワークは、様々な現実世界のシーンに最先端のNeRF塗装結果をもたらす。
  論文  参考訳（メタデータ） (2024-04-15T17:59:57Z)
• CVT-xRF: Contrastive In-Voxel Transformer for 3D Consistent Radiance Fields from Sparse Inputs [65.80187860906115]
  スパース入力によるNeRFの性能向上のための新しい手法を提案する。 まず, サンプル線が, 3次元空間内の特定のボクセルと交差することを保証するために, ボクセルを用いた放射線サンプリング戦略を採用する。 次に、ボクセル内の追加点をランダムにサンプリングし、トランスフォーマーを適用して各線上の他の点の特性を推測し、ボリュームレンダリングに組み込む。
  論文  参考訳（メタデータ） (2024-03-25T15:56:17Z)
• Aleth-NeRF: Illumination Adaptive NeRF with Concealing Field Assumption [65.96818069005145]
  照明効果を考慮した「コンシーリング場」の概念を導入する。 暗黒のシナリオでは、物体の放出は標準的な照明レベルを維持するが、レンダリング中に空気を横切ると減衰する。 評価のために、難解な照明条件下で得られた総合的な多視点データセットを提案する。
  論文  参考訳（メタデータ） (2023-12-14T16:24:09Z)
• Evaluate Geometry of Radiance Fields with Low-frequency Color Prior [27.741607821885673]
  放射場は、3Dシーンの効果的な表現であり、新規なビュー合成と3D再構成に広く採用されている。 基底真実がほとんど得られないため、幾何、すなわち密度場を評価することは依然としてオープンで難しい問題である。 Inverse Mean Residual Color (IMRC, Inverse Mean Residual Color) と呼ばれる新しい測度を提案し, 観測画像のみを用いて幾何学的特徴を評価する。
  論文  参考訳（メタデータ） (2023-04-10T02:02:57Z)
• DiffusioNeRF: Regularizing Neural Radiance Fields with Denoising Diffusion Models [5.255302402546892]
  デノナイジング拡散モデル(DDM)を用いてシーン形状と色に関する事前学習を行う。 これらのRGBDパッチの対数勾配は、シーンの幾何や色を規則化するのに役立ちます。 最も関連性の高いデータセットであるLLFFの評価は、我々の学習前は、再構成された幾何学の質の向上と、新しいビューの改善を実現していることを示している。
  論文  参考訳（メタデータ） (2023-02-23T18:52:28Z)
• Behind the Scenes: Density Fields for Single View Reconstruction [63.40484647325238]
  単一の画像から有意義な幾何学的シーン表現を推定することは、コンピュータビジョンの根本的な問題である。 本稿では,入力画像のフラストラム内のすべての位置を体積密度にマッピングする。 提案手法は,入力画像に隠された領域に対して有意な幾何を予測できることを示す。
  論文  参考訳（メタデータ） (2023-01-18T17:24:01Z)
• Neural Density-Distance Fields [9.742650275132029]
  本稿では,距離と密度場を相互に拘束する新しい3次元表現であるニューラル密度距離場(NeDDF)を提案する。 距離場の定式化は、毛皮や煙のような明示的な境界面を持たない形状に拡張し、距離場から密度場への明示的な変換を可能にする。 実験により、NeDDFは、新規なビュー合成において、NeRFに匹敵する結果を提供しながら、高いローカライゼーション性能が得られることが示された。
  論文  参考訳（メタデータ） (2022-07-29T03:13:25Z)
• Non-line-of-Sight Imaging via Neural Transient Fields [52.91826472034646]
  NLOS(non-Line-of-Sight)イメージングのためのニューラルモデリングフレームワークを提案する。 最近のNeRF(Neural Radiance Field)アプローチにインスパイアされた我々は、ニューラルネットワーク(NeTF)を表現するために多層パーセプトロン(MLP)を使用する。 共焦点と非共焦点の両方に適用可能な球状ボリュームnetf再構成パイプラインを定式化する。
  論文  参考訳（メタデータ） (2021-01-02T05:20:54Z)
• NeRF++: Analyzing and Improving Neural Radiance Fields [117.73411181186088]
  ニューラル・レージアンス・フィールド(NeRF)は、様々なキャプチャ設定のための印象的なビュー合成結果を達成する。 NeRFは、ビュー不変不透明度とビュー依存カラーボリュームを表す多層パーセプトロンを一連のトレーニング画像に適合させる。 大規模3次元シーンにおける物体の360度捕獲にNeRFを適用する際のパラメトリゼーション問題に対処する。
  論文  参考訳（メタデータ） (2020-10-15T03:24:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。