論文の概要: Learning Unsigned Distance Functions from Multi-view Images with Volume Rendering Priors

• arxiv url: http://arxiv.org/abs/2407.16396v1
• Date: Tue, 23 Jul 2024 11:35:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-24 17:26:03.800698
• Title: Learning Unsigned Distance Functions from Multi-view Images with Volume Rendering Priors
• Title（参考訳）: ボリュームレンダリングを前提とした多視点画像からの符号なし距離関数の学習
• Authors: Wenyuan Zhang, Kanle Shi, Yu-Shen Liu, Zhizhong Han,
• Abstract要約: より正確にUDFを推定するための新規な識別不能符号距離を提示する。 手作りの方程式を使う代わりに、差別化可能なニューラルネットワークは、データ駆動型で事前訓練されている。 結果から,学習したボリュームレンダリングの先行性は,バイアスがなく,堅牢で,スケーラブルで,3D対応で,学習も容易であることがわかった。
• 参考スコア（独自算出の注目度）: 46.19346794341936
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Unsigned distance functions (UDFs) have been a vital representation for open surfaces. With different differentiable renderers, current methods are able to train neural networks to infer a UDF by minimizing the rendering errors on the UDF to the multi-view ground truth. However, these differentiable renderers are mainly handcrafted, which makes them either biased on ray-surface intersections, or sensitive to unsigned distance outliers, or not scalable to large scale scenes. To resolve these issues, we present a novel differentiable renderer to infer UDFs more accurately. Instead of using handcrafted equations, our differentiable renderer is a neural network which is pre-trained in a data-driven manner. It learns how to render unsigned distances into depth images, leading to a prior knowledge, dubbed volume rendering priors. To infer a UDF for an unseen scene from multiple RGB images, we generalize the learned volume rendering priors to map inferred unsigned distances in alpha blending for RGB image rendering. Our results show that the learned volume rendering priors are unbiased, robust, scalable, 3D aware, and more importantly, easy to learn. We evaluate our method on both widely used benchmarks and real scenes, and report superior performance over the state-of-the-art methods.
• Abstract（参考訳）: 無符号距離関数(UDF)は、開曲面にとって重要な表現である。 異なる微分可能なレンダラーにより、現在の方法では、UDF上のレンダリングエラーを最小化して、UDFを推論するためにニューラルネットワークをトレーニングすることができる。 しかし、これらの微分可能なレンダラーは、主に手作りであり、線面の交差点に偏りがあるか、符号のない距離の外れに敏感か、大規模なシーンに拡張性がないかのどちらかである。 これらの問題を解決するために,より正確にUDFを推定するための新しい微分可能なレンダラーを提案する。 手作りの方程式の代わりに、我々の微分可能なレンダラーは、データ駆動方式で事前訓練されたニューラルネットワークである。 符号のない距離を深度画像に描画する方法を学び、ボリュームレンダリングという事前知識に繋がる。 複数のRGB画像から見えないシーンのUDFを推定するために、学習したボリュームレンダリングを一般化し、RGB画像レンダリングのためのアルファブレンディングにおける符号なし距離をマップする。 結果から,学習したボリュームレンダリングの先行性は,バイアスがなく,堅牢で,スケーラブルで,3D対応で,学習も容易であることがわかった。 提案手法は,広く使用されているベンチマークと実シーンの両方で評価し,最先端の手法よりも優れた性能を報告した。

関連論文リスト

• Inverse Neural Rendering for Explainable Multi-Object Tracking [35.072142773300655]
  我々はRGBカメラから3Dマルチオブジェクト追跡をEmphInverse Rendering (IR)問題として再放送した。 我々は、本質的に形状と外観特性を歪ませる生成潜在空間上の画像損失を最適化する。 本手法の一般化とスケーリング能力は,合成データのみから生成前を学習することで検証する。
  論文  参考訳（メタデータ） (2024-04-18T17:37:53Z)
• Learning Neural Implicit through Volume Rendering with Attentive Depth Fusion Priors [32.63878457242185]
  我々は,多視点RGBD画像からの暗黙的表現を,暗黙的深度融合によるボリュームレンダリングにより学習する。 注意機構は、シーン全体を表す1回溶融TSDFか、部分シーンを表す漸増溶融TSDFで機能する。 合成および実世界のスキャンを含む広く使われているベンチマークの評価は、最新のニューラル暗黙法よりも優れていることを示している。
  論文  参考訳（メタデータ） (2023-10-17T21:45:51Z)
• Multiscale Representation for Real-Time Anti-Aliasing Neural Rendering [84.37776381343662]
  Mip-NeRFは、スケール情報をエンコードする円錐フラストラムとしてマルチスケール表現を提案する。 我々は,リアルタイムなアンチエイリアスレンダリングのためのマルチスケールな明示的表現であるmip voxel grids (Mip-VoG)を提案する。 私たちのアプローチは、マルチスケールのトレーニングとリアルタイムのアンチエイリアスレンダリングを同時に提供する最初の方法です。
  論文  参考訳（メタデータ） (2023-04-20T04:05:22Z)
• 2S-UDF: A Novel Two-stage UDF Learning Method for Robust Non-watertight Model Reconstruction from Multi-view Images [12.076881343401329]
  多視点画像から高品質なUDFを学習するための新しい2段階アルゴリズム2S-UDFを提案する。 定量的な測定値と視覚的品質の両方において、この結果は他のUDF学習技術よりも優れた性能を示している。
  論文  参考訳（メタデータ） (2023-03-27T16:35:28Z)
• Approximate Differentiable Rendering with Algebraic Surfaces [24.7500811470085]
  ファジィメタボールはコンパクトで解釈可能な表現に対して近似微分可能である。 我々の近似は、深度マップとシルエットによる形状の描画に焦点を当てている。 メッシュベースの微分可能値と比較して、我々の手法は前方パスが5倍速く、後方パスが30倍高速である。
  論文  参考訳（メタデータ） (2022-07-21T16:59:54Z)
• Learning Weighting Map for Bit-Depth Expansion within a Rational Range [64.15915577164894]
  ビット深化(BDE)は、低ビット深化(LBD)ソースから高ビット深化(HBD)画像を表示する新興技術の1つである。 既存のBDEメソッドは、様々なBDE状況に対して統一的なソリューションを持っていない。 我々は,各画素の重みを求めるためにビット復元ネットワーク(BRNet)を設計し,補充値の比率を合理的範囲内で示す。
  論文  参考訳（メタデータ） (2022-04-26T02:27:39Z)
• FIRe: Fast Inverse Rendering using Directional and Signed Distance Functions [97.5540646069663]
  指向性距離関数(DDF)と呼ばれる新しいニューラルシーン表現を導入する。 DDFは単位球上で定義され、任意の方向に沿って表面までの距離を予測する。 提案手法はDDFに基づいて,提案した深度マップから3次元形状を再構成する高速アルゴリズム (FIRe) を提案する。
  論文  参考訳（メタデータ） (2022-03-30T13:24:04Z)
• Geometric Correspondence Fields: Learned Differentiable Rendering for 3D Pose Refinement in the Wild [96.09941542587865]
  野生の任意のカテゴリのオブジェクトに対する微分可能レンダリングに基づく新しい3次元ポーズ精細化手法を提案する。 このようにして、3DモデルとRGB画像のオブジェクトを正確に整列し、3Dポーズ推定を大幅に改善する。 我々は、Pix3Dデータセットの挑戦に対するアプローチを評価し、複数のメトリクスにおける最先端の精錬手法と比較して、最大55%の改善を実現した。
  論文  参考訳（メタデータ） (2020-07-17T12:34:38Z)
• Towards Reading Beyond Faces for Sparsity-Aware 4D Affect Recognition [55.15661254072032]
  自動4次元表情認識(FER)のための空間認識深層ネットワークを提案する。 まず,深層学習のためのデータ制限問題に対処する新しい拡張手法を提案する。 次に、多視点での畳み込み特徴のスパース表現を計算するために、疎度対応のディープネットワークを提案する。
  論文  参考訳（メタデータ） (2020-02-08T13:09:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。