論文の概要: GradientSurf: Gradient-Domain Neural Surface Reconstruction from RGB
Video
- arxiv url: http://arxiv.org/abs/2310.05406v1
- Date: Mon, 9 Oct 2023 04:54:30 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-12 07:41:23.073999
- Title: GradientSurf: Gradient-Domain Neural Surface Reconstruction from RGB
Video
- Title（参考訳）: GradientSurf:RGBビデオによる勾配領域ニューラルサーフェス再構成
- Authors: Crane He Chen, Joerg Liebelt
- Abstract要約: GradientSurfはモノクロRGBビデオからのリアルタイム表面再構成のための新しいアルゴリズムである。
ポアソン表面再構成にインスパイアされた提案手法は, 表面, 体積, 配向点雲の密結合に基づく。
屋内の景観復元の課題として, 提案手法は曲面を曲面で再現し, より詳細に再現できることを示した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper proposes GradientSurf, a novel algorithm for real time surface
reconstruction from monocular RGB video. Inspired by Poisson Surface
Reconstruction, the proposed method builds on the tight coupling between
surface, volume, and oriented point cloud and solves the reconstruction problem
in gradient-domain. Unlike Poisson Surface Reconstruction which finds an
offline solution to the Poisson equation by solving a linear system after the
scanning process is finished, our method finds online solutions from partial
scans with a neural network incrementally where the Poisson layer is designed
to supervise both local and global reconstruction. The main challenge that
existing methods suffer from when reconstructing from RGB signal is a lack of
details in the reconstructed surface. We hypothesize this is due to the
spectral bias of neural networks towards learning low frequency geometric
features. To address this issue, the reconstruction problem is cast onto
gradient domain, where zeroth-order and first-order energies are minimized. The
zeroth-order term penalizes location of the surface. The first-order term
penalizes the difference between the gradient of reconstructed implicit
function and the vector field formulated from oriented point clouds sampled at
adaptive local densities. For the task of indoor scene reconstruction, visual
and quantitative experimental results show that the proposed method
reconstructs surfaces with more details in curved regions and higher fidelity
for small objects than previous methods.
- Abstract（参考訳）: 本稿では,モノクロRGBビデオからリアルタイム表面再構成を行う新しいアルゴリズムであるGradientSurfを提案する。
ポアソン表面再構成法に着想を得た提案手法は, 表面, 体積, 配向点雲間の密結合を基礎として, 勾配領域における再構成問題を解く。
スキャン処理終了後に線形系を解くことでポアソン方程式のオフライン解を求めるPoisson Surface Reconstructionとは異なり,Poisson層が局所的および大域的再構築の両方を監督するように設計されたニューラルネットワークによる部分的スキャンからオンライン解を求める。
既存の手法がRGB信号から再構成する際に直面する主な課題は、再構成された表面における詳細の欠如である。
これはニューラルネットワークの低周波幾何学的特徴の学習に対するスペクトルバイアスによるものであると仮定する。
この問題に対処するため、復元問題は勾配領域にキャストされ、ゼロ次および1次エネルギーが最小となる。
ゼロ次項は表面の位置をペナリゼーションする。
1次項は、再構成された暗黙関数の勾配と、適応的な局所密度でサンプリングされた配向点雲から形成されるベクトル場との差を罰する。
室内シーン復元の課題として,視覚的および定量的な実験結果から,提案手法は,従来手法よりも曲面形状が細く,小型物体の忠実度が高かった。
関連論文リスト
- VoxNeuS: Enhancing Voxel-Based Neural Surface Reconstruction via Gradient Interpolation [10.458776364195796]
計算およびメモリ効率のよいニューラルサーフェス再構成のための軽量なサーフェス再構成法であるVoxNeuSを提案する。
トレーニングプロセス全体は15分で、1つの2080ti GPU上で3GB未満のメモリを必要とする。
論文 参考訳（メタデータ） (2024-06-11T11:26:27Z) - GeoGaussian: Geometry-aware Gaussian Splatting for Scene Rendering [83.19049705653072]
ガウススプレイティング最適化の過程で、その構造が意図的に保存されていない場合、シーンの幾何学は徐々に悪化する。
我々はこの問題を緩和するためにGeoGaussianと呼ばれる新しいアプローチを提案する。
提案するパイプラインは、新しいビュー合成と幾何再構成において最先端の性能を達成する。
論文 参考訳（メタデータ） (2024-03-17T20:06:41Z) - Indoor Scene Reconstruction with Fine-Grained Details Using Hybrid Representation and Normal Prior Enhancement [50.56517624931987]
多視点RGB画像からの室内シーンの再構成は、平坦領域とテクスチャレス領域の共存により困難である。
近年の手法では、予測された表面正規化によって支援されたニューラルラジアンス場を利用してシーン形状を復元している。
本研究は, 上記の制限に対処して, 高忠実度表面を細かな詳細で再構築することを目的とする。
論文 参考訳（メタデータ） (2023-09-14T12:05:29Z) - Neural-Singular-Hessian: Implicit Neural Representation of Unoriented
Point Clouds by Enforcing Singular Hessian [44.28251558359345]
我々は点雲から表面を再構築するための新しいアプローチを提案する。
提案手法は, 表面近傍の点と表面の射影点との勾配を整列し, わずか数回の反復で粗いが忠実な形状となる。
論文 参考訳（メタデータ） (2023-09-04T20:10:38Z) - Neural Poisson Surface Reconstruction: Resolution-Agnostic Shape
Reconstruction from Point Clouds [53.02191521770926]
我々は,3次元形状を点から復元するという課題に対処する形状再構成アーキテクチャであるニューラルポアソン表面再構成(nPSR)を導入する。
nPSRには2つの大きな利点がある: まず、高分解能評価において同等の性能を達成しつつ、低分解能データの効率的なトレーニングを可能にする。
全体として、ニューラル・ポアソン表面の再構成は、形状再構成における古典的なディープニューラルネットワークの限界を改良するだけでなく、再構築品質、走行時間、分解能非依存の観点からも優れた結果が得られる。
論文 参考訳（メタデータ） (2023-08-03T13:56:07Z) - Depth-NeuS: Neural Implicit Surfaces Learning for Multi-view
Reconstruction Based on Depth Information Optimization [6.493546601668505]
ニュートラルサーフェス表現とレンダリングの方法、例えばNeuSは、ボリュームレンダリングを通じてニュートラルサーフェスを学習することがますます人気になっていることを示した。
既存の手法では深度情報の直接表現が欠けているため、幾何学的特徴によって物体の再構成が制限されない。
これは、既存の手法では、深度情報を使わずに表面の正規表現しか使わないためである。
多視点再構成のための深度情報最適化に基づくDepth-NeuSと呼ばれる暗黙曲面学習手法を提案する。
論文 参考訳（メタデータ） (2023-03-30T01:19:27Z) - Implicit Bias in Leaky ReLU Networks Trained on High-Dimensional Data [63.34506218832164]
本研究では,ReLUを活性化した2層完全連結ニューラルネットワークにおける勾配流と勾配降下の暗黙的バイアスについて検討する。
勾配流には、均一なニューラルネットワークに対する暗黙のバイアスに関する最近の研究を活用し、リーク的に勾配流が2つ以上のランクを持つニューラルネットワークを生成することを示す。
勾配降下は, ランダムな分散が十分小さい場合, 勾配降下の1ステップでネットワークのランクが劇的に低下し, トレーニング中もランクが小さくなることを示す。
論文 参考訳（メタデータ） (2022-10-13T15:09:54Z) - Learning Modified Indicator Functions for Surface Reconstruction [10.413340575612233]
正規化のない原点雲からの暗黙的表面再構成のための学習に基づくアプローチを提案する。
我々の手法はポテンシャルエネルギー理論においてガウス・レムマにインスパイアされ、指標関数に対して明示的な積分公式を与える。
我々は、表面積分を行うための新しいディープニューラルネットワークを設計し、修正されたインジケータ関数を、不向きでノイズの多い点群から学習する。
論文 参考訳（メタデータ） (2021-11-18T05:30:35Z) - Projective Manifold Gradient Layer for Deep Rotation Regression [49.85464297105456]
ディープニューラルネットワークを用いたSO(3)多様体上の回帰回転は重要な問題であるが未解決である。
ネットワーク重みに直接逆伝搬する多様体対応勾配を提案する。
論文 参考訳（メタデータ） (2021-10-22T08:34:15Z) - NeuS: Learning Neural Implicit Surfaces by Volume Rendering for
Multi-view Reconstruction [88.02850205432763]
物体やシーンを2次元画像入力から高忠実度に再構成するニュートラルサーフェス(NeuS)を提案する。
DVRやIDRのような既存の神経表面再構成アプローチでは、フォアグラウンドマスクを監督する必要がある。
本研究では,従来のボリュームレンダリング手法が表面再構成に固有の幾何学的誤差を引き起こすことを観察する。
マスクの監督なしでもより正確な表面再構成を実現するため,第一次近似ではバイアスのない新しい定式化を提案する。
論文 参考訳（メタデータ） (2021-06-20T12:59:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。