論文の概要: Active Neural 3D Reconstruction with Colorized Surface Voxel-based View Selection

• arxiv url: http://arxiv.org/abs/2405.02568v2
• Date: Mon, 10 Jun 2024 17:05:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-12 00:04:39.311728
• Title: Active Neural 3D Reconstruction with Colorized Surface Voxel-based View Selection
• Title（参考訳）: 色付き表面ボクセルを用いた能動3次元画像再構成
• Authors: Hyunseo Kim, Hyeonseo Yang, Taekyung Kim, YoonSung Kim, Jin-Hwa Kim, Byoung-Tak Zhang,
• Abstract要約: そこで我々は,新しい次世代ビュー (NBV) 選択法であるColorized Surface Voxel (CSV) ベースのビュー選択を導入する。 CSVは、推定シーンの外観と推定幾何情報の不確かさをカプセル化する。 我々の手法は、一般的なデータセットであるDTUとBlenderにおいて、過去の研究よりも優れています。
• 参考スコア（独自算出の注目度）: 23.093719789094557
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Active view selection in 3D scene reconstruction has been widely studied since training on informative views is critical for reconstruction. Recently, Neural Radiance Fields (NeRF) variants have shown promising results in active 3D reconstruction using uncertainty-guided view selection. They utilize uncertainties estimated with neural networks that encode scene geometry and appearance. However, the choice of uncertainty integration methods, either voxel-based or neural rendering, has conventionally depended on the types of scene uncertainty being estimated, whether geometric or appearance-related. In this paper, we introduce Colorized Surface Voxel (CSV)-based view selection, a new next-best view (NBV) selection method exploiting surface voxel-based measurement of uncertainty in scene appearance. CSV encapsulates the uncertainty of estimated scene appearance (e.g., color uncertainty) and estimated geometric information (e.g., surface). Using the geometry information, we interpret the uncertainty of scene appearance 3D-wise during the aggregation of the per-voxel uncertainty. Consequently, the uncertainty from occluded and complex regions is recognized under challenging scenarios with limited input data. Our method outperforms previous works on popular datasets, DTU and Blender, and our new dataset with imbalanced viewpoints, showing that the CSV-based view selection significantly improves performance by up to 30%.
• Abstract（参考訳）: 3次元シーン再構築におけるアクティブな視点選択は、情報的視点の訓練が再建に欠かせないため、広く研究されている。 近年,Neural Radiance Fields (NeRF) 変種は,不確実性誘導ビュー選択を用いたアクティブ3次元再構成において有望な結果を示している。 彼らは、シーンの幾何学と外観を符号化するニューラルネットワークで推定された不確実性を利用する。 しかしながら、ボクセルベースやニューラルレンダリングといった不確実性統合手法の選択は、伝統的に、幾何学的・外観的関係にかかわらず、推定されるシーンの不確実性の種類に依存している。 本稿では,表面ボクセルによるシーンの不確実性の測定を活かした,カラー化表面ボクセル(CSV)に基づくビューセレクション,NBV(Next-best View)選択手法を提案する。 CSVは、推定シーンの外観の不確実性(eg, 色の不確実性)と推定幾何学情報(eg, 表面)をカプセル化する。 幾何学的情報を用いて,声道ごとの不確実性の集約において,3次元的なシーンの外観の不確かさを解釈する。 その結果、限られた入力データを持つ難解なシナリオの下で、隠蔽された領域や複雑な領域からの不確実性が認識される。 我々の手法は、一般的なデータセット、DTU、Blender、および不均衡な視点を持つ新しいデータセットにおいて、過去の研究よりも優れており、CSVベースのビュー選択により、パフォーマンスが最大30%向上することを示す。

関連論文リスト

• IPVNet: Learning Implicit Point-Voxel Features for Open-Surface 3D Reconstruction [7.183869812690026]
  符号のない距離場を回帰する暗黙の関数は、そのような開曲面を再構成する際の約束を示す。 学習に基づく暗黙的ポイントボクセルモデル(IPVNet)を提案する。 IPVNetは、原点クラウドデータとその離散化されたボクセルデータの両方を活用することにより、表面と3次元空間におけるクエリポイントの間の符号のない距離を予測する。
  論文  参考訳（メタデータ） (2023-11-05T03:01:36Z)
• Leveraging Neural Radiance Fields for Uncertainty-Aware Visual Localization [56.95046107046027]
  我々は,Neural Radiance Fields (NeRF) を用いてシーン座標回帰のためのトレーニングサンプルを生成することを提案する。 レンダリングにおけるNeRFの効率にもかかわらず、レンダリングされたデータの多くはアーティファクトによって汚染されるか、最小限の情報ゲインしか含まない。
  論文  参考訳（メタデータ） (2023-10-10T20:11:13Z)
• Robust Geometry-Preserving Depth Estimation Using Differentiable Rendering [93.94371335579321]
  我々は、余分なデータやアノテーションを必要とせずに、幾何学保存深度を予測するためにモデルを訓練する学習フレームワークを提案する。 包括的な実験は、我々のフレームワークの優れた一般化能力を強調します。 我々の革新的な損失関数は、ドメイン固有のスケール・アンド・シフト係数を自律的に復元するモデルを可能にします。
  論文  参考訳（メタデータ） (2023-09-18T12:36:39Z)
• NeAT: Learning Neural Implicit Surfaces with Arbitrary Topologies from Multi-view Images [17.637064969966847]
  NeATは、多視点画像から任意のトポロジを持つ暗黙の曲面を学習する、新しいニューラルネットワークレンダリングフレームワークである。 NeATは、古典的なマーチングキューブアルゴリズムを用いて、フィールドからメッシュへの変換を容易にする。 我々のアプローチは、水密面と非水密面の両方を忠実に再構築することができる。
  論文  参考訳（メタデータ） (2023-03-21T16:49:41Z)
• Uncertainty Guided Policy for Active Robotic 3D Reconstruction using Neural Radiance Fields [82.21033337949757]
  本稿では,物体の暗黙のニューラル表現の各光線に沿ったカラーサンプルの重量分布のエントロピーを計算した線量不確実性推定器を提案する。 提案した推定器を用いた新しい視点から, 基礎となる3次元形状の不確かさを推測することが可能であることを示す。 ニューラルラディアンス場に基づく表現における線量不確実性によって導かれる次ベクター選択ポリシーを提案する。
  論文  参考訳（メタデータ） (2022-09-17T21:28:57Z)
• NeurAR: Neural Uncertainty for Autonomous 3D Reconstruction [64.36535692191343]
  暗黙の神経表現はオフラインの3D再構成において魅力的な結果を示しており、オンラインSLAMシステムの可能性も最近示している。 本論文は,1)新しい表現に基づく視点計画の質を評価するための基準を求めること,2)手作りではなく,異なる場面に一般化可能なデータから基準を学習すること,の2つの課題に対処する。 本手法は, TSDFを用いた変形モデルやビュープランニングなしでの再構成モデルと比較した場合, レンダリングされた画像品質と再構成された3次元モデルの幾何学的品質について, 様々な指標について有意な改善を示す。
  論文  参考訳（メタデータ） (2022-07-22T10:05:36Z)
• Next-best-view Regression using a 3D Convolutional Neural Network [0.9449650062296823]
  本論文では,次のベストビュー問題に対するデータ駆動アプローチを提案する。 提案手法は、次のベストビューのbtxtpositionを抑えるために、以前の再構成で3D畳み込みニューラルネットワークを訓練する。 提案手法を2つの実験グループを用いて検証した。
  論文  参考訳（メタデータ） (2021-01-23T01:50:26Z)
• Probabilistic 3D surface reconstruction from sparse MRI information [58.14653650521129]
  スパース2次元MR画像データとアレータティック不確実性予測から3次元表面再構成を同時に行うための新しい確率論的深層学習手法を提案する。 本手法は,3つの準直交MR画像スライスから,限られたトレーニングセットから大きな表面メッシュを再構成することができる。
  論文  参考訳（メタデータ） (2020-10-05T14:18:52Z)
• Pix2Surf: Learning Parametric 3D Surface Models of Objects from Images [64.53227129573293]
  1つ以上の視点から見れば、新しいオブジェクトの3次元パラメトリック表面表現を学習する際の課題について検討する。 ビュー間で一貫した高品質なパラメトリックな3次元表面を生成できるニューラルネットワークを設計する。 提案手法は,共通対象カテゴリからの形状の公開データセットに基づいて,教師と訓練を行う。
  論文  参考訳（メタデータ） (2020-08-18T06:33:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。