論文の概要: Leveraging Neural Radiance Fields for Uncertainty-Aware Visual Localization

• arxiv url: http://arxiv.org/abs/2310.06984v1
• Date: Tue, 10 Oct 2023 20:11:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-13 07:59:07.873491
• Title: Leveraging Neural Radiance Fields for Uncertainty-Aware Visual Localization
• Title（参考訳）: 不確実性を考慮した視覚定位のためのニューラルラジアンスフィールドの活用
• Authors: Le Chen, Weirong Chen, Rui Wang, Marc Pollefeys
• Abstract要約: 我々は,Neural Radiance Fields (NeRF) を用いてシーン座標回帰のためのトレーニングサンプルを生成することを提案する。 レンダリングにおけるNeRFの効率にもかかわらず、レンダリングされたデータの多くはアーティファクトによって汚染されるか、最小限の情報ゲインしか含まない。
• 参考スコア（独自算出の注目度）: 56.95046107046027
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As a promising fashion for visual localization, scene coordinate regression (SCR) has seen tremendous progress in the past decade. Most recent methods usually adopt neural networks to learn the mapping from image pixels to 3D scene coordinates, which requires a vast amount of annotated training data. We propose to leverage Neural Radiance Fields (NeRF) to generate training samples for SCR. Despite NeRF's efficiency in rendering, many of the rendered data are polluted by artifacts or only contain minimal information gain, which can hinder the regression accuracy or bring unnecessary computational costs with redundant data. These challenges are addressed in three folds in this paper: (1) A NeRF is designed to separately predict uncertainties for the rendered color and depth images, which reveal data reliability at the pixel level. (2) SCR is formulated as deep evidential learning with epistemic uncertainty, which is used to evaluate information gain and scene coordinate quality. (3) Based on the three arts of uncertainties, a novel view selection policy is formed that significantly improves data efficiency. Experiments on public datasets demonstrate that our method could select the samples that bring the most information gain and promote the performance with the highest efficiency.
• Abstract（参考訳）: 視覚的ローカライゼーションの有望な方法として、シーン座標回帰(SCR)は過去10年間で著しく進歩している。 最近の手法では、画像ピクセルから3dシーン座標へのマッピングを学ぶためにニューラルネットワークを採用することが多い。 我々はニューラルレージアンス場(NeRF)を利用してSCRのトレーニングサンプルを生成することを提案する。 レンダリングにおけるNeRFの効率にもかかわらず、レンダリングされたデータの多くはアーティファクトによって汚染されるか、最小限の情報ゲインしか含まないため、回帰精度を妨げたり、冗長なデータで不要な計算コストを発生させる可能性がある。 1) nerfは、画素レベルでのデータ信頼性を明らかにするために、レンダリングされた色と深度画像の不確かさを別々に予測するように設計されている。 2) scrは,情報ゲインとシーン座標品質の評価に用いられる認識的不確かさを伴う深部実証学習として定式化されている。 (3)不確実性の3つの技術に基づいて,データ効率を著しく向上させる新しい視点選択政策を形成する。 公開データセットを用いた実験により,最も情報獲得率の高いサンプルを選択でき,高い効率で性能向上が期待できることを示した。

関連論文リスト

• SG-NeRF: Neural Surface Reconstruction with Scene Graph Optimization [16.460851701725392]
  本稿では,外乱ポーズの影響を軽減するため,シーングラフを用いた放射場最適化手法を提案する。 本手法では,シーングラフに基づく適応型不整合・不整合信頼度推定手法を取り入れた。 また、カメラのポーズと表面形状を最適化するために、効果的な交叉結合(IoU)損失を導入する。
  論文  参考訳（メタデータ） (2024-07-17T15:50:17Z)
• Leveraging Neural Radiance Field in Descriptor Synthesis for Keypoints Scene Coordinate Regression [1.2974519529978974]
  本稿では,Neural Radiance Field (NeRF) を用いたキーポイント記述子合成のためのパイプラインを提案する。 新たなポーズを生成してトレーニングされたNeRFモデルに入力して新しいビューを生成することで、当社のアプローチは、データスカース環境でのKSCRの機能を強化します。 提案システムは,最大50%のローカライズ精度向上を実現し,データ合成に要するコストをわずかに抑えることができた。
  論文  参考訳（メタデータ） (2024-03-15T13:40:37Z)
• Ray Denoising: Depth-aware Hard Negative Sampling for Multi-view 3D Object Detection [46.041193889845474]
  レイデノジング(Ray Denoising)は、カメラ線に沿って戦略的にサンプリングすることで検出精度を高める革新的な手法である。 Ray Denoisingはプラグイン・アンド・プレイモジュールとして設計されており、DETR方式のマルチビュー3D検出器と互換性がある。 NuScenesデータセット上の最先端のStreamPETR法よりも平均精度(mAP)が1.9%向上した。
  論文  参考訳（メタデータ） (2024-02-06T02:17:44Z)
• S3IM: Stochastic Structural SIMilarity and Its Unreasonable Effectiveness for Neural Fields [46.9880016170926]
  構造的シミュラリティ(S3IM)損失は,複数の入力を個別に多重化するのではなく,複数のデータポイントを集合として処理することを示す。 我々の実験は、ほぼ自由なNeRFと神経表面表現の改善におけるS3IMの有効性を実証した。
  論文  参考訳（メタデータ） (2023-08-14T09:45:28Z)
• Neural Point-based Volumetric Avatar: Surface-guided Neural Points for Efficient and Photorealistic Volumetric Head Avatar [62.87222308616711]
  ニューラルポイント表現とニューラルボリュームレンダリングプロセスを採用したフルネーム(名前)を提案する。 具体的には、ニューラルポイントは高分解能UV変位マップを介してターゲット表現の表面を戦略的に拘束する。 設計上は,アバターをアニメーションする際の正確な表現制御を確保しつつ,地形的に変化する領域や細い構造を扱えるように設計されている。
  論文  参考訳（メタデータ） (2023-07-11T03:40:10Z)
• AligNeRF: High-Fidelity Neural Radiance Fields via Alignment-Aware Training [100.33713282611448]
  我々は、高分解能データによるNeRFのトレーニングに関する最初のパイロット研究を行う。 本稿では,多層パーセプトロンと畳み込み層との結合を含む,対応する解を提案する。 私たちのアプローチは、明らかなトレーニング/テストコストを導入することなく、ほぼ無償です。
  論文  参考訳（メタデータ） (2022-11-17T17:22:28Z)
• CLONeR: Camera-Lidar Fusion for Occupancy Grid-aided Neural Representations [77.90883737693325]
  本稿では,スパース入力センサビューから観測される大規模な屋外運転シーンをモデル化することで,NeRFを大幅に改善するCLONeRを提案する。 これは、NeRFフレームワーク内の占有率と色学習を、それぞれLiDARとカメラデータを用いてトレーニングされた個別のMulti-Layer Perceptron(MLP)に分離することで実現される。 さらに,NeRFモデルと平行に3D Occupancy Grid Maps(OGM)を構築する手法を提案し,この占有グリッドを利用して距離空間のレンダリングのために線に沿った点のサンプリングを改善する。
  論文  参考訳（メタデータ） (2022-09-02T17:44:50Z)
• Learning Collision-Free Space Detection from Stereo Images: Homography Matrix Brings Better Data Augmentation [16.99302954185652]
  少数のトレーニングサンプルを使用して、深い畳み込みニューラルネットワーク(DCNN)を訓練することは、依然としてオープンな課題です。 本稿では,dcnnの性能向上に有効なトレーニングデータ拡張手法について検討する。
  論文  参考訳（メタデータ） (2020-12-14T19:14:35Z)
• Probabilistic 3D surface reconstruction from sparse MRI information [58.14653650521129]
  スパース2次元MR画像データとアレータティック不確実性予測から3次元表面再構成を同時に行うための新しい確率論的深層学習手法を提案する。 本手法は,3つの準直交MR画像スライスから,限られたトレーニングセットから大きな表面メッシュを再構成することができる。
  論文  参考訳（メタデータ） (2020-10-05T14:18:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。