論文の概要: Renderable Neural Radiance Map for Visual Navigation
- arxiv url: http://arxiv.org/abs/2303.00304v1
- Date: Wed, 1 Mar 2023 08:00:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-02 15:32:57.687669
- Title: Renderable Neural Radiance Map for Visual Navigation
- Title(参考訳): 視覚ナビゲーションのためのRenderable Neural Radiance Map
- Authors: Obin Kwon, Jeongho Park, Songhwai Oh
- Abstract要約: 視覚ナビゲーションのための新しいタイプのニューラルラディアンスマップ(RNR-Map)を提案する。
RNR-Mapはグリッド形式であり、各ピクセルの遅延符号で構成されている。
記録された潜伏符号には環境に関する情報が暗黙的に含まれており、RNR-Mapは視覚的に記述される。
- 参考スコア(独自算出の注目度): 18.903118231531973
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We propose a novel type of map for visual navigation, a renderable neural
radiance map (RNR-Map), which is designed to contain the overall visual
information of a 3D environment. The RNR-Map has a grid form and consists of
latent codes at each pixel. These latent codes are embedded from image
observations, and can be converted to the neural radiance field which enables
image rendering given a camera pose. The recorded latent codes implicitly
contain visual information about the environment, which makes the RNR-Map
visually descriptive. This visual information in RNR-Map can be a useful
guideline for visual localization and navigation. We develop localization and
navigation frameworks that can effectively utilize the RNR-Map. We evaluate the
proposed frameworks on camera tracking, visual localization, and image-goal
navigation. Experimental results show that the RNR-Map-based localization
framework can find the target location based on a single query image with fast
speed and competitive accuracy compared to other baselines. Also, this
localization framework is robust to environmental changes, and even finds the
most visually similar places when a query image from a different environment is
given. The proposed navigation framework outperforms the existing image-goal
navigation methods in difficult scenarios, under odometry and actuation noises.
The navigation framework shows 65.7% success rate in curved scenarios of the
NRNS dataset, which is an improvement of 18.6% over the current
state-of-the-art.
- Abstract(参考訳): 本研究では,3d環境全体の視覚情報を含むように設計された,描画可能な神経放射マップ(rnr-map)である視覚ナビゲーションのための新しいタイプのマップを提案する。
RNR-Mapはグリッド形式であり、各ピクセルの遅延符号で構成されている。
これらの潜在コードは画像観察から埋め込まれており、カメラのポーズによって画像レンダリングを可能にするニューラル・ラミアンス・フィールドに変換できる。
記録された潜伏符号には環境に関する情報が暗黙的に含まれており、RNR-Mapは視覚的に記述される。
RNR-Mapのこのビジュアル情報は、視覚的なローカライゼーションとナビゲーションに有用なガイドラインである。
RNRマップを効果的に活用するローカライズおよびナビゲーションフレームワークを開発する。
提案するカメラトラッキング,視覚的位置決め,画像ゴールナビゲーションのフレームワークを評価する。
実験結果から,RNR-Mapベースのローカライゼーションフレームワークは,他のベースラインと比較して高速かつ競合的な精度で,単一のクエリ画像に基づいて目標位置を見つけることができることがわかった。
また、このローカライゼーションフレームワークは環境変化に対して堅牢であり、異なる環境からのクエリイメージが与えられる場合に最も視覚的に類似した場所を見つける。
提案したナビゲーションフレームワークは,既存の画像ゴールナビゲーション手法よりも,音韻法やアクティベーションノイズの下で,困難なシナリオにおいて優れている。
ナビゲーションフレームワークはNRNSデータセットの湾曲したシナリオで65.7%の成功率を示しており、現在の最先端よりも18.6%改善されている。
関連論文リスト
- Language-enhanced RNR-Map: Querying Renderable Neural Radiance Field
maps with natural language [51.805056586678184]
自然言語クエリプロンプトを用いた視覚ナビゲーションのための言語拡張型Renderable Neural Radiance Mapを提案する。
Le-RNR-Mapは、各ピクセルに配置された遅延符号からなるグリッド構造を用いる。
CLIPをベースとした埋め込みコードによりRNRマップを強化し,ラベルデータを追加せずに自然言語検索を可能にする。
論文 参考訳(メタデータ) (2023-08-17T08:27:01Z) - DisPlacing Objects: Improving Dynamic Vehicle Detection via Visual Place
Recognition under Adverse Conditions [29.828201168816243]
本研究では,3次元マップを必要とせずに,シーン内の動的物体の検出を支援するために,先行マップを活用できるかどうかを検討する。
提案手法は,対象物検出の初期セットを洗練し,事前マップを用いて高精度な検出のサブセットを生成するアルゴリズムである。
論文 参考訳(メタデータ) (2023-06-30T10:46:51Z) - Neural Implicit Dense Semantic SLAM [83.04331351572277]
本稿では,屋内シーンのメモリ効率,高密度な3次元形状,セマンティックセマンティックセグメンテーションをオンラインで学習する新しいRGBD vSLAMアルゴリズムを提案する。
私たちのパイプラインは、従来の3Dビジョンベースのトラッキングとループクローズとニューラルフィールドベースのマッピングを組み合わせたものです。
提案アルゴリズムはシーン認識を大幅に向上させ,様々なロボット制御問題を支援する。
論文 参考訳(メタデータ) (2023-04-27T23:03:52Z) - CROSSFIRE: Camera Relocalization On Self-Supervised Features from an
Implicit Representation [3.565151496245487]
我々は,あるシーンの暗黙の地図としてニューラル・ラジアンス・フィールドを使用し,この表現に適したカメラ再配置を提案する。
提案手法は,ナビゲーション中に1台のRGBカメラを用いて,デバイスの正確な位置をリアルタイムで計算することができる。
論文 参考訳(メタデータ) (2023-03-08T20:22:08Z) - HPointLoc: Point-based Indoor Place Recognition using Synthetic RGB-D
Images [58.720142291102135]
本稿では,屋内環境における視覚的位置認識能力の探索を目的とした,HPointLocという新しいデータセットを提案する。
データセットは人気のあるHabitatシミュレータに基づいており、独自のセンサーデータとオープンデータセットの両方を使用して屋内シーンを生成することができる。
論文 参考訳(メタデータ) (2022-12-30T12:20:56Z) - Weakly-Supervised Multi-Granularity Map Learning for Vision-and-Language
Navigation [87.52136927091712]
我々は,ロボットエージェントが言語指導によって記述された経路をたどって,環境の中をナビゲートするよう訓練する,現実的かつ困難な問題に対処する。
高精度かつ効率的なナビゲーションを実現するためには,環境オブジェクトの空間的位置と意味情報の両方を正確に表現した地図を構築することが重要である。
より包括的にオブジェクトを表現するために,オブジェクトの細粒度(色,テクスチャなど)とセマンティッククラスの両方を含む多粒度マップを提案する。
論文 参考訳(メタデータ) (2022-10-14T04:23:27Z) - CroCo: Cross-Modal Contrastive learning for localization of Earth
Observation data [62.96337162094726]
地上のLiDAR点雲をリモートセンシング画像上にローカライズすることに興味がある。
本稿では,DEMと高分解能光学画像に基づいて学習を行うコントラスト学習手法を提案する。
ベストシナリオは、トップ1スコア0.71、トップ5スコア0.81を得る。
論文 参考訳(メタデータ) (2022-04-14T15:55:00Z) - Memory-Augmented Reinforcement Learning for Image-Goal Navigation [67.3963444878746]
本論文では,クロスエピソードメモリを活用したナビゲーション学習法を提案する。
オーバーフィッティングを避けるため、トレーニング中にRGB入力にデータ拡張を適用することを提案する。
この競合性能はRGB入力のみから得られるが,位置や深度などのセンサは利用できない。
論文 参考訳(メタデータ) (2021-01-13T16:30:20Z) - Differentiable Mapping Networks: Learning Structured Map Representations
for Sparse Visual Localization [28.696160266177806]
微分可能マッピングネットワーク(DMN)は、視覚的ローカライゼーションのための効果的なマップ表現を学習する。
シミュレーション環境と実世界のストリートビューデータセットを用いたDMNの評価を行った。
論文 参考訳(メタデータ) (2020-05-19T15:43:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。