論文の概要: RoboHop: Segment-based Topological Map Representation for Open-World Visual Navigation
- arxiv url: http://arxiv.org/abs/2405.05792v1
- Date: Thu, 9 May 2024 14:17:26 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-10 13:13:05.351913
- Title: RoboHop: Segment-based Topological Map Representation for Open-World Visual Navigation
- Title（参考訳）: RoboHop: オープンワールドビジュアルナビゲーションのためのセグメントベースのトポロジカルマップ表現
- Authors: Sourav Garg, Krishan Rana, Mehdi Hosseinzadeh, Lachlan Mares, Niko Sünderhauf, Feras Dayoub, Ian Reid,
- Abstract要約: 画像セグメントに基づく新しい環境表現を提案する。
3次元シーングラフとは異なり、セグメントをノードとする純粋に位相グラフを作成する。
これはセグメント間の永続性によって定義される「場所の連続的な感覚」を明らかにする。
- 参考スコア（独自算出の注目度）: 18.053914853235142
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Mapping is crucial for spatial reasoning, planning and robot navigation. Existing approaches range from metric, which require precise geometry-based optimization, to purely topological, where image-as-node based graphs lack explicit object-level reasoning and interconnectivity. In this paper, we propose a novel topological representation of an environment based on "image segments", which are semantically meaningful and open-vocabulary queryable, conferring several advantages over previous works based on pixel-level features. Unlike 3D scene graphs, we create a purely topological graph with segments as nodes, where edges are formed by a) associating segment-level descriptors between pairs of consecutive images and b) connecting neighboring segments within an image using their pixel centroids. This unveils a "continuous sense of a place", defined by inter-image persistence of segments along with their intra-image neighbours. It further enables us to represent and update segment-level descriptors through neighborhood aggregation using graph convolution layers, which improves robot localization based on segment-level retrieval. Using real-world data, we show how our proposed map representation can be used to i) generate navigation plans in the form of "hops over segments" and ii) search for target objects using natural language queries describing spatial relations of objects. Furthermore, we quantitatively analyze data association at the segment level, which underpins inter-image connectivity during mapping and segment-level localization when revisiting the same place. Finally, we show preliminary trials on segment-level `hopping' based zero-shot real-world navigation. Project page with supplementary details: oravus.github.io/RoboHop/
- Abstract（参考訳）: マッピングは空間推論、計画、ロボットナビゲーションに不可欠である。
既存のアプローチは、正確な幾何学に基づく最適化を必要とする計量から純粋にトポロジであり、画像・アズ・ノードベースのグラフは明示的なオブジェクトレベルの推論と相互接続性を欠いている。
本稿では,意味的に意味があり,オープンな語彙を問合せ可能な「画像セグメント」に基づく環境の新たなトポロジ表現を提案する。
3次元シーングラフとは異なり、セグメントをノードとする純粋に位相グラフを作成し、エッジが形成される。
a) 連続した画像の対と連続する画像の間にセグメントレベルの記述子を関連付けること
b) ピクセルセントロイドを用いて画像内の隣接セグメントを接続すること。
これは「場所の連続的な感覚」を明らかにし、画像内の隣人とともにセグメント間の永続性によって定義される。
さらに,グラフ畳み込み層を用いてセグメントレベルの記述子を表現・更新し,セグメントレベルの検索に基づくロボットのローカライゼーションを改善する。
実世界のデータを用いて,提案した地図表現がどのように利用できるかを示す。
一 「セグメント上のホップ」という形で航法計画を作成すること。
二 対象物の空間的関係を記述した自然言語クエリを用いて対象物を検索すること。
さらに,同じ場所を再考する場合に,マッピング時の画像間接続とセグメントレベルのローカライゼーションの基盤となるセグメントレベルのデータ関連を定量的に分析する。
最後に,セグメントレベルの「ホッピング」に基づくゼロショット実世界ナビゲーションの予備試行について述べる。
oravus.github.io/RoboHop/
関連論文リスト
- Open-Vocabulary Octree-Graph for 3D Scene Understanding [54.11828083068082]
Octree-Graphはオープンな3Dシーン理解のための新しいシーン表現である。
セマンティクスを記憶し、その形状に応じてオブジェクトの占有度を調節するアダプティブ・オクツリー構造を開発する。
論文 参考訳（メタデータ） (2024-11-25T10:14:10Z) - SPIN: Hierarchical Segmentation with Subpart Granularity in Natural Images [17.98848062686217]
自然画像のサブパートアノテーションを用いた最初の階層的セマンティックセマンティックセマンティクスデータセットを提案する。
また,アルゴリズムが階層レベルの空間的関係と意味的関係をいかにうまく捉えるかを評価するために,新しい評価指標を2つ導入した。
論文 参考訳（メタデータ） (2024-07-12T21:08:00Z) - View-Consistent Hierarchical 3D Segmentation Using Ultrametric Feature Fields [52.08335264414515]
我々は3次元シーンを表すニューラル・レージアンス・フィールド(NeRF)内の新しい特徴場を学習する。
本手法は、ビュー一貫性の多粒性2Dセグメンテーションを入力とし、3D一貫性のセグメンテーションの階層構造を出力として生成する。
提案手法と,多視点画像と多粒性セグメンテーションを用いた合成データセットのベースラインの評価を行い,精度と視点整合性を向上したことを示す。
論文 参考訳（メタデータ） (2024-05-30T04:14:58Z) - TransFGU: A Top-down Approach to Fine-Grained Unsupervised Semantic
Segmentation [44.75300205362518]
教師なしセマンティックセグメンテーションは、手動のアノテーションを使わずに、低レベルの視覚的特徴の高レベルセマンティック表現を得ることを目的としている。
本稿では, 非常に複雑なシナリオにおける細粒度セグメンテーションのための, トップダウンの教師なしセグメンテーションフレームワークを提案する。
我々の結果は、トップダウンの教師なしセグメンテーションが、オブジェクト中心とシーン中心の両方のデータセットに対して堅牢であることを示している。
論文 参考訳（メタデータ） (2021-12-02T18:59:03Z) - Segmentation-grounded Scene Graph Generation [47.34166260639392]
ピクセルレベルセグメンテーションに基づくシーングラフ生成のためのフレームワークを提案する。
私たちのフレームワークは、基盤となるシーングラフ生成方法に無知です。
ターゲットデータセットと補助データセットの両方でマルチタスクで学習される。
論文 参考訳（メタデータ） (2021-04-29T08:54:08Z) - Rethinking Semantic Segmentation Evaluation for Explainability and Model
Selection [12.786648212233116]
地域ベースのオーバーおよびアンダーセグメンテーションを評価するための新しいメトリクスを紹介します。
分析して他のメトリクスと比較し、実世界のアプリケーションにおけるセマンティックセグメンテーションモデルのパフォーマンスをより説明しやすくなることを示す。
論文 参考訳（メタデータ） (2021-01-21T03:12:43Z) - Group-Wise Semantic Mining for Weakly Supervised Semantic Segmentation [49.90178055521207]
この研究は、画像レベルのアノテーションとピクセルレベルのセグメンテーションのギャップを埋めることを目標に、弱い監督されたセマンティックセグメンテーション(WSSS)に対処する。
画像群における意味的依存関係を明示的にモデル化し,より信頼性の高い擬似的基盤構造を推定する,新たなグループ学習タスクとしてWSSSを定式化する。
特に、入力画像がグラフノードとして表現されるグループ単位のセマンティックマイニングのためのグラフニューラルネットワーク(GNN)を考案する。
論文 参考訳（メタデータ） (2020-12-09T12:40:13Z) - Towards Efficient Scene Understanding via Squeeze Reasoning [71.1139549949694]
我々はSqueeze Reasoningと呼ばれる新しいフレームワークを提案する。
空間地図上の情報を伝播するのではなく、まず入力特徴をチャネルワイドなグローバルベクトルに絞ることを学ぶ。
提案手法はエンドツーエンドのトレーニングブロックとしてモジュール化可能であり,既存のネットワークに簡単に接続可能であることを示す。
論文 参考訳（メタデータ） (2020-11-06T12:17:01Z) - Improving Semantic Segmentation via Decoupled Body and Edge Supervision [89.57847958016981]
既存のセグメンテーションアプローチは、グローバルコンテキストをモデル化することでオブジェクトの内部の一貫性を改善すること、あるいはマルチスケールの特徴融合によって境界に沿ったオブジェクトの詳細を洗練することを目的としている。
本稿では,セマンティックセグメンテーションのための新しいパラダイムを提案する。
我々の洞察は、セマンティックセグメンテーションの魅力ある性能には、画像の高頻度と低頻度に対応するオブジェクトのテキストボディとテキストエッジを具体的にモデル化する必要があるということである。
さまざまなベースラインやバックボーンネットワークを備えた提案したフレームワークが,オブジェクト内部の一貫性とオブジェクト境界を向上させることを示す。
論文 参考訳（メタデータ） (2020-07-20T12:11:22Z) - High-Order Information Matters: Learning Relation and Topology for
Occluded Person Re-Identification [84.43394420267794]
本稿では,高次関係とトポロジ情報を識別的特徴とロバストなアライメントのために学習し,新しい枠組みを提案する。
我々のフレームワークはOccluded-Dukeデータセットで最先端の6.5%mAPスコアを大幅に上回っている。
論文 参考訳（メタデータ） (2020-03-18T12:18:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。