論文の概要: STAIR: Semantic-Targeted Active Implicit Reconstruction
- arxiv url: http://arxiv.org/abs/2403.11233v1
- Date: Sun, 17 Mar 2024 14:42:05 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-19 17:56:21.621011
- Title: STAIR: Semantic-Targeted Active Implicit Reconstruction
- Title(参考訳): STAIR:Semantic-Targeted Active Implicit Reconstruction
- Authors: Liren Jin, Haofei Kuang, Yue Pan, Cyrill Stachniss, Marija Popović,
- Abstract要約: 特定の意味を持つオブジェクト、すなわち特定の意味を持つオブジェクトを活発に再構築することは、ロボットが下流のタスクを実行するのに重要である。
提案手法は,RGB-Dの測定値と2次元意味ラベルを入力として用いたセマンティックターゲット型アクティブリコンストラクションのための新しいフレームワークを提案する。
- 参考スコア(独自算出の注目度): 23.884933841874908
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Many autonomous robotic applications require object-level understanding when deployed. Actively reconstructing objects of interest, i.e. objects with specific semantic meanings, is therefore relevant for a robot to perform downstream tasks in an initially unknown environment. In this work, we propose a novel framework for semantic-targeted active reconstruction using posed RGB-D measurements and 2D semantic labels as input. The key components of our framework are a semantic implicit neural representation and a compatible planning utility function based on semantic rendering and uncertainty estimation, enabling adaptive view planning to target objects of interest. Our planning approach achieves better reconstruction performance in terms of mesh and novel view rendering quality compared to implicit reconstruction baselines that do not consider semantics for view planning. Our framework further outperforms a state-of-the-art semantic-targeted active reconstruction pipeline based on explicit maps, justifying our choice of utilising implicit neural representations to tackle semantic-targeted active reconstruction problems.
- Abstract(参考訳): 多くの自律型ロボットアプリケーションは、デプロイ時にオブジェクトレベルの理解を必要とする。
興味のあるオブジェクト、すなわち特定の意味を持つオブジェクトを積極的に再構築することは、ロボットが最初に未知の環境で下流のタスクを実行することが重要となる。
本研究では,RGB-Dの測定値と2次元意味ラベルを入力として用いた意味的対象のアクティブな再構築のための新しいフレームワークを提案する。
本フレームワークのキーコンポーネントは意味的暗黙的ニューラル表現とセマンティックレンダリングと不確実性推定に基づく協調計画ユーティリティ関数である。
我々の計画手法は、ビュープランニングのセマンティクスを考慮しない暗黙の再構築ベースラインと比較して、メッシュと新しいビューレンダリング品質の観点から、より良い再構築性能を実現する。
我々のフレームワークは、明示的なマップに基づく最先端のセマンティックターゲットのアクティブリコンストラクションパイプラインよりも優れており、セマンティックターゲットのアクティブリコンストラクション問題に対処するために暗黙的なニューラル表現を利用するという選択を正当化しています。
関連論文リスト
- From Words to Poses: Enhancing Novel Object Pose Estimation with Vision Language Models [7.949705607963995]
視覚言語モデル(VLM)はロボット工学の応用においてかなりの進歩を見せている。
VLMのゼロショット機能を活用し、6次元オブジェクトポーズ推定に変換する。
本稿では,言語埋め込みを用いたゼロショット6Dオブジェクトのポーズ推定のための新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2024-09-09T08:15:39Z) - Graphical Object-Centric Actor-Critic [55.2480439325792]
本稿では,アクター批判とモデルに基づくアプローチを組み合わせたオブジェクト中心強化学習アルゴリズムを提案する。
変換器エンコーダを用いてオブジェクト表現とグラフニューラルネットワークを抽出し、環境のダイナミクスを近似する。
本アルゴリズムは,現状のモデルフリーアクター批判アルゴリズムよりも複雑な3次元ロボット環境と構成構造をもつ2次元環境において,より優れた性能を発揮する。
論文 参考訳(メタデータ) (2023-10-26T06:05:12Z) - How To Not Train Your Dragon: Training-free Embodied Object Goal
Navigation with Semantic Frontiers [94.46825166907831]
Embodied AIにおけるオブジェクトゴールナビゲーション問題に対処するためのトレーニング不要のソリューションを提案する。
本手法は,古典的な視覚的同時ローカライゼーションとマッピング(V-SLAM)フレームワークに基づく,構造化されたシーン表現を構築する。
本手法は,言語先行情報とシーン統計に基づいてシーングラフのセマンティクスを伝搬し,幾何学的フロンティアに意味知識を導入する。
論文 参考訳(メタデータ) (2023-05-26T13:38:33Z) - Active Implicit Object Reconstruction using Uncertainty-guided Next-Best-View Optimization [1.2268315442962412]
オブジェクト再構築時のセンサビューのアクティブな計画は、自律移動ロボットにとって不可欠である。
本稿では,暗黙の表現を能動的再構築タスクとシームレスに統合することを提案する。
本手法は,アクティブ・リコンストラクション作業におけるビュープランニングの精度と効率を効果的に向上する。
論文 参考訳(メタデータ) (2023-03-29T14:42:30Z) - Structure-Guided Image Completion with Image-level and Object-level Semantic Discriminators [97.12135238534628]
複雑な意味論やオブジェクトの生成を改善するために,セマンティック・ディミネータとオブジェクトレベル・ディミネータからなる学習パラダイムを提案する。
特に、セマンティック・ディミネーターは、事前学習された視覚的特徴を利用して、生成された視覚概念の現実性を改善する。
提案手法は, 生成品質を著しく向上させ, 各種タスクの最先端化を実現する。
論文 参考訳(メタデータ) (2022-12-13T01:36:56Z) - SORNet: Spatial Object-Centric Representations for Sequential
Manipulation [39.88239245446054]
シーケンシャルな操作タスクでは、ロボットが環境の状態を認識し、望ましい目標状態につながる一連のアクションを計画する必要がある。
本研究では,対象対象の標準視に基づくRGB画像からオブジェクト中心表現を抽出するSORNetを提案する。
論文 参考訳(メタデータ) (2021-09-08T19:36:29Z) - Predicting Stable Configurations for Semantic Placement of Novel Objects [37.18437299513799]
我々のゴールは、新しい環境における学習された意味的関係に従って、ロボットが未確認の物体を配置できるようにすることである。
我々は、未知のオブジェクトのセマンティック配置のための計画アルゴリズムと密に統合するために、モデルとトレーニングをゼロから構築する。
提案手法は,RGB-Dセンシングのみによる形状の異なるシーンにおける未知物体のセマンティック・アレンジメントのための動作計画を可能にする。
論文 参考訳(メタデータ) (2021-08-26T23:05:05Z) - Anti-aliasing Semantic Reconstruction for Few-Shot Semantic Segmentation [66.85202434812942]
セグメンテーションを意味的再構成問題として再検討する。
基本クラスの特徴を,新しいクラス再構築のためのクラスレベルのセマンティック空間にまたがる一連の基底ベクトルに変換する。
提案手法はアンチエイリアス・セマンティック・リストラクション (ASR) と呼ばれ, 数発の学習問題に対して, 体系的かつ解釈可能な解法を提供する。
論文 参考訳(メタデータ) (2021-06-01T02:17:36Z) - TSDF++: A Multi-Object Formulation for Dynamic Object Tracking and
Reconstruction [57.1209039399599]
我々は,シーン全体とその中のすべてのオブジェクトに対して,単一のボリュームを維持できるマップ表現を提案する。
複数の動的オブジェクト追跡および再構成シナリオにおいて,本表現は,近接して移動する他のオブジェクトによって一時的にオクルードされても,表面の正確な再構成を維持できる。
提案したTSDF++の定式化を公開合成データセット上で評価し,標準のTSDFマップ表現と比較した場合の閉塞面の復元性を示す。
論文 参考訳(メタデータ) (2021-05-16T16:15:05Z) - Reconstructing Interactive 3D Scenes by Panoptic Mapping and CAD Model
Alignments [81.38641691636847]
エンボディエージェントの観点から,シーン再構築の問題を再考する。
rgb-dデータストリームを用いてインタラクティブシーンを再構築する。
この再構成されたシーンは、密集したパノプティカルマップのオブジェクトメッシュを、部分ベースのCADモデルに置き換える。
論文 参考訳(メタデータ) (2021-03-30T05:56:58Z) - Object-Driven Active Mapping for More Accurate Object Pose Estimation
and Robotic Grasping [5.385583891213281]
このフレームワークは、オブジェクトSLAMシステム上に構築され、同時多目的ポーズ推定プロセスと統合される。
マッピングモジュールと探索戦略を組み合わせることにより、ロボットの把握と互換性のある正確なオブジェクトマップを生成することができる。
論文 参考訳(メタデータ) (2020-12-03T09:36:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。