論文の概要: An Exploration of Embodied Visual Exploration
- arxiv url: http://arxiv.org/abs/2001.02192v2
- Date: Fri, 21 Aug 2020 02:58:53 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-13 20:06:57.663435
- Title: An Exploration of Embodied Visual Exploration
- Title(参考訳): 身体的視覚探索の探索
- Authors: Santhosh K. Ramakrishnan, Dinesh Jayaraman, Kristen Grauman
- Abstract要約: 身体的コンピュータビジョンは、新しい非構造環境におけるロボットに対する知覚を考慮に入れている。
既存の視覚探索アルゴリズムの分類を提示し、それらをベンチマークするための標準フレームワークを作成する。
次に,提案フレームワークを用いた4つの最先端パラダイムの徹底的な実証的研究を行った。
- 参考スコア(独自算出の注目度): 97.21890864063872
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Embodied computer vision considers perception for robots in novel,
unstructured environments. Of particular importance is the embodied visual
exploration problem: how might a robot equipped with a camera scope out a new
environment? Despite the progress thus far, many basic questions pertinent to
this problem remain unanswered: (i) What does it mean for an agent to explore
its environment well? (ii) Which methods work well, and under which assumptions
and environmental settings? (iii) Where do current approaches fall short, and
where might future work seek to improve? Seeking answers to these questions, we
first present a taxonomy for existing visual exploration algorithms and create
a standard framework for benchmarking them. We then perform a thorough
empirical study of the four state-of-the-art paradigms using the proposed
framework with two photorealistic simulated 3D environments, a state-of-the-art
exploration architecture, and diverse evaluation metrics. Our experimental
results offer insights and suggest new performance metrics and baselines for
future work in visual exploration. Code, models and data are publicly
available: https://github.com/facebookresearch/exploring_exploration
- Abstract(参考訳): 身体的コンピュータビジョンは、新しい非構造環境におけるロボットに対する知覚を考える。
特に重要なのは、ロボットがカメラを装着して新しい環境を抜け出すという、具体的視覚探索の問題だ。
これまでの進歩にもかかわらず、この問題に関連する多くの基本的な質問は未解決のままである。
(i)エージェントがその環境をよく探索する意味は何でしょうか。
(ii)どの方法がうまく機能するか、どのような仮定や環境条件の下で機能するか。
(iii)現在のアプローチが不足している部分と、今後の作業が改善を目指す部分とは何でしょう?
これらの質問に答えるべく、まず既存のビジュアル探索アルゴリズムの分類法を示し、それらをベンチマークするための標準フレームワークを作成します。
次に,2つのフォトリアリスティックな3D環境,最先端探査アーキテクチャ,多種多様な評価指標を備えたフレームワークを用いて,最先端の4つのパラダイムについて実験を行った。
我々の実験結果は洞察を与え、視覚的な探索における将来の研究のための新しいパフォーマンス指標とベースラインを提案する。
コード、モデル、データが公開されている。 https://github.com/facebookresearch/exploring_exploration
関連論文リスト
- Explore until Confident: Efficient Exploration for Embodied Question Answering [32.27111287314288]
我々は、大きな視覚言語モデルの強力な意味推論機能を活用して、質問を効率的に探索し、答える。
深度情報とVLMの視覚的プロンプトに基づいて,まずシーンのセマンティックマップを構築する手法を提案する。
次に、コンフォメーション予測を用いて、自信に答えるVLMの質問を校正し、いつ探索を中止するかをロボットが知ることができるようにする。
論文 参考訳(メタデータ) (2024-03-23T22:04:03Z) - Embodied Agents for Efficient Exploration and Smart Scene Description [47.82947878753809]
我々は、自律的なエージェントが見えない屋内環境を探索し、マッピングする必要がある視覚ナビゲーションの設定に取り組む。
本稿では,視覚ロボット探査と画像キャプションの最近の進歩を組み合わせたアプローチを提案し,評価する。
提案手法は,環境の意味的知識を最大化し,繰り返しを避けるスマートなシーン記述を生成する。
論文 参考訳(メタデータ) (2023-01-17T19:28:01Z) - Robot Active Neural Sensing and Planning in Unknown Cluttered
Environments [0.0]
未知の乱雑な環境でのアクティブなセンシングと計画は、ホームサービス、探索と救助、狭い通行検査、医療支援を提供するロボットにとって、オープンな課題である。
本研究は,ロボットマニピュレータの動力学的に実現可能な視点列を手動カメラで生成し,基礎環境の再構築に必要な観測回数を最小化するための能動型ニューラルセンシング手法を提案する。
我々のフレームワークは視覚的RGBD観測を積極的に収集し、それらをシーン表現に集約し、環境との不要なロボットの相互作用を避けるためにオブジェクト形状推論を行う。
論文 参考訳(メタデータ) (2022-08-23T16:56:54Z) - OPEn: An Open-ended Physics Environment for Learning Without a Task [132.6062618135179]
オープンエンドな物理環境で学んだ世界のモデルが、特定のタスクを伴わずに、下流の物理推論タスクに再利用できるかどうかについて検討する。
我々は,OPEn(Open-ended Physics ENvironment)のベンチマークを構築し,この環境における学習表現をテストするためのいくつかのタスクを明示的に設計する。
その結果、教師なしのコントラスト学習を表現学習に用いたエージェントと、探索のためのインパクト駆動学習が最良の結果となった。
論文 参考訳(メタデータ) (2021-10-13T17:48:23Z) - Rapid Exploration for Open-World Navigation with Latent Goal Models [78.45339342966196]
多様なオープンワールド環境における自律的な探索とナビゲーションのためのロボット学習システムについて述べる。
本手法のコアとなるのは、画像の非パラメトリックトポロジカルメモリとともに、距離と行動の学習された潜在変数モデルである。
学習方針を規則化するために情報ボトルネックを使用し、(i)目標のコンパクトな視覚的表現、(ii)一般化能力の向上、(iii)探索のための実行可能な目標をサンプリングするためのメカニズムを提供する。
論文 参考訳(メタデータ) (2021-04-12T23:14:41Z) - SOON: Scenario Oriented Object Navigation with Graph-based Exploration [102.74649829684617]
人間のように3Dエンボディ環境のどこからでも言語ガイドされたターゲットに向かって移動する能力は、インテリジェントロボットの「聖杯」目標の1つです。
ほとんどのビジュアルナビゲーションベンチマークは、ステップバイステップの詳細な命令セットに導かれ、固定された出発点から目標に向かって移動することに焦点を当てている。
このアプローチは、人間だけが物体とその周囲がどのように見えるかを説明する現実世界の問題から逸脱し、ロボットにどこからでも航行を依頼する。
論文 参考訳(メタデータ) (2021-03-31T15:01:04Z) - ViNG: Learning Open-World Navigation with Visual Goals [82.84193221280216]
視覚的目標達成のための学習に基づくナビゲーションシステムを提案する。
提案手法は,我々がvingと呼ぶシステムが,目標条件強化学習のための提案手法を上回っていることを示す。
我々は、ラストマイル配送や倉庫検査など、現実の多くのアプリケーションでViNGを実演する。
論文 参考訳(メタデータ) (2020-12-17T18:22:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。