論文の概要: MaAST: Map Attention with Semantic Transformersfor Efficient Visual Navigation

• arxiv url: http://arxiv.org/abs/2103.11374v1
• Date: Sun, 21 Mar 2021 12:01:23 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-25 06:56:58.033609
• Title: MaAST: Map Attention with Semantic Transformersfor Efficient Visual Navigation
• Title（参考訳）: maast: 効率的なビジュアルナビゲーションのためのセマンティックトランスフォーマーによるマップアテンション
• Authors: Zachary Seymour, Kowshik Thopalli, Niluthpol Mithun, Han-Pang Chiu, Supun Samarasekera, Rakesh Kumar
• Abstract要約: この作業は、自律エージェントの視覚ナビゲーションのための既存の学習ベースのソリューションよりも良く、または匹敵するパフォーマンスに重点を置いています。 本稿では,重要シーンのセマンティクスを意味的に理解し,トップダウンのエゴセントリックな地図表現にエンコードする手法を提案する。 本研究では,3次元再構成した屋内ポイントゴーア視覚ナビゲーション実験を行い,その効果を実証する。
• 参考スコア（独自算出の注目度）: 4.127128889779478
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Visual navigation for autonomous agents is a core task in the fields of computer vision and robotics. Learning-based methods, such as deep reinforcement learning, have the potential to outperform the classical solutions developed for this task; however, they come at a significantly increased computational load. Through this work, we design a novel approach that focuses on performing better or comparable to the existing learning-based solutions but under a clear time/computational budget. To this end, we propose a method to encode vital scene semantics such as traversable paths, unexplored areas, and observed scene objects -- alongside raw visual streams such as RGB, depth, and semantic segmentation masks -- into a semantically informed, top-down egocentric map representation. Further, to enable the effective use of this information, we introduce a novel 2-D map attention mechanism, based on the successful multi-layer Transformer networks. We conduct experiments on 3-D reconstructed indoor PointGoal visual navigation and demonstrate the effectiveness of our approach. We show that by using our novel attention schema and auxiliary rewards to better utilize scene semantics, we outperform multiple baselines trained with only raw inputs or implicit semantic information while operating with an 80% decrease in the agent's experience.
• Abstract（参考訳）: 自律エージェントのための視覚ナビゲーションは、コンピュータビジョンとロボット工学の分野における中核的なタスクである。 深層強化学習のような学習ベースの手法は、このタスクのために開発された古典的ソリューションよりも優れる可能性があるが、計算負荷は著しく増加する。 本研究では,既存の学習ベースのソリューションよりも優れた,あるいは同等なパフォーマンスを目標とした,明確な時間/計算予算の下での新たなアプローチをデザインする。 そこで本研究では,RGBや深度,セマンティックセグメンテーションマスクなどの生の視覚的ストリームとともに,トラバーサブルパスや未探索領域,観察されたシーンオブジェクトなどの重要なシーンセマンティクスを,意味的に理解されたトップダウンの地図表現にエンコードする手法を提案する。 さらに, この情報を効果的に活用するために, 多層トランスフォーマーネットワークを用いた新しい2次元マップアテンション機構を提案する。 本研究では,3次元再構成した屋内ポイントゴーア視覚ナビゲーション実験を行い,その効果を実証する。 我々は,新たな注意スキーマと助成報酬を用いてシーンセマンティクスをより有効に活用することにより,エージェントの経験を80%減少させながら,生の入力や暗黙のセマンティクス情報のみを訓練した複数のベースラインよりも優れることを示す。

関連論文リスト

• Self-supervised Learning via Cluster Distance Prediction for Operating Room Context Awareness [44.15562068190958]
  オペレーティングルームでは、セマンティックセグメンテーションは、臨床環境を認識したロボットを作るための中核である。 最先端のセマンティックセグメンテーションとアクティビティ認識アプローチは、スケーラブルではない、完全に管理されている。 ToFカメラで撮影したORシーン画像を利用したORシーン理解のための新しい3次元自己教師型タスクを提案する。
  論文  参考訳（メタデータ） (2024-07-07T17:17:52Z)
• Interactive Semantic Map Representation for Skill-based Visual Object Navigation [43.71312386938849]
  本稿では,室内環境との相互作用にともなうシーンセマンティックマップの表現について紹介する。 我々はこの表現をSkillTronと呼ばれる本格的なナビゲーション手法に実装した。 提案手法により,ロボット探索の中間目標とオブジェクトナビゲーションの最終目標の両方を形成できる。
  論文  参考訳（メタデータ） (2023-11-07T16:30:12Z)
• Learning Navigational Visual Representations with Semantic Map Supervision [85.91625020847358]
  エージェントの自我中心のビューとセマンティックマップを対比してナビゲーション固有の視覚表現学習法を提案する。 Ego$2$-Map学習は、オブジェクト、構造、遷移などのコンパクトでリッチな情報を、ナビゲーションのためのエージェントのエゴセントリックな表現に転送する。
  論文  参考訳（メタデータ） (2023-07-23T14:01:05Z)
• Learning with a Mole: Transferable latent spatial representations for navigation without reconstruction [12.845774297648736]
  ほとんどのエンドツーエンドの学習アプローチでは、表現は潜伏しており、通常は明確に定義された解釈を持っていない。 本研究では,目的とする下流タスクとは無関係にシーンの動作可能な表現を学習することを提案する。 学習された表現は、進路から分岐する複数の短いエピソードをナビゲートするように訓練された盲人補助エージェントによって最適化される。
  論文  参考訳（メタデータ） (2023-06-06T16:51:43Z)
• How To Not Train Your Dragon: Training-free Embodied Object Goal Navigation with Semantic Frontiers [94.46825166907831]
  Embodied AIにおけるオブジェクトゴールナビゲーション問題に対処するためのトレーニング不要のソリューションを提案する。 本手法は,古典的な視覚的同時ローカライゼーションとマッピング(V-SLAM)フレームワークに基づく,構造化されたシーン表現を構築する。 本手法は,言語先行情報とシーン統計に基づいてシーングラフのセマンティクスを伝搬し,幾何学的フロンティアに意味知識を導入する。
  論文  参考訳（メタデータ） (2023-05-26T13:38:33Z)
• ALSO: Automotive Lidar Self-supervision by Occupancy estimation [70.70557577874155]
  本稿では,ポイントクラウド上で動作している深層知覚モデルのバックボーンを事前学習するための自己教師型手法を提案する。 中心となる考え方は、3Dポイントがサンプリングされる表面の再構成であるプリテキストタスクでモデルをトレーニングすることである。 直感的には、もしネットワークがわずかな入力ポイントのみを考慮し、シーン表面を再構築できるなら、おそらく意味情報の断片をキャプチャする。
  論文  参考訳（メタデータ） (2022-12-12T13:10:19Z)
• X-Distill: Improving Self-Supervised Monocular Depth via Cross-Task Distillation [69.9604394044652]
  そこで本研究では,クロスタスク知識蒸留による単眼深度の自己指導的訓練を改善する手法を提案する。 トレーニングでは,事前訓練されたセマンティックセグメンテーション教師ネットワークを使用し,そのセマンティック知識を深度ネットワークに転送する。 提案手法の有効性をKITTIベンチマークで評価し,最新技術と比較した。
  論文  参考訳（メタデータ） (2021-10-24T19:47:14Z)
• Look at What I'm Doing: Self-Supervised Spatial Grounding of Narrations in Instructional Videos [78.34818195786846]
  ビデオにおけるナレーション相互作用を空間的局所化するタスクについて紹介する。 提案手法の鍵となるのは,映像の大規模コーパスにおける自己スーパービジョンとの相互作用の空間的ローカライズを学習する能力である。 学習中のコントラスト損失を効果的に最適化できる多層マルチモーダルアテンションネットワークを提案する。
  論文  参考訳（メタデータ） (2021-10-20T14:45:13Z)
• Improving Target-driven Visual Navigation with Attention on 3D Spatial Relationships [52.72020203771489]
  3次元屋内シーンにおける深部強化学習(DRL)を用いた目標駆動型視覚ナビゲーションについて検討した。 提案手法は視覚特徴と3次元空間表現を組み合わせてナビゲーションポリシーを学習する。 AI2-THORで実施した我々の実験は、SRとSPLの指標において、モデルがベースラインを上回っていることを示している。
  論文  参考訳（メタデータ） (2020-04-29T08:46:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。