論文の概要: Trans4Map: Revisiting Holistic Top-down Mapping from Egocentric Images to Allocentric Semantics with Vision Transformers

• arxiv url: http://arxiv.org/abs/2207.06205v1
• Date: Wed, 13 Jul 2022 14:01:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-14 15:32:51.735354
• Title: Trans4Map: Revisiting Holistic Top-down Mapping from Egocentric Images to Allocentric Semantics with Vision Transformers
• Title（参考訳）: Trans4Map:エゴセントリックなイメージから視覚変換器を備えたアロセントリックなセマンティックへ
• Authors: Chang Chen, Jiaming Zhang, Kailun Yang, Kunyu Peng, Rainer Stiefelhagen
• Abstract要約: 我々はTrans4Mapと呼ばれるマッピングのためのエンドツーエンドのワンステージトランスフォーマーベースのフレームワークを提案する。 Trans4Mapは67.2%のパラメータを削減しつつ、+3.25% mIoUと+4.09% mBF1の改善をMatterport3Dデータセットで達成している。
• 参考スコア（独自算出の注目度）: 34.6312362205904
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Humans have an innate ability to sense their surroundings, as they can extract the spatial representation from the egocentric perception and form an allocentric semantic map via spatial transformation and memory updating. However, endowing mobile agents with such a spatial sensing ability is still a challenge, due to two difficulties: (1) the previous convolutional models are limited by the local receptive field, thus, struggling to capture holistic long-range dependencies during observation; (2) the excessive computational budgets required for success, often lead to a separation of the mapping pipeline into stages, resulting the entire mapping process inefficient. To address these issues, we propose an end-to-end one-stage Transformer-based framework for Mapping, termed Trans4Map. Our egocentric-to-allocentric mapping process includes three steps: (1) the efficient transformer extracts the contextual features from a batch of egocentric images; (2) the proposed Bidirectional Allocentric Memory (BAM) module projects egocentric features into the allocentric memory; (3) the map decoder parses the accumulated memory and predicts the top-down semantic segmentation map. In contrast, Trans4Map achieves state-of-the-art results, reducing 67.2% parameters, yet gaining a +3.25% mIoU and a +4.09% mBF1 improvements on the Matterport3D dataset. Code will be made publicly available at https://github.com/jamycheung/Trans4Map.
• Abstract（参考訳）: 人間は、自我中心の知覚から空間表現を抽出し、空間変換とメモリ更新を通じて同中心のセマンティックマップを形成することができるため、周囲を知覚する能力を持っている。 しかし,従来の畳み込みモデルが局所受容場によって制限されるため,観測中に全体的長距離依存性を捉えるのに苦労する,(2) 成功に必要な過剰な計算予算がステージにマッピングパイプラインを分離し,マッピングプロセス全体が非効率になる,という2つの難しさから,このような空間的センシング能力を持つ移動剤の内挿は依然として課題である。 これらの問題に対処するために、trans4mapと呼ばれるマッピングのためのエンドツーエンドの1段階トランスフォーマーベースのフレームワークを提案する。 提案手法では,(1)効率の高いトランスフォーマは,複数のエゴセントリック画像から文脈特徴を抽出する;(2)提案された双方向アロセントリックメモリ(bam)モジュールは,エゴセントリック特徴をアロセントリックメモリに投影する;(3)マップデコーダは蓄積メモリを解析し,トップダウン意味セグメンテーションマップを予測する。 対照的にTrans4Mapは67.2%のパラメータを減らし、+3.25% mIoUと+4.09% mBF1の改善をMatterport3Dデータセットで達成している。 コードはhttps://github.com/jamycheung/Trans4Mapで公開されます。

関連論文リスト

• GenMapping: Unleashing the Potential of Inverse Perspective Mapping for Robust Online HD Map Construction [20.1127163541618]
  我々はGenMappingというユニバーサルマップ生成フレームワークを設計した。 このフレームワークは、主および二重補助枝を含む三進的なシナジーアーキテクチャで構築されている。 実験結果の網羅的な配列から,提案手法はセマンティックマッピングとベクトル化マッピングの両方において最先端の手法を超越し,高速な推論速度を維持した。
  論文  参考訳（メタデータ） (2024-09-13T10:15:28Z)
• Neural Semantic Surface Maps [52.61017226479506]
  本稿では,2つの属とゼロの形状の地図を自動計算する手法を提案する。 提案手法は,手動のアノテーションや3Dトレーニングデータ要求を排除し,意味的表面-表面マップを生成する。
  論文  参考訳（メタデータ） (2023-09-09T16:21:56Z)
• Efficient Map Sparsification Based on 2D and 3D Discretized Grids [47.22997560184043]
  マップが大きくなると、より多くのメモリが必要になり、ローカライゼーションが非効率になる。 以前の地図スペーシフィケーション法は、選択されたランドマークの均一分布を強制するために混合整数計画において二次項を追加する。 本稿では,効率的な線形形式で地図スペーシフィケーションを定式化し,2次元離散格子に基づく一様分布ランドマークを選択する。
  論文  参考訳（メタデータ） (2023-03-20T05:49:14Z)
• Memory transformers for full context and high-resolution 3D Medical Segmentation [76.93387214103863]
  本稿では,この問題を克服するために,Full resolutIoN mEmory (FINE) 変換器を提案する。 FINEの基本的な考え方は、メモリトークンを学習して、フルレンジインタラクションを間接的にモデル化することだ。 BCV画像セグメンテーションデータセットの実験は、最先端のCNNやトランスフォーマーベースラインよりも優れたパフォーマンスを示している。
  論文  参考訳（メタデータ） (2022-10-11T10:11:05Z)
• Sparse Semantic Map-Based Monocular Localization in Traffic Scenes Using Learned 2D-3D Point-Line Correspondences [29.419138863851526]
  クエリー画像が与えられた場合、カメラのポーズが先行マップに対応すると見積もることが目的である。 既存のアプローチは、登録問題を解決するために、機能レベルでの高密度な点記述子に大きく依存している。 本稿では,よく設計されたディープニューラルネットワークを用いて2D-3D登録を行う,スパースセマンティックマップに基づく単眼位置推定法を提案する。
  論文  参考訳（メタデータ） (2022-10-10T10:29:07Z)
• SHINE-Mapping: Large-Scale 3D Mapping Using Sparse Hierarchical Implicit Neural Representations [37.733802382489515]
  本稿では, 3次元LiDAR計測を用いて, 暗示表現を用いた大規模3次元再構成を実現する際の課題について述べる。 我々はオクツリーに基づく階層構造を通じて暗黙的な特徴を学習し、保存する。 我々の3D再構成は、現在の最先端3Dマッピング法よりも正確で、完全で、メモリ効率が高いことを示す。
  論文  参考訳（メタデータ） (2022-10-05T14:38:49Z)
• MISSU: 3D Medical Image Segmentation via Self-distilling TransUNet [55.16833099336073]
  医用画像セグメンテーションのためのトランスフォーマーベースUNetを提案する。 グローバルな意味情報と局所的な空間的詳細特徴を同時に学習する。 MISSUは従来の最先端手法よりも優れた性能を発揮する。
  論文  参考訳（メタデータ） (2022-06-02T07:38:53Z)
• Semantic MapNet: Building Allocentric Semantic Maps and Representations from Egocentric Views [50.844459908504476]
  セマンティックマッピングの課題について検討する。具体的には、エンボディエージェント(ロボットまたはエゴセントリックAIアシスタント)が新しい環境のツアーを受ける。 我々は、RGB-Dカメラのエゴセントリックな観察と既知のポーズから、トップダウンのセマンティックマップ("What is where?")を構築する。 本稿では、投影型カメラ幾何とニューラル表現学習の強みを組み合わせたSemanticMapNet(SMNet)を提案する。
  論文  参考訳（メタデータ） (2020-10-02T20:44:46Z)
• Gravitational Models Explain Shifts on Human Visual Attention [80.76475913429357]
  視覚的注意(英: visual attention)とは、人間の脳が優先的な処理のために関連する感覚情報を選択する能力を指す。 過去30年間に様々な評価方法が提案されてきた。 注意変動を記述するための重力モデル(GRAV)を提案する。
  論文  参考訳（メタデータ） (2020-09-15T10:12:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。