論文の概要: MV-DETR: Multi-modality indoor object detection by Multi-View DEtecton TRansformers

• arxiv url: http://arxiv.org/abs/2408.06604v1
• Date: Tue, 13 Aug 2024 03:37:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-14 18:46:15.911676
• Title: MV-DETR: Multi-modality indoor object detection by Multi-View DEtecton TRansformers
• Title（参考訳）: MV-DETR:マルチビュー・デテクトン・トラアンスフォーマによる多モード屋内物体検出
• Authors: Zichao Dong, Yilin Zhang, Xufeng Huang, Hang Ji, Zhan Shi, Xin Zhan, Junbo Chen,
• Abstract要約: 本稿では,効率的なトランスベース検出手法として,新しいMV-DETRパイプラインを提案する。 我々は、幾何学とテクスチャの手がかりはどちらも重要であり、別々に符号化できると主張している。 本研究では,ScanNetv2ベンチマークによる新しい技術状態を生成する78%のAPを実現する。
• 参考スコア（独自算出の注目度）: 9.525762324351653
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce a novel MV-DETR pipeline which is effective while efficient transformer based detection method. Given input RGBD data, we notice that there are super strong pretraining weights for RGB data while less effective works for depth related data. First and foremost , we argue that geometry and texture cues are both of vital importance while could be encoded separately. Secondly, we find that visual texture feature is relatively hard to extract compared with geometry feature in 3d space. Unfortunately, single RGBD dataset with thousands of data is not enough for training an discriminating filter for visual texture feature extraction. Last but certainly not the least, we designed a lightweight VG module consists of a visual textual encoder, a geometry encoder and a VG connector. Compared with previous state of the art works like V-DETR, gains from pretrained visual encoder could be seen. Extensive experiments on ScanNetV2 dataset shows the effectiveness of our method. It is worth mentioned that our method achieve 78\% AP which create new state of the art on ScanNetv2 benchmark.
• Abstract（参考訳）: 本稿では,効率的なトランスベース検出手法として,新しいMV-DETRパイプラインを提案する。 入力RGBDデータを考えると、RGBデータには強い事前学習重みがあるが、深度関連データには効果が低いことが分かる。 まず第一に、幾何学とテクスチャの手がかりはどちらも重要であり、別々に符号化できると論じる。 第二に、3次元空間の幾何学的特徴と比較して視覚的テクスチャの特徴を抽出することが比較的困難である。 残念なことに、何千ものデータを持つ単一のRGBDデータセットは、視覚テクスチャの特徴抽出のための識別フィルタをトレーニングするのに十分なものではない。 最後に、我々は、視覚テキストエンコーダ、幾何学エンコーダ、VGコネクタからなる軽量なVGモジュールを設計した。 従来のV-DETRのような最先端技術と比較すると、事前訓練されたビジュアルエンコーダの利得が見られる。 ScanNetV2データセットの大規模な実験により,本手法の有効性が示された。 ScanNetv2ベンチマークで新しい最先端のAPを生成する手法を, 78 %のAPで実現したことは注目に値する。

関連論文リスト

• PointMBF: A Multi-scale Bidirectional Fusion Network for Unsupervised RGB-D Point Cloud Registration [6.030097207369754]
  本稿では,RGB画像と深度画像から生成された点雲との間に,マルチスケールの双方向融合を実現するネットワークを提案する。 提案手法は,新しい最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-08-09T08:13:46Z)
• V-DETR: DETR with Vertex Relative Position Encoding for 3D Object Detection [73.37781484123536]
  DETRフレームワークを用いた点雲のための高性能な3次元物体検出器を提案する。 限界に対処するため,新しい3次元相対位置(3DV-RPE)法を提案する。 挑戦的なScanNetV2ベンチマークで例外的な結果を示す。
  論文  参考訳（メタデータ） (2023-08-08T17:14:14Z)
• RangeViT: Towards Vision Transformers for 3D Semantic Segmentation in Autonomous Driving [80.14669385741202]
  視覚変換器(ViT)は多くの画像ベースのベンチマークで最先端の結果を得た。 ViTはトレーニングが難しいことで知られており、強力な表現を学ぶために大量のトレーニングデータを必要とする。 提案手法はRangeViTと呼ばれ,nuScenes や Semantic KITTI において既存のプロジェクションベースの手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-01-24T18:50:48Z)
• Focal Sparse Convolutional Networks for 3D Object Detection [121.45950754511021]
  我々はスパースCNNの能力を高めるために2つの新しいモジュールを導入する。 焦点スパース・コンボリューション(Focals Conv)であり、焦点スパース・コンボリューションの多様変種である。 スパース・コンボリューションにおける空間的に学習可能な空間空間性は,高度な3次元物体検出に不可欠であることを示す。
  論文  参考訳（メタデータ） (2022-04-26T17:34:10Z)
• Visible-Thermal UAV Tracking: A Large-Scale Benchmark and New Baseline [80.13652104204691]
  本稿では,可視熱UAV追跡(VTUAV)のための高多様性の大規模ベンチマークを構築する。 本稿では, フレームレベルの属性を, チャレンジ固有のトラッカーの可能性を利用するための粗粒度属性アノテーションを提案する。 さらに,様々なレベルでRGB-Tデータを融合するHMFT(Hierarchical Multi-modal Fusion Tracker)という新しいRGB-Tベースラインを設計する。
  論文  参考訳（メタデータ） (2022-04-08T15:22:33Z)
• RGB-D Saliency Detection via Cascaded Mutual Information Minimization [122.8879596830581]
  既存のRGB-Dサリエンシ検出モデルは、RGBと深さを効果的にマルチモーダル学習を実現するために明示的に奨励するものではない。 本稿では,RGB画像と深度データ間のマルチモーダル情報を「明示的」にモデル化するために,相互情報最小化による新しい多段階学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-15T12:31:27Z)
• Refer-it-in-RGBD: A Bottom-up Approach for 3D Visual Grounding in RGBD Images [69.5662419067878]
  RGBD画像における接地参照表現は新たな分野である。 本稿では,参照する物体が閉塞により部分的にスキャンされる場合が多い単視点rgbd画像における3次元視覚グランド化の新たな課題を提案する。 提案手法はまず,RGBD画像内の関連領域をローカライズするヒートマップを生成するために,下層の言語と視覚的特徴を融合させる。 次に、ヒートマップに基づく適応的特徴学習を行い、他のビジオ言語融合とオブジェクトレベルのマッチングを行い、最後に参照したオブジェクトを接地する。
  論文  参考訳（メタデータ） (2021-03-14T11:18:50Z)
• 3D Object Detection From LiDAR Data Using Distance Dependent Feature Extraction [7.04185696830272]
  本研究は、LiDAR点雲の性質を遠距離で考慮し、3次元物体検出器の改良を提案する。 その結果、近距離および長距離オブジェクトのための個別ネットワークのトレーニングは、すべてのKITTIベンチマークの困難さに対するパフォーマンスを高めることが示された。
  論文  参考訳（メタデータ） (2020-03-02T13:16:35Z)
• A Novel Recurrent Encoder-Decoder Structure for Large-Scale Multi-view Stereo Reconstruction from An Open Aerial Dataset [6.319667056655425]
  我々は、WHUデータセットと呼ばれる合成空中データセットを提案し、これが最初の大規模多視点空中データセットである。 広帯域深度推定のための新しいネットワークRED-Netについても紹介する。 実験の結果,提案手法は現在のMVS法を50%以上の平均絶対誤差(MAE)で上回り,メモリと計算コストを削減できた。
  論文  参考訳（メタデータ） (2020-03-02T03:04:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。