論文の概要: ImGeoNet: Image-induced Geometry-aware Voxel Representation for
Multi-view 3D Object Detection
- arxiv url: http://arxiv.org/abs/2308.09098v1
- Date: Thu, 17 Aug 2023 16:49:38 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-21 15:56:18.933252
- Title: ImGeoNet: Image-induced Geometry-aware Voxel Representation for
Multi-view 3D Object Detection
- Title（参考訳）: ImGeoNet:多視点3Dオブジェクト検出のための画像誘起幾何認識ボクセル表現
- Authors: Tao Tu, Shun-Po Chuang, Yu-Lun Liu, Cheng Sun, Ke Zhang, Donna Roy,
Cheng-Hao Kuo, Min Sun
- Abstract要約: ImGeoNetは画像に基づく3Dオブジェクト検出フレームワークで、画像による幾何学的なボクセル表現によって3D空間をモデル化する。
我々は、ARKitScenes、ScanNetV2、ScanNet200という3つの屋内データセットで実験を行う。
本研究は,画像による幾何認識表現により,画像に基づく手法がより優れた検出精度を達成できることを示唆している。
- 参考スコア（独自算出の注目度）: 24.29296860815032
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose ImGeoNet, a multi-view image-based 3D object detection framework
that models a 3D space by an image-induced geometry-aware voxel representation.
Unlike previous methods which aggregate 2D features into 3D voxels without
considering geometry, ImGeoNet learns to induce geometry from multi-view images
to alleviate the confusion arising from voxels of free space, and during the
inference phase, only images from multiple views are required. Besides, a
powerful pre-trained 2D feature extractor can be leveraged by our
representation, leading to a more robust performance. To evaluate the
effectiveness of ImGeoNet, we conduct quantitative and qualitative experiments
on three indoor datasets, namely ARKitScenes, ScanNetV2, and ScanNet200. The
results demonstrate that ImGeoNet outperforms the current state-of-the-art
multi-view image-based method, ImVoxelNet, on all three datasets in terms of
detection accuracy. In addition, ImGeoNet shows great data efficiency by
achieving results comparable to ImVoxelNet with 100 views while utilizing only
40 views. Furthermore, our studies indicate that our proposed image-induced
geometry-aware representation can enable image-based methods to attain superior
detection accuracy than the seminal point cloud-based method, VoteNet, in two
practical scenarios: (1) scenarios where point clouds are sparse and noisy,
such as in ARKitScenes, and (2) scenarios involve diverse object classes,
particularly classes of small objects, as in the case in ScanNet200.
- Abstract（参考訳）: 画像による幾何学的ボクセル表現によって3次元空間をモデル化する多視点画像ベース3Dオブジェクト検出フレームワークImGeoNetを提案する。
幾何を考慮せずに2次元特徴を3次元ボクセルに集約する従来の手法とは異なり、ImGeoNetは自由空間のボクセルから生じる混乱を緩和するために多視点画像から幾何学を誘導することを学び、推論フェーズでは複数のビューの画像のみを必要とする。
さらに,2次元特徴抽出器の強化により,より堅牢な性能が期待できる。
ImGeoNetの有効性を評価するため,室内の3つのデータセット,すなわちARKitScenes,ScanNetV2,ScanNet200について定量的および定性的な実験を行った。
その結果、ImGeoNetは、検出精度の観点から、現在最先端のマルチビュー画像ベース手法であるImVoxelNetよりも優れていることが示された。
さらに、ImGeoNetは、40ビューしか利用せず、100ビューでImVoxelNetに匹敵する結果を達成することで、優れたデータ効率を示している。
さらに,本研究では,画像による幾何認識表現により,(1)ARKitScenesのような点雲がスパースでノイズの多いシナリオ,(2)ScanNet200のような多様なオブジェクトクラス,特に小さなオブジェクトのクラスを含むシナリオの2つの実践シナリオにおいて,画像ベースの手法が,セミナルポイントクラウドベースの方法であるVoteNetよりも優れた検出精度が得られることを示す。
関連論文リスト
- 3DiffTection: 3D Object Detection with Geometry-Aware Diffusion Features [70.50665869806188]
3DiffTectionは、単一の画像から3Dオブジェクトを検出する最先端の方法である。
拡散モデルを微調整し、単一の画像に条件付けされた新しいビュー合成を行う。
さらに、検出監視により、ターゲットデータ上でモデルをトレーニングする。
論文 参考訳（メタデータ） (2023-11-07T23:46:41Z) - AutoDecoding Latent 3D Diffusion Models [95.7279510847827]
本稿では,3次元オートデコーダをコアとした静的・明瞭な3次元アセットの生成に対して,新しいアプローチを提案する。
3D Autodecoderフレームワークは、ターゲットデータセットから学んだプロパティを潜時空間に埋め込む。
次に、適切な中間体積潜在空間を特定し、ロバストな正規化と非正規化演算を導入する。
論文 参考訳（メタデータ） (2023-07-07T17:59:14Z) - Flattening-Net: Deep Regular 2D Representation for 3D Point Cloud
Analysis [66.49788145564004]
我々は、任意の幾何学と位相の不規則な3次元点雲を表現するために、Flattning-Netと呼ばれる教師なしのディープニューラルネットワークを提案する。
我々の手法は、現在の最先端の競合相手に対して好意的に機能する。
論文 参考訳（メタデータ） (2022-12-17T15:05:25Z) - Scatter Points in Space: 3D Detection from Multi-view Monocular Images [8.71944437852952]
単眼画像からの3次元物体検出は,コンピュータビジョンの課題であり,長年の課題である。
近年の手法では, 空間に密集した正規3次元格子をサンプリングすることにより, マルチビュー特性を集約する傾向にある。
そこで本研究では,データ空間に擬似曲面点を散布し,データの分散性を維持するための学習可能なキーポイントサンプリング手法を提案する。
論文 参考訳（メタデータ） (2022-08-31T09:38:05Z) - Graph-DETR3D: Rethinking Overlapping Regions for Multi-View 3D Object
Detection [17.526914782562528]
グラフ構造学習(GSL)による多視点画像情報を自動的に集約するグラフDETR3Dを提案する。
我々の最良のモデルは、nuScenesテストリーダーボード上で49.5 NDSを達成し、様々な画像ビュー3Dオブジェクト検出器と比較して新しい最先端技術を実現している。
論文 参考訳（メタデータ） (2022-04-25T12:10:34Z) - ImVoxelNet: Image to Voxels Projection for Monocular and Multi-View
General-Purpose 3D Object Detection [3.330229314824913]
ImVoxelNetは、モノクロまたはマルチビューRGB画像に基づく3Dオブジェクト検出の新しい完全畳み込み方式である。
ImVoxelNetは、屋内と屋外の両方のシーンをうまく処理する。
SUN RGB-Dデータセット上の既存のRGBベースの3Dオブジェクト検出方法を上回る。
論文 参考訳（メタデータ） (2021-06-02T14:20:24Z) - Learning Geometry-Disentangled Representation for Complementary
Understanding of 3D Object Point Cloud [50.56461318879761]
3次元画像処理のためのGDANet(Geometry-Disentangled Attention Network)を提案する。
GDANetは、点雲を3Dオブジェクトの輪郭と平らな部分に切り離し、それぞれ鋭い変化成分と穏やかな変化成分で表される。
3Dオブジェクトの分類とセグメンテーションベンチマークの実験は、GDANetがより少ないパラメータで最先端の処理を実現していることを示している。
論文 参考訳（メタデータ） (2020-12-20T13:35:00Z) - ParaNet: Deep Regular Representation for 3D Point Clouds [62.81379889095186]
ParaNetは、3Dポイントクラウドを表現するための新しいエンドツーエンドのディープラーニングフレームワークである。
不規則な3D点雲を通常の2Dカラー画像に変換する。
多視点投影とボキセル化に基づく従来の正規表現法とは異なり、提案した表現は微分可能で可逆である。
論文 参考訳（メタデータ） (2020-12-05T13:19:55Z) - Mask2CAD: 3D Shape Prediction by Learning to Segment and Retrieve [54.054575408582565]
本稿では,既存の3次元モデルの大規模データセットを活用し,画像中の物体の3次元構造を理解することを提案する。
本稿では,実世界の画像と検出対象を共同で検出するMask2CADについて,最も類似したCADモデルとそのポーズを最適化する。
これにより、画像内のオブジェクトのクリーンで軽量な表現が生成される。
論文 参考訳（メタデータ） (2020-07-26T00:08:37Z) - Object Detection on Single Monocular Images through Canonical
Correlation Analysis [3.4722706398428493]
点雲や深度画像のような余分な3次元データを用いることなく、単分子画像から3次元オブジェクト情報を検索する。
本稿では,単眼画像とそれに対応する深度画像とを融合する2次元CCAフレームワークを提案する。
論文 参考訳（メタデータ） (2020-02-13T05:03:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。