論文の概要: SAM3D: Zero-Shot 3D Object Detection via Segment Anything Model
- arxiv url: http://arxiv.org/abs/2306.02245v2
- Date: Mon, 29 Jan 2024 12:14:04 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-30 22:29:48.463798
- Title: SAM3D: Zero-Shot 3D Object Detection via Segment Anything Model
- Title(参考訳): sam3d: segment anythingモデルによるゼロショット3dオブジェクト検出
- Authors: Dingyuan Zhang, Dingkang Liang, Hongcheng Yang, Zhikang Zou, Xiaoqing
Ye, Zhe Liu, Xiang Bai
- Abstract要約: 本稿では,SAMのゼロショット能力を3次元物体検出に適用することを検討する。
大規模オープンデータセット上でオブジェクトを検出し,有望な結果を得るために,SAMを用いたBEV処理パイプラインを提案する。
- 参考スコア(独自算出の注目度): 59.04877271899894
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With the development of large language models, many remarkable linguistic
systems like ChatGPT have thrived and achieved astonishing success on many
tasks, showing the incredible power of foundation models. In the spirit of
unleashing the capability of foundation models on vision tasks, the Segment
Anything Model (SAM), a vision foundation model for image segmentation, has
been proposed recently and presents strong zero-shot ability on many downstream
2D tasks. However, whether SAM can be adapted to 3D vision tasks has yet to be
explored, especially 3D object detection. With this inspiration, we explore
adapting the zero-shot ability of SAM to 3D object detection in this paper. We
propose a SAM-powered BEV processing pipeline to detect objects and get
promising results on the large-scale Waymo open dataset. As an early attempt,
our method takes a step toward 3D object detection with vision foundation
models and presents the opportunity to unleash their power on 3D vision tasks.
The code is released at https://github.com/DYZhang09/SAM3D.
- Abstract(参考訳): 大規模な言語モデルの開発により、chatgptのような多くの目立った言語システムが成長し、多くのタスクで驚くべき成功を収めた。
視覚タスクにおける基礎モデルの能力を解き放つため、画像分割のための視覚基盤モデルであるsegment anything model(sam)が最近提案され、多くの下流2dタスクにおいて強いゼロショット能力を示す。
しかし、samが3dビジョンタスクに適応できるか、特に3dオブジェクト検出についてはまだ検討されていない。
このインスピレーションにより,本論文ではSAMのゼロショット能力を3次元物体検出に適用することを検討する。
大規模Waymoオープンデータセット上でオブジェクトを検出し,有望な結果を得るためのSAMを用いたBEV処理パイプラインを提案する。
初期の試みとして,視覚基盤モデルを用いた3次元物体検出への一歩を踏み出し,そのパワーを3次元視覚タスクに解き放つ機会を提案する。
コードはhttps://github.com/dyzhang09/sam3dでリリースされる。
関連論文リスト
- Leveraging Large-Scale Pretrained Vision Foundation Models for
Label-Efficient 3D Point Cloud Segmentation [67.07112533415116]
本稿では3Dポイントクラウドセグメンテーションタスクに様々な基礎モデルを適用する新しいフレームワークを提案する。
我々のアプローチでは、異なる大きな視覚モデルを用いて2次元セマンティックマスクの初期予測を行う。
本研究では,ロバストな3Dセマンティックな擬似ラベルを生成するために,投票による全ての結果を効果的に組み合わせたセマンティックなラベル融合戦略を提案する。
論文 参考訳(メタデータ) (2023-11-03T15:41:15Z) - PonderV2: Pave the Way for 3D Foundation Model with A Universal
Pre-training Paradigm [114.47216525866435]
本稿では,効率的な3D表現の獲得を容易にするために,新しいユニバーサル3D事前学習フレームワークを提案する。
PonderV2は、11の室内および屋外ベンチマークで最先端のパフォーマンスを達成したことで、その効果が示唆された。
論文 参考訳(メタデータ) (2023-10-12T17:59:57Z) - Segment Anything in 3D with NeRFs [85.52053469567853]
本稿では,Segment Anything Model (SAM) を一般化して3次元オブジェクトをセグメント化する。
我々は、マルチビュー2D画像を3D空間に接続する安価なオフザシェルフとして、Neural Radiance Field(NeRF)を使用している。
実験では,SA3Dが様々な場面に適応し,数分で3Dセグメンテーションを実現することを示す。
論文 参考訳(メタデータ) (2023-04-24T17:57:15Z) - Anything-3D: Towards Single-view Anything Reconstruction in the Wild [61.090129285205805]
本稿では,一連の視覚言語モデルとSegment-Anythingオブジェクトセグメンテーションモデルを組み合わせた方法論的フレームワークであるAnything-3Dを紹介する。
提案手法では、BLIPモデルを用いてテキスト記述を生成し、Segment-Anythingモデルを用いて関心対象を効果的に抽出し、テキスト・画像拡散モデルを用いて物体を神経放射場へ持ち上げる。
論文 参考訳(メタデータ) (2023-04-19T16:39:51Z) - A Simple Baseline for Multi-Camera 3D Object Detection [94.63944826540491]
周囲のカメラで3Dオブジェクトを検出することは、自動運転にとって有望な方向だ。
マルチカメラオブジェクト検出のための簡易ベースラインであるSimMODを提案する。
我々は, nuScenes の3次元オブジェクト検出ベンチマークにおいて, SimMOD の有効性を示す広範囲な実験を行った。
論文 参考訳(メタデータ) (2022-08-22T03:38:01Z) - Aerial Monocular 3D Object Detection [46.26215100532241]
本研究は,2次元画像空間と3次元物理空間の両方において,空中単分子物体検出を実現するために,DVDETというデュアルビュー検出システムを提案する。
この課題に対処するため,AirSIMとCARLAの共同シミュレーションによって生成されたAM3D-Simという新しい大規模シミュレーションデータセットと,DJI Matrice 300 RTKによって収集されたAM3D-Realという新しい実世界の空中データセットを提案する。
論文 参考訳(メタデータ) (2022-08-08T08:32:56Z) - Omni3D: A Large Benchmark and Model for 3D Object Detection in the Wild [32.05421669957098]
大規模なデータセットとスケーラブルなソリューションは、2D認識において前例のない進歩をもたらした。
我々はOmni3Dと呼ばれる大規模なベンチマークを導入することで3Dオブジェクト検出の課題を再考する。
より大規模なOmni3Dおよび既存のベンチマークにおいて、Cube R-CNNが以前の作業より優れていることを示す。
論文 参考訳(メタデータ) (2022-07-21T17:56:22Z) - MonoGRNet: A General Framework for Monocular 3D Object Detection [23.59839921644492]
幾何学的推論によるモノクロ画像からのアモーダル3次元物体検出のためのMonoGRNetを提案する。
MonoGRNetは、モノラル3Dオブジェクト検出タスクを2Dオブジェクト検出、インスタンスレベルの深さ推定、投影された3Dセンター推定、ローカルコーナー回帰を含む4つのサブタスクに分解する。
KITTI、Cityscapes、MS COCOデータセットで実験が行われた。
論文 参考訳(メタデータ) (2021-04-18T10:07:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。