論文の概要: Segment Anything in 3D with Radiance Fields
- arxiv url: http://arxiv.org/abs/2304.12308v5
- Date: Tue, 16 Apr 2024 01:52:00 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-18 02:40:26.172656
- Title: Segment Anything in 3D with Radiance Fields
- Title(参考訳): 放射場を有する3次元のセグメンテーション
- Authors: Jiazhong Cen, Jiemin Fang, Zanwei Zhou, Chen Yang, Lingxi Xie, Xiaopeng Zhang, Wei Shen, Qi Tian,
- Abstract要約: 本稿では,Segment Anything Model (SAM) を一般化して3次元オブジェクトをセグメント化する。
提案手法をSA3D, 略してSegment Anything in 3Dと呼ぶ。
実験では,SA3Dが様々なシーンに適応し,数秒で3Dセグメンテーションを実現することを示す。
- 参考スコア(独自算出の注目度): 83.14130158502493
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The Segment Anything Model (SAM) emerges as a powerful vision foundation model to generate high-quality 2D segmentation results. This paper aims to generalize SAM to segment 3D objects. Rather than replicating the data acquisition and annotation procedure which is costly in 3D, we design an efficient solution, leveraging the radiance field as a cheap and off-the-shelf prior that connects multi-view 2D images to the 3D space. We refer to the proposed solution as SA3D, short for Segment Anything in 3D. With SA3D, the user is only required to provide a 2D segmentation prompt (e.g., rough points) for the target object in a single view, which is used to generate its corresponding 2D mask with SAM. Next, SA3D alternately performs mask inverse rendering and cross-view self-prompting across various views to iteratively refine the 3D mask of the target object. For one view, mask inverse rendering projects the 2D mask obtained by SAM into the 3D space with guidance of the density distribution learned by the radiance field for 3D mask refinement; Then, cross-view self-prompting extracts reliable prompts automatically as the input to SAM from the rendered 2D mask of the inaccurate 3D mask for a new view. We show in experiments that SA3D adapts to various scenes and achieves 3D segmentation within seconds. Our research reveals a potential methodology to lift the ability of a 2D segmentation model to 3D. Our code is available at https://github.com/Jumpat/SegmentAnythingin3D.
- Abstract(参考訳): Segment Anything Model (SAM)は、高品質な2Dセグメンテーション結果を生成する強力なビジョン基盤モデルとして出現する。
本稿では,SAMを3次元オブジェクトに分割する手法を提案する。
3Dでコストがかかるデータ取得とアノテーションの手順を複製する代わりに、マルチビュー2D画像を3D空間に接続する安価なオフザシェルフとして、レージアンスフィールドを利用する効率的なソリューションを設計する。
提案手法をSA3D, 略してSegment Anything in 3Dと呼ぶ。
SA3Dでは、ユーザは単一のビューでターゲットオブジェクトに対して2Dセグメンテーションプロンプト(例えば粗点)を提供することのみを要求され、SAMで対応する2Dマスクを生成するために使用される。
次に、SA3Dは、ターゲットオブジェクトの3Dマスクを反復的に洗練するために、様々な視点でマスク逆レンダリングとクロスビューセルフプロンプトを交互に行う。
マスク逆レンダリングでは、SAMが取得した2次元マスクを3次元空間に投影し、3次元マスク精錬のために放射場で学習した密度分布の誘導を行い、その後、不正確な3次元マスクのレンダリングされた2次元マスクからのSAMへの入力として、クロスビュー自己プロンプト抽出が信頼性の高いプロンプトを自動的に生成する。
実験では,SA3Dが様々なシーンに適応し,数秒で3Dセグメンテーションを実現することを示す。
本研究は,2次元分割モデルの3次元化能力を高めるための潜在的手法を明らかにする。
私たちのコードはhttps://github.com/Jumpat/SegmentAnythingin3Dで公開されています。
関連論文リスト
- SAM-guided Graph Cut for 3D Instance Segmentation [63.797612618531346]
本稿では,3次元画像情報と多視点画像情報の同時利用による3次元インスタンス分割の課題に対処する。
本稿では,3次元インスタンスセグメンテーションのための2次元セグメンテーションモデルを効果的に活用する新しい3D-to-2Dクエリフレームワークを提案する。
本手法は,ロバストなセグメンテーション性能を実現し,異なるタイプのシーンにまたがる一般化を実現する。
論文 参考訳(メタデータ) (2023-12-13T18:59:58Z) - SAMPro3D: Locating SAM Prompts in 3D for Zero-Shot Scene Segmentation [26.207530327673748]
ゼロショット3D屋内シーンセグメンテーションのためのSAMPro3Dを提案する。
提案手法は,事前訓練されたセグメンション任意のモデル(SAM)を2次元フレームに適用することにより,3次元シーンをセグメント化する。
提案手法は,従来のゼロショットや完全教師付きアプローチよりも高品質で多様なセグメンテーションを実現する。
論文 参考訳(メタデータ) (2023-11-29T15:11:03Z) - NTO3D: Neural Target Object 3D Reconstruction with Segment Anything [44.45486364580724]
NTO3Dは,新しい高品質なニューラルターゲットオブジェクト3D (NTO3D) 再構成法である。
まず、SAMの多視点2Dセグメンテーションマスクを統一された3D占有領域に引き上げるための新しい戦略を提案する。
3D占有領域は2次元空間に投影され、SAMの新しいプロンプトを生成する。
NTO3DはSAMの2Dマスクと特徴を3Dニューラルフィールドに持ち上げ、高品質なニューラルターゲットオブジェクト3D再構成を行う。
論文 参考訳(メタデータ) (2023-09-22T11:02:57Z) - Tracking Objects with 3D Representation from Videos [57.641129788552675]
P3DTrackと呼ばれる新しい2次元多目的追跡パラダイムを提案する。
モノクロビデオにおける擬似3Dオブジェクトラベルからの3次元オブジェクト表現学習により,P3DTrackと呼ばれる新しい2次元MOTパラダイムを提案する。
論文 参考訳(メタデータ) (2023-06-08T17:58:45Z) - SAM3D: Segment Anything in 3D Scenes [33.57040455422537]
本稿では,RGB画像のSegment-Anything Model(SAM)を利用して3次元点雲のマスクを予測できる新しいフレームワークを提案する。
RGB画像が配置された3Dシーンの点雲に対して、まずRGB画像のセグメンテーションマスクをSAMで予測し、2Dマスクを3Dポイントに投影する。
我々のアプローチはScanNetデータセットを用いて実験し、SAM3Dがトレーニングや微調整なしに合理的かつきめ細かな3Dセグメンテーション結果が得られることを示した。
論文 参考訳(メタデータ) (2023-06-06T17:59:51Z) - UnScene3D: Unsupervised 3D Instance Segmentation for Indoor Scenes [35.38074724231105]
UnScene3Dは、クラスに依存しない屋内スキャンの3Dインスタンスセグメンテーションのための、完全に教師なしの3D学習アプローチである。
高分解能な3次元データに基づく効率的な表現と学習を可能にする。
提案手法は,最先端の教師なし3次元インスタンス分割法を平均精度300%以上で改善する。
論文 参考訳(メタデータ) (2023-03-25T19:15:16Z) - Joint-MAE: 2D-3D Joint Masked Autoencoders for 3D Point Cloud
Pre-training [65.75399500494343]
Masked Autoencoders (MAE) は、2Dおよび3Dコンピュータビジョンのための自己教師型学習において有望な性能を示した。
自己監督型3次元点雲事前学習のための2D-3DジョイントMAEフレームワークであるJoint-MAEを提案する。
論文 参考訳(メタデータ) (2023-02-27T17:56:18Z) - ONeRF: Unsupervised 3D Object Segmentation from Multiple Views [59.445957699136564]
OneRFは、追加のマニュアルアノテーションなしで、マルチビューのRGBイメージから3Dのオブジェクトインスタンスを自動的に分割し、再構成する手法である。
セグメント化された3Dオブジェクトは、様々な3Dシーンの編集と新しいビューレンダリングを可能にする別個のNeRF(Neural Radiance Fields)を使用して表現される。
論文 参考訳(メタデータ) (2022-11-22T06:19:37Z) - Gait Recognition in the Wild with Dense 3D Representations and A
Benchmark [86.68648536257588]
既存の歩行認識の研究は、制約されたシーンにおける人間の体のシルエットや骨格のような2D表現によって支配されている。
本稿では,野生における歩行認識のための高密度な3次元表現の探索を目的とする。
大規模な3D表現に基づく歩行認識データセットGait3Dを構築した。
論文 参考訳(メタデータ) (2022-04-06T03:54:06Z) - Virtual Multi-view Fusion for 3D Semantic Segmentation [11.259694096475766]
仮想ビューにより,従来のマルチビュー手法よりも2次元セマンティックセグメンテーションネットワークを効果的に学習できることを示す。
画素ごとの2次元予測を3次元面に集約すると,仮想多視点融合法により,より優れた3次元セマンティックセマンティックセマンティクス結果が得られる。
論文 参考訳(メタデータ) (2020-07-26T14:46:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。