論文の概要: 3D Instances as 1D Kernels
- arxiv url: http://arxiv.org/abs/2207.07372v1
- Date: Fri, 15 Jul 2022 09:38:56 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-18 14:14:34.217785
- Title: 3D Instances as 1D Kernels
- Title(参考訳): 1Dカーネルとしての3Dインスタンス
- Authors: Yizheng Wu, Min Shi, Shuaiyuan Du, Hao Lu, Zhiguo Cao, Weicai Zhong
- Abstract要約: インスタンスカーネルと呼ばれる3次元のインスタンス表現を導入し、インスタンスを1次元ベクトルで表現する。
インスタンスカーネルは、シーン全体にわたって単純にカーネルをスキャンすることで、簡単に推論マスクを可能にする。
- 参考スコア(独自算出の注目度): 25.65939139679103
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce a 3D instance representation, termed instance kernels, where
instances are represented by one-dimensional vectors that encode the semantic,
positional, and shape information of 3D instances. We show that instance
kernels enable easy mask inference by simply scanning kernels over the entire
scenes, avoiding the heavy reliance on proposals or heuristic clustering
algorithms in standard 3D instance segmentation pipelines. The idea of instance
kernel is inspired by recent success of dynamic convolutions in 2D/3D instance
segmentation. However, we find it non-trivial to represent 3D instances due to
the disordered and unstructured nature of point cloud data, e.g., poor instance
localization can significantly degrade instance representation. To remedy this,
we construct a novel 3D instance encoding paradigm. First, potential instance
centroids are localized as candidates. Then, a candidate merging scheme is
devised to simultaneously aggregate duplicated candidates and collect context
around the merged centroids to form the instance kernels. Once instance kernels
are available, instance masks can be reconstructed via dynamic convolutions
whose weights are conditioned on instance kernels. The whole pipeline is
instantiated with a dynamic kernel network (DKNet). Results show that DKNet
outperforms the state of the arts on both ScanNetV2 and S3DIS datasets with
better instance localization. Code is available:
https://github.com/W1zheng/DKNet.
- Abstract(参考訳): 3dインスタンスのセマンティクス、位置、形状情報をエンコードした1次元ベクトルでインスタンスを表現した3dインスタンス表現をインスタンスカーネルと呼ぶ。
インスタンスカーネルは,通常の3Dインスタンスセグメンテーションパイプラインにおける提案やヒューリスティッククラスタリングアルゴリズムに大きく依存することを避けるために,カーネル全体をスキャンするだけで,マスク推論が容易であることを示す。
インスタンスカーネルのアイデアは、2D/3Dインスタンスセグメンテーションにおける動的畳み込みの成功に触発されている。
しかし、不適切なインスタンスのローカライゼーションがインスタンス表現を著しく劣化させるなど、ポイントクラウドデータの乱れや非構造化の性質のため、3Dインスタンスを表現するのは簡単ではない。
そこで我々は,新しい3Dインスタンスエンコーディングパラダイムを構築した。
まず、潜在的なインスタンスcentroidsが候補としてローカライズされる。
次に、重複候補を集約し、マージセンタロイド周辺のコンテキストを収集してインスタンスカーネルを形成するように、候補マージスキームを考案する。
一度インスタンスカーネルが利用可能になると、インスタンスのカーネルに重みが条件付けられた動的畳み込みを通じてインスタンスマスクを再構築することができる。
パイプライン全体が動的カーネルネットワーク(DKNet)でインスタンス化される。
その結果,DKNetは,ScanNetV2データセットとS3DISデータセットの両方で,より優れたインスタンスローカライゼーションを実現している。
コードはhttps://github.com/w1zheng/dknet。
関連論文リスト
- Open3DIS: Open-vocabulary 3D Instance Segmentation with 2D Mask Guidance [51.60563295730421]
Open3DISは3Dシーン内でのOpen-Vocabulary Instanceの問題に対処するために設計された新しいソリューションである。
3D環境内のオブジェクトは、さまざまな形状、スケール、色を示し、正確なインスタンスレベルの識別が困難なタスクとなる。
論文 参考訳(メタデータ) (2023-12-17T10:07:03Z) - SAM-guided Graph Cut for 3D Instance Segmentation [63.797612618531346]
本稿では,3次元画像情報と多視点画像情報の同時利用による3次元インスタンス分割の課題に対処する。
本稿では,3次元インスタンスセグメンテーションのための2次元セグメンテーションモデルを効果的に活用する新しい3D-to-2Dクエリフレームワークを提案する。
本手法は,ロバストなセグメンテーション性能を実現し,異なるタイプのシーンにまたがる一般化を実現する。
論文 参考訳(メタデータ) (2023-12-13T18:59:58Z) - UnScene3D: Unsupervised 3D Instance Segmentation for Indoor Scenes [33.40572976383402]
UnScene3Dは、クラスに依存しない屋内スキャンの3Dインスタンスセグメンテーションのための、完全に教師なしの3D学習アプローチである。
高分解能な3次元データに基づく効率的な表現と学習を可能にする。
提案手法は,最先端の教師なし3次元インスタンス分割法を平均精度300%以上で改善する。
論文 参考訳(メタデータ) (2023-03-25T19:15:16Z) - ISBNet: a 3D Point Cloud Instance Segmentation Network with
Instance-aware Sampling and Box-aware Dynamic Convolution [14.88505076974645]
ISBNetは、インスタンスをカーネルとして表現し、動的畳み込みを通じてインスタンスマスクをデコードする新しい方法である。
我々は,ScanNetV2 (55.9), S3DIS (60.8), S3LS3D (49.2) にAPの条件で新たな最先端結果を設定し,ScanNetV2のシーンあたり237msの高速推論時間を保持する。
論文 参考訳(メタデータ) (2023-03-01T06:06:28Z) - Mask3D: Mask Transformer for 3D Semantic Instance Segmentation [89.41640045953378]
一般的なTransformerビルディングブロックを利用して、3Dポイントクラウドからインスタンスマスクを直接予測できることが示されています。
Transformerデコーダを使用して、インスタンスクエリは、複数のスケールでクラウド機能をポイントする反復的な参加者によって学習される。
Mask3Dは、新しい最先端ScanNetテスト(+6.2 mAP)、S3DIS 6-fold(+10.1 mAP)、LS3D(+11.2 mAP)、ScanNet200テスト(+12.4 mAP)を設定する。
論文 参考訳(メタデータ) (2022-10-06T17:55:09Z) - MvDeCor: Multi-view Dense Correspondence Learning for Fine-grained 3D
Segmentation [91.6658845016214]
そこで本研究では,2次元領域における自己教師型手法を,微細な3次元形状分割作業に活用することを提案する。
複数のビューから3次元形状を描画し、コントラスト学習フレームワーク内に密接な対応学習タスクを設置する。
その結果、学習された2次元表現はビュー不変であり、幾何学的に一貫性がある。
論文 参考訳(メタデータ) (2022-08-18T00:48:15Z) - Geodesic-Former: a Geodesic-Guided Few-shot 3D Point Cloud Instance
Segmenter [6.09170287691728]
3Dポイントクラウドインスタンスセグメンテーションのための最初のジオデシック誘導変換器であるGeodesic-Formerを紹介する。
鍵となる考え方は、測地線距離を利用して、LiDAR 3D点雲の密度不均衡に取り組むことである。
新しいタスクでGeodesic-Formerを評価するために、ScannetV2とS3DISという2つの一般的な3Dポイントクラウドインスタンスセグメンテーションデータセットの分割を提案する。
論文 参考訳(メタデータ) (2022-07-22T03:43:36Z) - Dynamic Convolution for 3D Point Cloud Instance Segmentation [146.7971476424351]
動的畳み込みに基づく3次元点雲からのインスタンスセグメンテーション手法を提案する。
我々は、同じ意味圏と閉投票を持つ等質点を幾何学的遠近点に対して収集する。
提案手法は提案不要であり、代わりに各インスタンスの空間的および意味的特性に適応する畳み込みプロセスを利用する。
論文 参考訳(メタデータ) (2021-07-18T09:05:16Z) - Instance and Panoptic Segmentation Using Conditional Convolutions [96.7275593916409]
本稿では,CondInst と呼ばれる,シンプルで効果的な光学的セグメンテーションフレームワークを提案する。
我々は、CondInstがインスタンス分割タスクと単眼セグメンテーションタスクの両方において精度と推論速度を向上できることを示す。
論文 参考訳(メタデータ) (2021-02-05T06:57:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。