論文の概要: Segment Any Mesh: Zero-shot Mesh Part Segmentation via Lifting Segment Anything 2 to 3D

• arxiv url: http://arxiv.org/abs/2408.13679v1
• Date: Sat, 24 Aug 2024 22:05:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-27 18:29:37.114990
• Title: Segment Any Mesh: Zero-shot Mesh Part Segmentation via Lifting Segment Anything 2 to 3D
• Title（参考訳）: Segment Any Mesh: 2Dから3Dへのリフティングによるゼロショットメッシュ部分セグメンテーション
• Authors: George Tang, William Zhao, Logan Ford, David Benhaim, Paul Zhang,
• Abstract要約: メッシュ部分分割の新しいゼロショット手法であるSegment Any Mesh (SAMesh)を提案する。 SAMeshはマルチモーダルレンダリングと2D-to-3Dリフトという2つのフェーズで動作する。 提案手法を,頑健でよく評価された形状解析手法であるShapeDiamと比較し,本手法が性能に匹敵するか否かを示す。
• 参考スコア（独自算出の注目度）: 1.6427658855248815
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose Segment Any Mesh (SAMesh), a novel zero-shot method for mesh part segmentation that overcomes the limitations of shape analysis-based, learning-based, and current zero-shot approaches. SAMesh operates in two phases: multimodal rendering and 2D-to-3D lifting. In the first phase, multiview renders of the mesh are individually processed through Segment Anything 2 (SAM2) to generate 2D masks. These masks are then lifted into a mesh part segmentation by associating masks that refer to the same mesh part across the multiview renders. We find that applying SAM2 to multimodal feature renders of normals and shape diameter scalars achieves better results than using only untextured renders of meshes. By building our method on top of SAM2, we seamlessly inherit any future improvements made to 2D segmentation. We compare our method with a robust, well-evaluated shape analysis method, Shape Diameter Function (ShapeDiam), and show our method is comparable to or exceeds its performance. Since current benchmarks contain limited object diversity, we also curate and release a dataset of generated meshes and use it to demonstrate our method's improved generalization over ShapeDiam via human evaluation. We release the code and dataset at https://github.com/gtangg12/samesh
• Abstract（参考訳）: 形状解析に基づく,学習に基づく,現在のゼロショットアプローチの限界を克服する,メッシュ部分セグメンテーションの新しいゼロショット手法であるSegment Any Mesh(SAMesh)を提案する。 SAMeshはマルチモーダルレンダリングと2D-to-3Dリフトという2つのフェーズで動作する。 第1フェーズでは、メッシュのマルチビューレンダリングをSegment Anything 2(SAM2)を介して個別に処理し、2Dマスクを生成する。 これらのマスクは、マルチビューレンダリング全体で同じメッシュ部分を参照するマスクを関連付けることでメッシュ部分セグメンテーションに持ち上げられる。 SAM2を正規分布と形状のスカラーのマルチモーダルな特徴レンダリングに適用すると、メッシュの非テクスチャレンダリングのみを使用するよりも、より良い結果が得られることが判明した。 SAM2上にメソッドを構築することで、2Dセグメンテーションに対する将来の改善をシームレスに継承する。 提案手法を,頑健でよく評価された形状解析手法である形状寸法関数(ShapeDiam)と比較し,本手法が性能に匹敵するか否かを示す。 現在のベンチマークではオブジェクトの多様性が制限されているため、生成されたメッシュのデータセットをキュレートしてリリースし、それを人間の評価を通じてShapeDiamに対する一般化の改善を実証するために使用します。 コードとデータセットはhttps://github.com/gtangg12/sameshで公開しています。

関連論文リスト

• LUDVIG: Learning-free Uplifting of 2D Visual features to Gaussian Splatting scenes [39.687526103092445]
  単純で効果的な集約手法が優れた結果をもたらすことを示す。 本手法を汎用DINOv2機能に拡張し,グラフ拡散による3次元シーン形状を統合し,競合セグメンテーションの結果を得る。
  論文  参考訳（メタデータ） (2024-10-18T13:44:29Z)
• MeshSegmenter: Zero-Shot Mesh Semantic Segmentation via Texture Synthesis [27.703204488877038]
  MeshSegmenterは、ゼロショット3Dセマンティックセグメンテーション用に設計されたフレームワークである。 さまざまなメッシュとセグメント記述の正確な3Dセグメンテーションを提供する。
  論文  参考訳（メタデータ） (2024-07-18T16:50:59Z)
• SAI3D: Segment Any Instance in 3D Scenes [68.57002591841034]
  新規なゼロショット3Dインスタンスセグメンテーション手法であるSAI3Dを紹介する。 我々の手法は3Dシーンを幾何学的プリミティブに分割し、段階的に3Dインスタンスセグメンテーションにマージする。 ScanNet、Matterport3D、さらに難しいScanNet++データセットに関する実証的な評価は、我々のアプローチの優位性を示している。
  論文  参考訳（メタデータ） (2023-12-17T09:05:47Z)
• Propagating Semantic Labels in Video Data [0.0]
  本研究では,映像中のオブジェクトのセグメンテーションを行う手法を提案する。 ビデオのフレームでオブジェクトが見つかると、セグメントは将来のフレームに伝達される。 この方法はSAMとStructure from Motionを組み合わせることで機能する。
  論文  参考訳（メタデータ） (2023-10-01T20:32:26Z)
• Semantic-SAM: Segment and Recognize Anything at Any Granularity [83.64686655044765]
  本稿では,任意の粒度でセグメンテーションと認識を可能にする汎用画像セグメンテーションモデルであるSemantic-SAMを紹介する。 複数のデータセットを3つの粒度に集約し、オブジェクトとパーツの分離した分類を導入する。 マルチグラニュラリティ機能を実現するために,各クリックで複数のレベルのマスクを生成できるマルチ選択学習方式を提案する。
  論文  参考訳（メタデータ） (2023-07-10T17:59:40Z)
• SAM3D: Segment Anything in 3D Scenes [33.57040455422537]
  本稿では,RGB画像のSegment-Anything Model(SAM)を利用して3次元点雲のマスクを予測できる新しいフレームワークを提案する。 RGB画像が配置された3Dシーンの点雲に対して、まずRGB画像のセグメンテーションマスクをSAMで予測し、2Dマスクを3Dポイントに投影する。 我々のアプローチはScanNetデータセットを用いて実験し、SAM3Dがトレーニングや微調整なしに合理的かつきめ細かな3Dセグメンテーション結果が得られることを示した。
  論文  参考訳（メタデータ） (2023-06-06T17:59:51Z)
• Segment Anything in 3D with Radiance Fields [83.14130158502493]
  本稿では,Segment Anything Model (SAM) を一般化して3次元オブジェクトをセグメント化する。 提案手法をSA3D, 略してSegment Anything in 3Dと呼ぶ。 実験では,SA3Dが様々なシーンに適応し,数秒で3Dセグメンテーションを実現することを示す。
  論文  参考訳（メタデータ） (2023-04-24T17:57:15Z)
• Mask3D: Mask Transformer for 3D Semantic Instance Segmentation [89.41640045953378]
  一般的なTransformerビルディングブロックを利用して、3Dポイントクラウドからインスタンスマスクを直接予測できることが示されています。 Transformerデコーダを使用して、インスタンスクエリは、複数のスケールでクラウド機能をポイントする反復的な参加者によって学習される。 Mask3Dは、新しい最先端ScanNetテスト(+6.2 mAP)、S3DIS 6-fold(+10.1 mAP)、LS3D(+11.2 mAP)、ScanNet200テスト(+12.4 mAP)を設定する。
  論文  参考訳（メタデータ） (2022-10-06T17:55:09Z)
• RefineMask: Towards High-Quality Instance Segmentation with Fine-Grained Features [53.71163467683838]
  RefineMaskは、オブジェクトやシーンの高品質なインスタンスセグメンテーションのための新しい方法です。 インスタンス毎のセグメンテーションプロセス中に粒度の細かい機能を多段階的に組み込む。 以前のほとんどのメソッドで過剰にスムースされたオブジェクトの曲がった部分のようなハードケースをセグメンテーションすることに成功します。
  論文  参考訳（メタデータ） (2021-04-17T15:09:20Z)
• AutoSweep: Recovering 3D Editable Objectsfrom a Single Photograph [54.701098964773756]
  セマンティックな部分で3Dオブジェクトを復元し、直接編集することを目的としている。 我々の研究は、一般化された立方体と一般化されたシリンダーという、2種類の原始的な形状の物体を回収する試みである。 提案アルゴリズムは,高品質な3Dモデルを復元し,既存手法のインスタンスセグメンテーションと3D再構成の両方で性能を向上する。
  論文  参考訳（メタデータ） (2020-05-27T12:16:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。