論文の概要: iSeg: Interactive 3D Segmentation via Interactive Attention

• arxiv url: http://arxiv.org/abs/2404.03219v2
• Date: Mon, 28 Oct 2024 13:35:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-29 16:01:15.935921
• Title: iSeg: Interactive 3D Segmentation via Interactive Attention
• Title（参考訳）: iSeg:インタラクティブな注意によるインタラクティブな3Dセグメンテーション
• Authors: Itai Lang, Fei Xu, Dale Decatur, Sudarshan Babu, Rana Hanocka,
• Abstract要約: iSegは3次元形状を分割するインタラクティブな手法である。 異なる数や種類のクリックを処理できる対話型アテンションモジュールを提案する。 我々は、iSegを異なるドメインからの無数の形状に適用し、その汎用性とユーザ仕様への忠実性を示す。
• 参考スコア（独自算出の注目度）: 14.036050263210182
• License:
• Abstract: We present iSeg, a new interactive technique for segmenting 3D shapes. Previous works have focused mainly on leveraging pre-trained 2D foundation models for 3D segmentation based on text. However, text may be insufficient for accurately describing fine-grained spatial segmentations. Moreover, achieving a consistent 3D segmentation using a 2D model is highly challenging, since occluded areas of the same semantic region may not be visible together from any 2D view. Thus, we design a segmentation method conditioned on fine user clicks, which operates entirely in 3D. Our system accepts user clicks directly on the shape's surface, indicating the inclusion or exclusion of regions from the desired shape partition. To accommodate various click settings, we propose a novel interactive attention module capable of processing different numbers and types of clicks, enabling the training of a single unified interactive segmentation model. We apply iSeg to a myriad of shapes from different domains, demonstrating its versatility and faithfulness to the user's specifications. Our project page is at https://threedle.github.io/iSeg/.
• Abstract（参考訳）: iSegは3次元形状を分割するインタラクティブな手法である。 これまでは主に、テキストに基づく3Dセグメンテーションのための事前訓練された2D基礎モデルの活用に重点を置いてきた。 しかし、微細な空間分割を正確に記述するにはテキストが不十分である可能性がある。 さらに、2次元モデルを用いて一貫した3次元セグメンテーションを実現することは、同じ意味領域の隠蔽領域を任意の2次元ビューから一緒に見ることができないため、非常に困難である。 そこで我々は,3Dで完全に動作する細かなユーザクリックを条件としたセグメンテーション手法を設計する。 本システムでは, 形状分割から領域を含まないか排除するかを示すために, 形状表面の直接クリックを受け付けている。 多様なクリック設定に対応するために,異なる数や種類のクリックを処理できる新しい対話型アテンションモジュールを提案し,単一の統合型対話型セグメンテーションモデルのトレーニングを可能にする。 我々は、iSegを異なるドメインからの無数の形状に適用し、その汎用性とユーザ仕様への忠実性を示す。 私たちのプロジェクトページはhttps://threedle.github.io/iSeg/です。

関連論文リスト

• MeshSegmenter: Zero-Shot Mesh Semantic Segmentation via Texture Synthesis [27.703204488877038]
  MeshSegmenterは、ゼロショット3Dセマンティックセグメンテーション用に設計されたフレームワークである。 さまざまなメッシュとセグメント記述の正確な3Dセグメンテーションを提供する。
  論文  参考訳（メタデータ） (2024-07-18T16:50:59Z)
• Reasoning3D -- Grounding and Reasoning in 3D: Fine-Grained Zero-Shot Open-Vocabulary 3D Reasoning Part Segmentation via Large Vision-Language Models [20.277479473218513]
  オブジェクトの検索とローカライズのためのZero-Shot 3D Reasoningを提案する。 複雑なコマンドを理解し実行するためのシンプルなベースラインメソッドReasoning3Dを設計する。 Reasoning3Dは、暗黙のテキストクエリに基づいて、3Dオブジェクトの一部を効果的にローカライズし、ハイライトすることができることを示す。
  論文  参考訳（メタデータ） (2024-05-29T17:56:07Z)
• PointSeg: A Training-Free Paradigm for 3D Scene Segmentation via Foundation Models [51.24979014650188]
  我々は、市販の視覚基盤モデルを利用して、3Dシーン認識タスクに対処する学習自由パラダイムであるPointSegを提案する。 PointSegは正確な3Dプロンプトを取得してフレーム間で対応するピクセルを調整することで、任意の3Dシーンを分割することができる。 ScanNet、ScanNet++、KITTI-360データセット上の14.1$%、12.3$%、12.6$%のmAPは、最先端のトレーニングフリーモデルを大きく上回っている。
  論文  参考訳（メタデータ） (2024-03-11T03:28:20Z)
• Segment3D: Learning Fine-Grained Class-Agnostic 3D Segmentation without Manual Labels [141.23836433191624]
  現在の3Dシーンセグメンテーション手法は、手動で注釈付けされた3Dトレーニングデータセットに大きく依存している。 高品質な3Dセグメンテーションマスクを生成するクラス非依存の3Dシーンセグメンテーション法であるSegment3Dを提案する。
  論文  参考訳（メタデータ） (2023-12-28T18:57:11Z)
• SERF: Fine-Grained Interactive 3D Segmentation and Editing with Radiance Fields [92.14328581392633]
  放射場を用いた対話型3Dセグメンテーションと編集アルゴリズムを新たに導入し,これをSERFと呼ぶ。 提案手法では,マルチビューアルゴリズムと事前学習した2Dモデルを統合することにより,ニューラルネットワーク表現を生成する。 この表現に基づいて,局所的な情報を保存し,変形に頑健な新しい表面レンダリング技術を導入する。
  論文  参考訳（メタデータ） (2023-12-26T02:50:42Z)
• SAM-guided Graph Cut for 3D Instance Segmentation [60.75119991853605]
  本稿では,3次元画像情報と多視点画像情報の同時利用による3次元インスタンス分割の課題に対処する。 本稿では,3次元インスタンスセグメンテーションのための2次元セグメンテーションモデルを効果的に活用する新しい3D-to-2Dクエリフレームワークを提案する。 本手法は,ロバストなセグメンテーション性能を実現し,異なるタイプのシーンにまたがる一般化を実現する。
  論文  参考訳（メタデータ） (2023-12-13T18:59:58Z)
• Panoptic Vision-Language Feature Fields [27.209602602110916]
  オープンボキャブラリパノプティックセグメンテーションのための第1のアルゴリズムを3次元シーンで提案する。 本アルゴリズムは,事前学習した2次元モデルから視覚言語の特徴を抽出することにより,シーンの意味的特徴場を学習する。 提案手法は,HyperSim, ScanNet, Replicaデータセット上の最先端のクローズドセット3Dシステムと同様のパノプティカルセグメンテーション性能を実現する。
  論文  参考訳（メタデータ） (2023-09-11T13:41:27Z)
• Scene-Generalizable Interactive Segmentation of Radiance Fields [64.37093918762]
  我々はSGISRF(Scene-Generalizable Interactive in Radiance Fields)の最初の試みを行う。 そこで本研究では,複数視点の2D画像に対して,対話的なユーザクリック数回しか表示されない,新しい(見えない)シーンの3Dオブジェクトセグメンテーションを実現するSGISRF手法を提案する。 多様なシーンをカバーする2つの実世界の挑戦的ベンチマーク実験は,1) 提案手法の有効性とシーン一般化性を示し,2) シーン固有の最適化を必要とする古典的手法と比較して良好な性能を示した。
  論文  参考訳（メタデータ） (2023-08-09T17:55:50Z)
• MvDeCor: Multi-view Dense Correspondence Learning for Fine-grained 3D Segmentation [91.6658845016214]
  そこで本研究では,2次元領域における自己教師型手法を,微細な3次元形状分割作業に活用することを提案する。 複数のビューから3次元形状を描画し、コントラスト学習フレームワーク内に密接な対応学習タスクを設置する。 その結果、学習された2次元表現はビュー不変であり、幾何学的に一貫性がある。
  論文  参考訳（メタデータ） (2022-08-18T00:48:15Z)
• Interactive Object Segmentation in 3D Point Clouds [27.88495480980352]
  本稿では,ユーザが直接3Dポイントクラウドと対話する対話型3Dオブジェクトセグメンテーション手法を提案する。 私たちのモデルは、ターゲットドメインからのトレーニングデータを必要としない。 異なるデータ特性と異なるオブジェクトクラスを持つ他のいくつかのデータセットでうまく機能する。
  論文  参考訳（メタデータ） (2022-04-14T18:31:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。