論文の概要: FlexPart: Text-Controlled Semantics-Aware 3D Part Segmentation at Flexible Granularity
- arxiv url: http://arxiv.org/abs/2610.23659v1
- Date: Fri, 16 Oct 2026 15:54:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-20 00:56:07.998599
- Title: FlexPart: Text-Controlled Semantics-Aware 3D Part Segmentation at Flexible Granularity
- Title(参考訳): FlexPart: テキスト制御されたセマンティックス-柔軟粒度における3次元部分分割
- Abstract要約: FLEXPARTはテキスト制御された3Dメッシュセグメンテーションのための統合フレームワークである。
ネイティブな3D空間におけるビュー非依存の部分IDフィールドを生成し、個別の部分IDを直接メッシュフェイスに割り当てる。
mIoUでは、最も評価の高いベースラインを15%上回っている。
- 参考スコア(独自算出の注目度): 28.45294433564518
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A 3D asset admits multiple valid part decompositions, while semantics-aware segmentation should reflect both the desired granularity and the parts a user wants to extract. Ideally, a practical segmentation model should strive for a simple principle: what you ask for is what you get. However, realizing this goal is hindered by two core obstacles: the lack of multi-granularity training data and the absence of a holistic control mechanism. We propose FLEXPART, a unified framework for text-controlled 3D mesh segmentation. To establish flexible control, we introduce a holistic control prompt comprising semantic part names with location and shape clauses. To support this mechanism, we utilize an automated Vision-Language Model (VLM) pipeline to construct a large-scale dataset of multi-granularity partitions and their corresponding prompts. Driven by this data, FLEXPART generates a view-independent part-identity field in native 3D space, directly assigning discrete part IDs to mesh faces. To compel the model to respect semantic conditions rather than rely on geometric priors, we train the model using randomized background dropping. Furthermore, an inference-time VLM planner can automatically complete descriptive clauses from 2D renderings, allowing users to simply name the desired parts in ordinary words. FLEXPART with planner-completed prompts outperforms the strongest evaluated baseline by 15% in mIoU, even when that baseline receives ground-truth guidance. On our held-out FLEXPARTBENCH, FLEXPART leads at each granularity and improves average mIoU by 22% over the strongest baseline. With only the requested part names supplied by the user, it also improves IoU by 35% over the strongest click-driven baseline on selective segmentation.
- Abstract(参考訳): 3Dアセットは複数の有効な部分分解を許容するが、セグメンテーションはユーザが抽出したい部分と所望の粒度の両方を反映するべきである。
理想的には、実践的なセグメンテーションモデルは、単純な原則、つまり何を求めるか、を追求すべきです。
しかし、この目標を実現するには、多粒度トレーニングデータの欠如と、全体制御機構の欠如という、2つの障害が伴う。
テキスト制御3Dメッシュセグメンテーションのための統合フレームワークであるFLEXPARTを提案する。
フレキシブルな制御を確立するために、位置と形状の節を含む意味的部分名を含む全体論的制御プロンプトを導入する。
このメカニズムをサポートするために、自動視覚言語モデル(VLM)パイプラインを使用して、多粒度分割とそれに対応するプロンプトの大規模データセットを構築する。
このデータによって駆動されるFLEXPARTは、ネイティブな3D空間におけるビュー非依存の部分IDフィールドを生成し、個々の部分IDを直接メッシュフェイスに割り当てる。
幾何学的先入観に頼らず、意味的条件を尊重するようにモデルを強制するために、ランダムな背景降下を用いてモデルを訓練する。
さらに、推論時VLMプランナは、2Dレンダリングから記述節を自動で完了し、ユーザーは通常の単語で所望の部分を単純に名前を付けることができる。
プランナー完備プロンプト付きFLEXPARTは、ベースラインが接地トルース誘導を受けた場合でも、mIoUにおいて最強評価ベースラインを15%上回っている。
FLEXPARTBENCHでは、FLEXPARTは各粒度をリードし、最強のベースラインに対して平均mIoUを22%改善する。
ユーザから要求された部分名のみによって、選択セグメンテーションにおいて最も強力なクリック駆動ベースラインよりも、IoUを35%改善する。
関連論文リスト
- PartLLM: A Unified Multimodal Foundation for 3D Part Segmentation [60.659851579884666]
部分分割はコンピュータグラフィックスと3Dビジョンの基本的な問題である。
本稿では,3次元部分分割を自己回帰的意味分解として定式化する統一モデルPartLLMを紹介する。
論文 参考訳(メタデータ) (2026-09-22T07:58:27Z) - SpatialClaw: Rethinking Action Interface for Agentic Spatial Reasoning [99.49739831030388]
このインタフェースの設計は,オープンエンド空間推論のためのエージェントのキャパシティをいかに形作るかを検討する。
本研究では,アクションインタフェースとしてコードを採用する空間推論のためのトレーニングフリーフレームワークであるSpatialClawを提案する。
論文 参考訳(メタデータ) (2026-06-11T17:59:36Z) - MVGGT: Multimodal Visual Geometry Grounded Transformer for Multiview 3D Referring Expression Segmentation [59.75554954111619]
マルチビュー3D参照表現(MV-3DRES)を導入し、モデルがシーン構造を復元し、参照対象をスパースなマルチビュー画像から直接セグメント化する必要がある。
本稿では,言語情報をスパースビュー幾何学的推論に組み込む,効率的なエンドツーエンドフレームワークであるMultimodal Visual Geometry Grounded Transformer (MVGGT)を提案する。
実験により、MVGGTは最初の強力なベースラインを確立し、高精度かつ高速な推論を達成し、既存の選択肢よりも優れていることが示された。
論文 参考訳(メタデータ) (2026-01-11T11:44:07Z) - OpenTrack3D: Towards Accurate and Generalizable Open-Vocabulary 3D Instance Segmentation [5.073373064582996]
オープンな3Dインスタンスセグメンテーションのための汎用的で正確なフレームワークであるOpenTrack3Dを紹介する。
事前に生成された提案に依存するメソッドとは異なり、OpenTrack3Dは、クロスビュー一貫性のあるオブジェクト提案を構築するために、新しいビジュアル空間トラッカーを使用している。
パイプラインは完全にメッシュフリーですが、シーンメッシュが利用可能になった時にパフォーマンスをさらに向上する、オプションのスーパーポイントリファインメントモジュールも提供しています。
論文 参考訳(メタデータ) (2025-12-03T07:51:03Z) - GeoSAM2: Unleashing the Power of SAM2 for 3D Part Segmentation [81.0871900167463]
GeoSAM2は3次元部分分割のためのプロンプト制御可能なフレームワークである。
テクスチャのないオブジェクトが与えられた場合、事前に定義された視点から正規写像とポイントマップを描画する。
部品の選択をガイドするシンプルな2Dプロンプト(クリックやボックス)を受け入れます。
予測されたマスクはオブジェクトにバックプロジェクションされ、ビューに集約される。
論文 参考訳(メタデータ) (2025-08-19T17:58:51Z) - PGOV3D: Open-Vocabulary 3D Semantic Segmentation with Partial-to-Global Curriculum [20.206273757144547]
PGOV3Dはオープンな3Dセマンティックセマンティックセグメンテーションを改善するための部分言語カリキュラムを導入した新しいフレームワークである。
我々は、密接な意味情報を提供する部分的なシーンでモデルを事前訓練するが、比較的単純な幾何学である。
第2段階では、よりスペーサーで構造的に複雑である、完全なシーンレベルの点雲上でモデルを微調整する。
論文 参考訳(メタデータ) (2025-06-30T08:13:07Z) - LESS: Label-Efficient and Single-Stage Referring 3D Segmentation [55.06002976797879]
参照3Dは、クエリの文で記述された3Dポイントクラウドから、指定されたオブジェクトのすべてのポイントをセグメントする視覚言語タスクである。
本稿では,LESSと呼ばれるレファレンス3次元パイプラインを提案する。
ScanReferデータセット上での最先端のパフォーマンスは、バイナリラベルのみを使用して、以前の3.7% mIoUの手法を上回ります。
論文 参考訳(メタデータ) (2024-10-17T07:47:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。