論文の概要: MV-GEL: Language-Driven Multi-View Geometric Entity Localization on Meshes

• arxiv url: http://arxiv.org/abs/2606.31533v1
• Date: Tue, 30 Jun 2026 11:46:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-01 18:27:19.20397
• Title: MV-GEL: Language-Driven Multi-View Geometric Entity Localization on Meshes
• Title（参考訳）: MV-GEL: メッシュ上の言語駆動型多視点幾何学的エンティティローカライゼーション
• Abstract要約: MV-GELは、自然言語クエリからポリゴンメッシュ上の微細な幾何学的エンティティをローカライズするためのフレームワークである。 GELviewsは、幾何学的CADエンティティの可観測性に基づく視点を優先する、プロンプト条件付きランキングモジュールである。 実験では、顔レベルのIoUが1.7倍、エッジレベルのF1が4.5倍向上した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Identifying and grounding precise geometric entities, such as edges, planar regions, and curved surfaces within 3D objects, is foundational to computer-aided design (CAD), robotic manipulation, and scientific simulation. Although modern Vision Language Models (VLMs) have advanced referring segmentation (RIS) in the image domain, extending such language-driven localization to structured 3D geometry is substantially harder. The 3D object appearance is highly sensitive to viewpoints; a single perspective may render a target entity clearly observable, while another may suffer from severe occlusion or foreshortening. In this work, we attempt to solve these challenges with MV-GEL (Multi-View Geometric Entity Localization), a framework for localizing fine-grained geometric entities on polygon meshes from natural language queries. Our key insight is that reliable CAD entity (i.e., faces, edges or solids) localization depends on selecting views that make the queried entity maximally interpretable. We introduce GELviews, a prompt-conditioned ranking module that prioritizes viewpoints based on language prompted observability of geometric CAD entities. Selected views are processed by a VLM-based reasoning segmentation backbone, and predicted masks are lifted to the corresponding meshes via geometry-aware ray casting. Our framework is completely CAD agnostic and relies only on 3D meshes. Experiments show up to a 1.7X improvement in face-level IoU and over 4.5X gains in edge-level F1 compared to vanilla baselines, substantially outperforming CLIP-based and random view sampling, particularly for thin and view-sensitive structures.The dataset, code and trained checkpoints are available at https://github.com/kbali1297/MV-GEL.
• Abstract（参考訳）: エッジ、平面領域、曲面などの正確な幾何学的実体を3Dオブジェクト内に同定し、グラウンド化することは、コンピュータ支援設計(CAD)、ロボット操作、科学シミュレーションの基礎となる。 現代の視覚言語モデル (VLM) は画像領域に先進的な参照セグメンテーション (RIS) を持っているが、そのような言語駆動のローカライゼーションを構造化された3次元幾何学に拡張することは極めて困難である。 3Dオブジェクトの外観は視点に非常に敏感であり、1つの視点は対象の実体をはっきりと観察可能とし、もう1つは重度の閉塞や予見に悩まされる。 本研究では,自然言語クエリから多角形メッシュ上の微細な幾何学的エンティティをローカライズするMV-GEL(Multi-View Geometric Entity Localization)を用いて,これらの課題を解決する。 私たちのキーとなる洞察は、信頼できるCADエンティティ(顔、エッジ、ソリッド)のローカライゼーションは、クエリされたエンティティを最大限に解釈できるビューを選択することに依存します。 GELviewsは,幾何学的CADエンティティの可観測性に基づく視点を優先する,プロンプト条件付きランキングモジュールである。 選択されたビューは、VLMベースの推論セグメンテーションバックボーンによって処理され、予測マスクは、幾何学的に認識されたレイキャスティングを介して対応するメッシュに持ち上げられる。 私たちのフレームワークは完全にCAD非依存で、3Dメッシュのみに依存しています。 実験では、顔レベルのIoUが1.7倍改善され、バニラベースラインに比べて4.5倍以上のゲインがエッジレベルのF1が向上し、CLIPベースのランダムなビューサンプリング、特に細いビューセンシティブな構造では大幅にパフォーマンスが向上した。データセット、コード、トレーニングされたチェックポイントはhttps://github.com/kbali1297/MV-GELで利用可能である。

関連論文リスト

• G$^2$TAM: Geometry Grounded Track Anything Model [49.05553245076823]
  本稿では,RGB画像やビデオのみを用いて,3次元のインスタンス追跡を高速化するための統一的なフレームワークを提案する。 G$2$TAMは空間的に整列した幾何学的表現を暗黙記憶として使用し、安定したインスタンス識別とフレームとビュー間のローカライゼーションを保証する。 中心となるのは、視覚的およびテキスト的プロンプトを共有幾何学空間に統合し、エンドツーエンドの空間再構成とインスタンス一貫性マスク予測を可能にするクロスモーダル空間エンコーダである。
  論文  参考訳（メタデータ） (2026-07-04T09:32:13Z)
• SpatialStack: Layered Geometry-Language Fusion for 3D VLM Spatial Reasoning [22.547972947051765]
  大規模な視覚言語モデル(VLM)は、まだ信頼性の高い3次元空間推論に苦戦している。 本研究では,階層的な融合フレームワークであるSpatialStackを提案する。 この枠組みに基づいて,複数次元空間推論ベンチマークにおける最先端性能を実現するモデル VLM-SpatialStack を開発した。
  論文  参考訳（メタデータ） (2026-03-28T22:49:40Z)
• Make Geometry Matter for Spatial Reasoning [62.61667611352403]
  視覚言語モデル(VLM)は、強いイメージと映像理解を実現するが、静的シーンとダイナミックビデオの両方で空間的推論を行う能力は限られている。 近年の進歩は、事前訓練された3次元基礎モデルから幾何学トークンをVLMに注入することで、この制限に対処しようとしている。 我々は、VLMが幾何トークンで積極的に推論するように促すことにより、幾何学的問題を作るためのフレームワークGeoSRを提案する。
  論文  参考訳（メタデータ） (2026-03-27T17:45:12Z)
• Cog3DMap: Multi-View Vision-Language Reasoning with 3D Cognitive Maps [77.63233146945718]
  マルチビュー画像から明示的な3Dメモリを連続的に構築するフレームワークであるCog3DMapを紹介する。 本フレームワークは空間的に構造化された3次元マップ上での直接推論を可能にし,様々な空間推論ベンチマーク上で最先端の性能を実現する。
  論文  参考訳（メタデータ） (2026-03-24T10:05:32Z)
• MVGGT: Multimodal Visual Geometry Grounded Transformer for Multiview 3D Referring Expression Segmentation [59.75554954111619]
  マルチビュー3D参照表現(MV-3DRES)を導入し、モデルがシーン構造を復元し、参照対象をスパースなマルチビュー画像から直接セグメント化する必要がある。 本稿では,言語情報をスパースビュー幾何学的推論に組み込む,効率的なエンドツーエンドフレームワークであるMultimodal Visual Geometry Grounded Transformer (MVGGT)を提案する。 実験により、MVGGTは最初の強力なベースラインを確立し、高精度かつ高速な推論を達成し、既存の選択肢よりも優れていることが示された。
  論文  参考訳（メタデータ） (2026-01-11T11:44:07Z)
• 3D-Aware Vision-Language Models Fine-Tuning with Geometric Distillation [17.294440057314812]
  VLM(Vision-Language Models)は様々な視覚的・言語的タスクにおいて顕著な性能を示した。 人為的な幾何学的手がかりを予め訓練されたVLMに注入するフレームワークであるGeometric Distillationを提案する。 本手法は、自然な画像テキスト入力と互換性を保ちながら、表現を幾何学的に認識するように形成する。
  論文  参考訳（メタデータ） (2025-06-11T15:56:59Z)
• Agentic 3D Scene Generation with Spatially Contextualized VLMs [67.31920821192323]
  本稿では,複雑な3D環境の生成,理解,編集を可能にする新しいパラダイムを提案する。 我々は,VLMが空間コンテキストから反復的に読み取って更新するエージェント型3Dシーン生成パイプラインを開発した。 その結果,我々のフレームワークは多様かつ困難な入力を処理でき,事前の作業では観測できないような一般化のレベルを達成することができることがわかった。
  論文  参考訳（メタデータ） (2025-05-26T15:28:17Z)
• 3D Part Segmentation via Geometric Aggregation of 2D Visual Features [57.20161517451834]
  監督された3D部分分割モデルは、固定されたオブジェクトと部品のセットに合わせて調整されており、それらの転送可能性は、オープンセットの現実世界のシナリオに制限される。 近年、視覚言語モデル(VLM)を多視点レンダリングとテキストプロンプトを用いてオブジェクト部品の識別に活用する研究が進められている。 これらの制約に対処するために,視覚概念から抽出した意味論と3次元幾何学をブレンドし,対象部品を効果的に同定するCOPSを提案する。
  論文  参考訳（メタデータ） (2024-12-05T15:27:58Z)
• Geometrically-driven Aggregation for Zero-shot 3D Point Cloud Understanding [11.416392706435415]
  ゼロショット3Dポイントクラウド理解は2Dビジョンランゲージモデル(VLM)によって達成できる 既存の戦略は、ヴィジュアル・ランゲージ・モデル(Vision-Language Model)をレンダリングまたはキャプチャされた2Dピクセルから3Dポイントにマッピングし、固有かつ表現可能な雲の幾何学構造を見渡す。 本稿では, 点雲の3次元幾何学的構造を利用して, 移動したビジョン・ランゲージモデルの品質を向上させるための, 初となるトレーニングフリーアグリゲーション手法を提案する。
  論文  参考訳（メタデータ） (2023-12-04T12:30:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。