論文の概要: MVGGT: Multimodal Visual Geometry Grounded Transformer for Multiview 3D Referring Expression Segmentation

• arxiv url: http://arxiv.org/abs/2601.06874v1
• Date: Sun, 11 Jan 2026 11:44:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-13 19:08:01.043539
• Title: MVGGT: Multimodal Visual Geometry Grounded Transformer for Multiview 3D Referring Expression Segmentation
• Title（参考訳）: MVGGT:マルチビュー3次元参照表現セグメンテーションのためのマルチモーダルビジュアル幾何接地変換器
• Authors: Changli Wu, Haodong Wang, Jiayi Ji, Yutian Yao, Chunsai Du, Jihua Kang, Yanwei Fu, Liujuan Cao,
• Abstract要約: マルチビュー3D参照表現(MV-3DRES)を導入し、モデルがシーン構造を復元し、参照対象をスパースなマルチビュー画像から直接セグメント化する必要がある。 本稿では,言語情報をスパースビュー幾何学的推論に組み込む,効率的なエンドツーエンドフレームワークであるMultimodal Visual Geometry Grounded Transformer (MVGGT)を提案する。 実験により、MVGGTは最初の強力なベースラインを確立し、高精度かつ高速な推論を達成し、既存の選択肢よりも優れていることが示された。
• 参考スコア（独自算出の注目度）: 59.75554954111619
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Most existing 3D referring expression segmentation (3DRES) methods rely on dense, high-quality point clouds, while real-world agents such as robots and mobile phones operate with only a few sparse RGB views and strict latency constraints. We introduce Multi-view 3D Referring Expression Segmentation (MV-3DRES), where the model must recover scene structure and segment the referred object directly from sparse multi-view images. Traditional two-stage pipelines, which first reconstruct a point cloud and then perform segmentation, often yield low-quality geometry, produce coarse or degraded target regions, and run slowly. We propose the Multimodal Visual Geometry Grounded Transformer (MVGGT), an efficient end-to-end framework that integrates language information into sparse-view geometric reasoning through a dual-branch design. Training in this setting exposes a critical optimization barrier, termed Foreground Gradient Dilution (FGD), where sparse 3D signals lead to weak supervision. To resolve this, we introduce Per-view No-target Suppression Optimization (PVSO), which provides stronger and more balanced gradients across views, enabling stable and efficient learning. To support consistent evaluation, we build MVRefer, a benchmark that defines standardized settings and metrics for MV-3DRES. Experiments show that MVGGT establishes the first strong baseline and achieves both high accuracy and fast inference, outperforming existing alternatives. Code and models are publicly available at https://mvggt.github.io.
• Abstract（参考訳）: 既存の3D参照式セグメンテーション(3DRES)手法は、高密度で高品質な点雲に依存しているが、ロボットや携帯電話のような現実世界のエージェントは、わずかなRGBビューと厳密なレイテンシ制約でしか動作しない。 マルチビュー3次元参照表現セグメンテーション(MV-3DRES)を導入し、モデルがシーン構造を復元し、参照対象をスパースなマルチビュー画像から直接セグメント化する必要がある。 従来の2段階のパイプラインは、まず点雲を再構築し、次にセグメンテーションを行い、しばしば低品質な幾何学をもたらし、粗いあるいは劣化したターゲット領域を生成し、ゆっくりと走る。 マルチモーダル・ビジュアル・ジオメトリ・グラウンドド・トランスフォーマ (MVGGT) は,言語情報と疎視的幾何学的推論を両ブランチ設計により統合する,効率的なエンドツーエンド・フレームワークである。 この環境でのトレーニングは、フォアグラウンド・グラディエント・ディゾリューション(FGD)と呼ばれる重要な最適化障壁を公開する。 これを解決するために、ビュー間のより強くバランスの取れた勾配を提供するPVSO(Per-view No-target Suppression Optimization)を導入し、安定的で効率的な学習を可能にする。 一貫性のある評価をサポートするために、MV-3DRESの標準設定とメトリクスを定義するベンチマークであるMVReferを構築した。 実験により、MVGGTは最初の強力なベースラインを確立し、高精度かつ高速な推論を達成し、既存の選択肢よりも優れていることが示された。 コードとモデルはhttps://mvggt.github.io.comで公開されている。

関連論文リスト

• PatchAlign3D: Local Feature Alignment for Dense 3D Shape understanding [67.15800065888887]
  現在の3次元形状の基礎モデルは、グローバルなタスク(検索、分類)において優れているが、局所的な部分レベルの推論には不十分である。 本稿では,ポイントクラウドから直接,言語対応のパッチレベル機能を生成するエンコーダのみの3Dモデルを提案する。 我々の3Dエンコーダは、テストタイムのマルチビューレンダリングなしで高速なシングルパス推論によるゼロショット3D部分分割を実現する。
  論文  参考訳（メタデータ） (2026-01-05T18:55:45Z)
• Hierarchical Image-Guided 3D Point Cloud Segmentation in Industrial Scenes via Multi-View Bayesian Fusion [4.679314646805623]
  3Dセグメンテーションは、高密度なレイアウトとマルチスケールオブジェクトを持つ複雑なシーンを理解するために重要である。 既存の3Dポイントベースの手法はコストのかかるアノテーションを必要とするが、画像誘導方式はビュー間のセマンティックな不整合に悩まされることが多い。 本稿では,階層的な画像誘導型3次元セグメンテーションフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-12-07T15:15:52Z)
• Let Language Constrain Geometry: Vision-Language Models as Semantic and Spatial Critics for 3D Generation [34.44214123004662]
  本稿では,差別化可能な意味的・空間的批判のための枠組みであるVLM3Dを提案する。 我々のコアコントリビューションは、VLMの「Yes or No log-odds」から派生した2言語による批判信号です。 VLM3Dは、VLMの豊かな言語によるセマンティクスと空間の理解を多種多様な3D生成パイプラインに注入する、原則的で一般的な経路を確立している。
  論文  参考訳（メタデータ） (2025-11-18T09:05:26Z)
• IGGT: Instance-Grounded Geometry Transformer for Semantic 3D Reconstruction [82.53307702809606]
  人間は自然に3次元世界の幾何学的構造と意味的内容を中間次元として知覚する。 本稿では,空間再構成とインスタンスレベルの文脈理解の両面での知識を統合するために,IGGT (InstanceGrounded Geometry Transformer) を提案する。
  論文  参考訳（メタデータ） (2025-10-26T14:57:44Z)
• PanSt3R: Multi-view Consistent Panoptic Segmentation [10.781185925397493]
  我々は、本質的には3Dとマルチビューの問題に対する2次元パノプティクスのセグメンテーションに頼ることが、おそらく最適であると主張している。 そこで我々はPanSt3Rと統合されたアプローチを提案し,テスト時間最適化の必要性を排除した。 PanSt3Rは概念的にはシンプルだが高速でスケーラブルで、いくつかのベンチマークで最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2025-06-26T15:02:00Z)
• Boosting Cross-Domain Point Classification via Distilling Relational Priors from 2D Transformers [59.0181939916084]
  従来の3Dネットワークは主に局所幾何学的詳細に焦点を当て、局所幾何学間の位相構造を無視する。 そこで本稿では,大規模画像上においてよく訓練されたトランスフォーマーから前駆体を抽出する,新しい先駆体蒸留法を提案する。 PointDA-10とSim-to-Realデータセットの実験は、提案手法が点クラウド分類におけるUDAの最先端性能を一貫して達成していることを検証する。
  論文  参考訳（メタデータ） (2024-07-26T06:29:09Z)
• Multi-initialization Optimization Network for Accurate 3D Human Pose and Shape Estimation [75.44912541912252]
  我々はMulti-Initialization Optimization Network(MION)という3段階のフレームワークを提案する。 第1段階では,入力サンプルの2次元キーポイントに適合する粗い3次元再構成候補を戦略的に選択する。 第2段階では, メッシュ改質トランス (MRT) を設計し, 自己保持機構を用いて粗い再構成結果をそれぞれ洗練する。 最後に,RGB画像の視覚的証拠が与えられた3次元再構成と一致するかどうかを評価することで,複数の候補から最高の結果を得るために,一貫性推定ネットワーク(CEN)を提案する。
  論文  参考訳（メタデータ） (2021-12-24T02:43:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。