論文の概要: MuViSeg: Multi-View Segment Correspondences from Dense Geometry Priors

• arxiv url: http://arxiv.org/abs/2607.17938v1
• Date: Mon, 20 Jul 2026 13:35:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-21 18:48:37.64005
• Title: MuViSeg: Multi-View Segment Correspondences from Dense Geometry Priors
• Title（参考訳）: MuViSeg:Dense Geometry Presidesからのマルチビューセグメンテーション対応
• Abstract要約: 凍結MASt3RディスクリプタにDoubleSoftmaxスコアを付けたLightGlueスタイルのアテンションヘッドと、プール前にVGGTファンデーションモデルから層状空間詳細を公開するDPTスタイルのマルチスケールフュージョンモジュール、そして、我々の主な貢献として、複数のビューから抽出されたセグメントに対して同時自己アテンションを行うマルチビュー拡張である。 私たちのマルチビューモデルは成功率を50%から70%に引き上げ、LightGlueスタイルのヘッドはSPLを45.7から59.1に引き上げます。
• 参考スコア（独自算出の注目度）: 2.4956060473718407
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Classical image correspondence is solved at the level of sparse keypoints or dense pixels, but the systems that consume these matches - object-level mapping, topological navigation, scene-graph maintenance - reason about whole objects. Recent work narrows this gap by matchng directly at the level of instance segments: a class-agnostic segmenter partitions each image, and per-segment descriptors are obtained by pooling features from large 3D foundation models over the masks. We build on this segment-level matching paradigm and propose three learned matching heads: a LightGlue-style attention head with DoubleSoftmax scoring on frozen MASt3R descriptors; a DPT-style multi-scale fusion module that exposes layered spatial detail from the VGGT foundation model before pooling; and - as our main contribution - a multi-view extension that performs joint self-attention over segments drawn from several views at once, recovering transitive correspondences that strictly pairwise matchers cannot reach. Under a stratified zero-shot protocol on Replica and Virtual KITTI 2 with controlled viewpoint baselines from 0 deg to 180 deg, the LightGlue-style head improves over a parameter-free Sinkhorn matcher on the same MASt3R backbone by +4.85 AUPRC on Replica and +25.9 AUPRC on Virtual KITTI 2. Dropped into the RoboHop topological navigation pipeline on the Habitat-Matterport 3D (HM3D) Instance Image Navigation benchmark without retraining, our multi-view variant raises success rate from 50% to 70%, and our LightGlue-style head raises SPL from 45.7 to 59.1.
• Abstract（参考訳）: 古典的な画像対応はスパースキーポイントや高密度ピクセルのレベルで解決されるが、これらを消費するシステム - オブジェクトレベルのマッピング、トポロジカルナビゲーション、シーングラフのメンテナンス - は、オブジェクト全体を推論する。 最近の研究は、インスタンスセグメントのレベルで直接マッチすることで、このギャップを狭めている: クラスに依存しないセグメンタは、各イメージを分割し、セグメントごとの記述子は、マスク上の大きな3D基礎モデルの機能をプールすることで得られる。 我々は,このセグメントレベルのマッチングパラダイムに基づいて,凍結MASt3RディスクリプタにDoubleSoftmaxスコアを付けたLightGlueスタイルのアテンションヘッドと,プール前にVGGTファンデーションモデルから層状空間詳細を公開するDPTスタイルのマルチスケールフュージョンモジュールと,同時に複数のビューから引き出されたセグメントに対して共同で自己アテンションを行うマルチビュー拡張と,厳密にペアリングできないトランジションの回復という,3つの学習されたマッチングヘッドを提案する。 Replica と Virtual KITTI 2 のゼロショットプロトコルでは、0 deg から 180 deg までの視点ベースラインが制御され、LightGlue スタイルのヘッドは、同じ MASt3R バックボーン上のパラメータフリーの Sinkhorn matcher を Replica の +4.85 AUPRC と Virtual KITTI 2 の +25.9 AUPRC で改善する。 Habitat-Matterport 3D (HM3D) のインスタンスイメージナビゲーションベンチマークで、RoboHopのトポロジカルナビゲーションパイプラインに再トレーニングせずにドロップし、マルチビューのバリエーションは成功率を50%から70%に、LightGlueスタイルのヘッドはSPLを45.7から59.1に引き上げました。

関連論文リスト

• What VGGT Knows About Overlap: Probing Geometric Foundation Models for Co-Visibility [14.143547667315419]
  VGGTは、創発的な行動としてコビジュアビリティを暗黙的にエンコードする。 本稿では,VGGTを冷凍するCo-VGGTについて紹介する。 Co-VisiONベンチマークでは、Co-VGGTは人間のアノテーションベースラインを上回り、以前の作業よりも25%以上のペアワイドと10%のマルチビューで改善されている。
  論文  参考訳（メタデータ） (2026-07-10T15:17:02Z)
• CogCanvas: A Benchmark for Evaluating Multi-Subject Reference-Based Image Generation [19.10912769596512]
  我々はCagCanvasを紹介した。これは100の有名人のアイデンティティ、115の独特なオブジェクトとファッションアイテム、29の現実世界の背景シーンにまたがる1,952のキュレートされた参照画像のベンチマークである。 このパイプラインは、DINOv2ベースの重複、二段階の美的フィルタリング、構造化相互作用と位置グラフの自動導出を組み合わせたものである。 5つのSOTA手法のベンチマークにより、全てのモデルがグループサイズが2から5に大きくなるにつれて大幅に劣化し、オブジェクト/ファッション結合が3つの主題を超えてほぼ完全に失敗することが明らかとなった。
  論文  参考訳（メタデータ） (2026-06-14T15:38:24Z)
• Topologically Consistent Multi-view 3D Head Reconstruction via Coarse-Guided Layered Surface Sampling [15.24889101682807]
  SHELLSは多視点画像からの密接な意味対応における3次元頭部再構成のための効率的なフィードフォワードフレームワークである。 これは3.5倍の推論速度で、中央値の登録誤差を21%から29%に削減する。 我々のモデルは、合成データにのみ訓練されるが、実世界のキャプチャーに効果的に一般化される。
  論文  参考訳（メタデータ） (2026-05-29T13:14:43Z)
• Hierarchical Collaborative Fusion for 3D Instance-aware Referring Expression Segmentation [91.2768117730855]
  一般化された3D参照式(3D-GRES)は、記述が複数またはゼロのターゲットと一致する場合でも、自然言語に基づいて3Dシーン内のオブジェクトをローカライズする。 既存の方法はスパース・ポイント・クラウドにのみ依存しており、きめ細かい説明のためのリッチ・ビジュアル・セマンティクスが欠如している。 HCF-RESは2つの重要なイノベーションを持つマルチモーダルフレームワークである。
  論文  参考訳（メタデータ） (2026-03-06T13:09:29Z)
• MVGGT: Multimodal Visual Geometry Grounded Transformer for Multiview 3D Referring Expression Segmentation [59.75554954111619]
  マルチビュー3D参照表現(MV-3DRES)を導入し、モデルがシーン構造を復元し、参照対象をスパースなマルチビュー画像から直接セグメント化する必要がある。 本稿では,言語情報をスパースビュー幾何学的推論に組み込む,効率的なエンドツーエンドフレームワークであるMultimodal Visual Geometry Grounded Transformer (MVGGT)を提案する。 実験により、MVGGTは最初の強力なベースラインを確立し、高精度かつ高速な推論を達成し、既存の選択肢よりも優れていることが示された。
  論文  参考訳（メタデータ） (2026-01-11T11:44:07Z)
• SegMASt3R: Geometry Grounded Segment Matching [23.257530861472656]
  我々は3次元基礎モデルの空間的理解を活用して,広義のセグメントマッチングに取り組む。 本稿では,これら3次元基礎モデルの帰納バイアスを利用して,最大180度の視点変化回転で画像対間のセグメントをマッチングするアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2025-10-06T17:31:32Z)
• View-Consistent Hierarchical 3D Segmentation Using Ultrametric Feature Fields [52.08335264414515]
  我々は3次元シーンを表すニューラル・レージアンス・フィールド(NeRF)内の新しい特徴場を学習する。 本手法は、ビュー一貫性の多粒性2Dセグメンテーションを入力とし、3D一貫性のセグメンテーションの階層構造を出力として生成する。 提案手法と,多視点画像と多粒性セグメンテーションを用いた合成データセットのベースラインの評価を行い,精度と視点整合性を向上したことを示す。
  論文  参考訳（メタデータ） (2024-05-30T04:14:58Z)
• PointSeg: A Training-Free Paradigm for 3D Scene Segmentation via Foundation Models [20.379104447051155]
  我々は、市販の視覚基盤モデルを利用して、3Dシーン認識タスクに対処する学習自由パラダイムであるPointSegを提案する。 PointSegは正確な3Dプロンプトを取得してフレーム間で対応するピクセルを調整することで、任意の3Dシーンを分割することができる。 ScanNet、ScanNet++、KITTI-360データセット上の14.1$%、12.3$%、12.6$%のmAPは、最先端のトレーニングフリーモデルを大きく上回っている。
  論文  参考訳（メタデータ） (2024-03-11T03:28:20Z)
• 3rd Place Solution for PVUW2023 VSS Track: A Large Model for Semantic Segmentation on VSPW [68.56017675820897]
  本稿では,PVUW2023 VSSトラックの3位解について紹介する。 ビデオセマンティックセグメンテーションの課題を解決するために,様々な画像レベルの視覚的バックボーンとセグメンテーションヘッドを探索した。
  論文  参考訳（メタデータ） (2023-06-04T07:50:38Z)
• Two-Stream Graph Convolutional Network for Intra-oral Scanner Image Segmentation [133.02190910009384]
  本稿では,2ストリームグラフ畳み込みネットワーク(TSGCN)を提案する。 TSGCNは3次元歯(表面)セグメンテーションにおいて最先端の方法よりも優れています。
  論文  参考訳（メタデータ） (2022-04-19T10:41:09Z)
• PointGroup: Dual-Set Point Grouping for 3D Instance Segmentation [111.7241018610573]
  私たちは、インスタンスセグメンテーションのための新しいエンドツーエンドボトムアップアーキテクチャであるPointGroupを紹介します。 我々は2分岐ネットワークを設計し、ポイントの特徴を抽出し、セマンティックラベルとオフセットを予測し、各ポイントをそれぞれのインスタンスセントロイドに向けてシフトさせる。 クラスタリングコンポーネントは、元のおよびオフセットシフトされた点座標セットの両方を利用するために、その相補的な強度を利用する。 ScanNet v2 と S3DIS の2つの挑戦的データセットに対する広範な実験を行い、ScanNet v2 と S3DIS が最も高い性能を達成し、63.6% と 64.0% の2つを以前のベストが達成した54.9% と54.4% と比較した。
  論文  参考訳（メタデータ） (2020-04-03T16:26:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。