論文の概要: What VGGT Knows About Overlap: Probing Geometric Foundation Models for Co-Visibility
- arxiv url: http://arxiv.org/abs/2607.09503v1
- Date: Fri, 10 Jul 2026 15:17:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-13 14:47:12.880623
- Title: What VGGT Knows About Overlap: Probing Geometric Foundation Models for Co-Visibility
- Title（参考訳）: VGGTがオーバーラップについて知っていること - 可視化のための幾何学的基礎モデルの提案
- Abstract要約: VGGTは、創発的な行動としてコビジュアビリティを暗黙的にエンコードする。
本稿では,VGGTを冷凍するCo-VGGTについて紹介する。
Co-VisiONベンチマークでは、Co-VGGTは人間のアノテーションベースラインを上回り、以前の作業よりも25%以上のペアワイドと10%のマルチビューで改善されている。
- 参考スコア（独自算出の注目度）: 14.143547667315419
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A fundamental challenge in 3D reconstruction and robotic localization is co-visibility: determining which image pairs share overlapping visible surfaces, particularly in scenarios with minimal overlap. We demonstrate that VGGT implicitly encodes co-visibility as an emergent behavior: without any supervision for this task, its internal representations exhibit a clear hierarchical structure mirroring that of large language models, i.e. early layers build a 3D-aware scene representation, while late layers act as dedicated co-visibility reasoners. In particular, we identify layer L17 as a negative anchor that consistently routes non-co-visible pairs for this backbone, regardless of the evaluation setting, providing task-grounded evidence of layer specialization in a geometry-grounded foundation model. Building on this, we introduce Co-VGGT, which freezes VGGT and trains only a lightweight layer-wise mixture-of-experts head (less than 7.5M parameters) to classify co-visibility from RGB alone, treating each layer as a specialized expert whose geometric abstraction is adaptively weighted per input pair. On the Co-VisiON benchmark, Co-VGGT surpasses the human annotation baseline and improves over prior work by more than 25% pairwise and 10% multiview. Pairwise predictions are well-calibrated (ECE=0.030), enabling direct use as edge weights in visibility graphs for downstream SfM and SLAM pipelines without post-hoc correction. Code and data are available.
- Abstract（参考訳）: 3D再構成とロボットのローカライゼーションにおける基本的な課題はコビジュアビリティ(コビジュアビリティ)である。
我々は、VGGTがコビジュアライゼーションを創発的行動として暗黙的にエンコードしていることを示す: このタスクを監督することなく、その内部表現は大きな言語モデル、すなわち初期のレイヤが3D対応のシーン表現を構築し、後期レイヤは専用のコビジュアライゼーション推論器として機能する、明確な階層構造を示す。
特に,L17層は,評価条件にかかわらず,非可視対を一定に経路する負のアンカーとして認識し,幾何学的基礎モデルにおける層特殊化のタスクグラウンド証拠を提供する。
これに基づいて,VGGTを凍結するCo-VGGTを導入し,RGBのみとのコビジュアビリティを分類するために,軽量な層間混合実験頭部(7.5Mパラメータ未満)のみを訓練し,各層を,幾何学的抽象化が入力ペア毎に適応的に重み付けされる専門的専門家として扱う。
Co-VisiONベンチマークでは、Co-VGGTは人間のアノテーションベースラインを上回り、以前の作業よりも25%以上のペアワイドと10%のマルチビューで改善されている。
ペアワイズ予測はよく校正され(ECE=0.030)、ポストホック補正なしで下流SfMとSLAMパイプラインの可視化グラフのエッジウェイトとして直接使用できる。
コードとデータは利用可能である。
関連論文リスト
- Self-Geometry: GT-Free and Plug-and-Play Test-Time Adaptation for Geometrically Consistent 3D Vision Foundation Models [12.061080782435013]
最近のビジョンファウンデーションモデル(VFM)は、シーンごとの最適化なしに、単一の前方パスで深さ、カメラポーズ、ポイントマップを予測する。
明示的な多視点幾何学的整合性(例えば束調整など)を強制することは、計算コストがかかるため、VFM事前訓練では課されない。
本研究では,2次元画素対応を擬似接地構造として用いた明示的な多視点幾何制約を直接課す,プラグアンドプレイテスト時適応パイプラインであるセルフジオメトリを提案する。
論文 参考訳（メタデータ） (2026-08-11T09:28:50Z) - GA-VLN: Geometry-Aware BEV Representation for Efficient Vision-Language Navigation [75.85672467847631]
本稿では,3次元のコンパクトな特徴表現であるGeometry-Aware BEV (GA-BEV)を紹介する。
視覚的特徴を3次元空間に投影することで,RGB-D入力からBEV空間マップを構築する。
我々は,BEV空間に事前訓練された3Dファンデーションモデルの特徴を取り入れ,大規模3D再構築作業から学んだ構造的先行を注入する。
論文 参考訳（メタデータ） (2026-05-21T06:20:17Z) - VGGT-Segmentor: Geometry-Enhanced Cross-View Segmentation [17.578132395389755]
VGGT-S(VGGT-S)は,画素精度のセマンティックセマンティックセグメンテーションを統一する幾何学的フレームワークである。
Ego-Exo4Dベンチマークでは、VGGT-Sは、それぞれEgo to ExoとExo to Egoタスクの平均IoUを67.7%、平均IoUを68.0%と定義している。
論文 参考訳（メタデータ） (2026-04-15T08:05:13Z) - LG-HCC: Local Geometry-Aware Hierarchical Context Compression for 3D Gaussian Splatting [77.81227097905865]
アンカーベースの3DGS圧縮スキームは、いくつかの高度な文脈モデルを通してガウスの冗長性を減少させる。
本稿では, アンカープルーニングとエントロピー符号化にアンカー幾何学的相関を組み込んだ3DGSのための局所幾何学的階層型コンテキスト圧縮フレームワークを提案する。
実験の結果、LG-HCCは構造保存の問題を効果的に緩和し、Mip-NeRF360データセット上のScaffold-GSベースラインと比較して最大30.85倍のストレージを削減した。
論文 参考訳（メタデータ） (2026-03-30T13:39:35Z) - GLASS: Graph and Vision-Language Assisted Semantic Shape Correspondence [16.503835991826367]
GLASSは、幾何学的スペクトル分析と、視覚言語基礎モデルからのリッチなセマンティック先行情報を統合することでギャップを埋めるフレームワークである。
i) 強力なビジョン基盤モデルから堅牢な多視点視覚特徴抽出を可能にするビュー一貫性戦略。
クラス間ベンチマークSMALと非等尺ベンチマークSMALとTOPKIDSの平均測地誤差は0.21、4.5、および5.6であり、それぞれ0.49、6.0、8.9のURSSMベースラインからの誤差を57%、25%、および37%削減している。
論文 参考訳（メタデータ） (2026-03-08T14:33:50Z) - MVGGT: Multimodal Visual Geometry Grounded Transformer for Multiview 3D Referring Expression Segmentation [59.75554954111619]
マルチビュー3D参照表現(MV-3DRES)を導入し、モデルがシーン構造を復元し、参照対象をスパースなマルチビュー画像から直接セグメント化する必要がある。
本稿では,言語情報をスパースビュー幾何学的推論に組み込む,効率的なエンドツーエンドフレームワークであるMultimodal Visual Geometry Grounded Transformer (MVGGT)を提案する。
実験により、MVGGTは最初の強力なベースラインを確立し、高精度かつ高速な推論を達成し、既存の選択肢よりも優れていることが示された。
論文 参考訳（メタデータ） (2026-01-11T11:44:07Z) - On Geometric Understanding and Learned Data Priors in VGGT [38.8968170074396]
Visual Geometry Grounded Transformer (VGGT) は、カメラ形状とシーン構造を単一のフィードフォワードパスで推論する3次元基礎モデルである。
本稿では,VGGTの内部機構を体系的に解析し,幾何学的理解が表現の中に現れるかどうかを明らかにする。
論文 参考訳（メタデータ） (2025-12-12T12:11:57Z) - GLaD: Geometric Latent Distillation for Vision-Language-Action Models [106.53332923530245]
GLaDは、知識蒸留による事前学習中に3次元の幾何学的先行を組み込んだ幾何学的認識型視覚・言語・アクション(VLA)フレームワークである。
GLaDは4つのLIBEROタスクスイートの平均成功率は94.1%で、同じ事前トレーニングデータを使用するUniVLA(92.5%)を上回っている。
論文 参考訳（メタデータ） (2025-12-10T13:07:27Z) - Dense Semantic Matching with VGGT Prior [49.42199006453071]
本稿では,VGGTの本質的な強みを,初期の特徴段階を再利用し,後続の特徴段階を微調整し,双方向対応のための意味的頭部を追加することによって維持するアプローチを提案する。
提案手法は, 従来のベースラインよりも優れた幾何認識, 整合性, および多様体保存を実現する。
論文 参考訳（メタデータ） (2025-09-25T14:56:11Z) - FastVGGT: Training-Free Acceleration of Visual Geometry Transformer [83.67766078575782]
VGGTは最先端のフィードフォワード視覚幾何学モデルである。
本稿では,VGGTの高速化のためのトレーニングフリーメカニズムを用いて,3次元領域におけるトークンのマージを利用したFastVGGTを提案する。
1000の入力画像により、FastVGGTはVGGTの4倍の高速化を実現し、長いシーケンスシナリオにおけるエラーの蓄積を緩和する。
論文 参考訳（メタデータ） (2025-09-02T17:54:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。